151
深層学習を使う場合の学習効率化,高速化などの手法,テクニックなどが非常に網羅的にまとめられたサーベイ論文です
研究や開発で深層学習を使う人には非常に重要な知見の宝庫
"Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better"
arxiv.org/abs/2106.08962
152
世界的に有名な線形代数の教科書（邦訳だと『線形代数イントロダクション』，『線形代数とその応用』）の著者として名高いMITのストラング先生による，線形代数の機械学習，信号処理等応用の講義
線形代数の講義のお手本になりそうな内容です
黒板を使った数学らしいスタイル
youtube.com/playlist?list=…
153
海外名門辺りの機械学習博士課程の希望者インフレが進みすぎて「博士課程に入るために、まずは助教になって業績を稼がないと」みたいな大逆転ジョークが爆誕しており、うーんみが深い
154
「GPTはチューリングマシンになりつつある」
"GPT is becoming a Turing machine: Here are some ways to program it"
arxiv.org/abs/2303.14310
先週のGPT-4が汎用人工知能論文もだったけど，最近のMicrosoft ResearchはGPTに関して主張がだいぶ強い論文を次々と投稿している気が
155
Googleで論文を探し，探し出した論文をipadで読み，内容を雑にPyTorchで実装し，必要な書籍はAmazonで揃えて，自分の研究はGAFAに先を越されるという研究生活をしている
156
速報です！
OpenAIがついにChatGPTのAPI提供を開始しました！
openai.com/blog/introduci…
・既存のGPT(davinci等)の最大モデルより10倍「安く」(!!)使える
・GPTに入力したデータは今後，学習に使われてしまうことがなくなる
・ChatGPTで使用していたGPTのモデル/APIの名前は，GPT-3.5-Turbo
157
とてつもない頻度で研究が出て成果を出している、言語処理の事前学習モデルの大型サーベイ論文が出ました
主要な実装・ライブラリへの解説、案内も付いています
arxiv.org/abs/2108.05542
もう全部追うのは不可能なレベル・・・
158
とんでもタイトルの論文が出てたので読んでみると面白かった
Artificial Artificial Artificial Intelligence
arxiv.org/abs/2306.07899
既に4~5割近いクラウドソーシングの人間アノテータがこっそりGPT等のLLMを使っているのではという話… twitter.com/i/web/status/1…
159
理化学研究所にて,大規模言語モデルに関する講演をさせていただきます！
akio-tomiya.github.io/gpt_for_scienc…
いい機会ですので,大規模言語モデルの理解に必須な知識から,ChatGPT/GPT-4の登場以降明らかになった知見,応用の可能性など,関連する話題をまとめてみます
聴講は登録すれば誰でも（たぶん）可能です!
160
GPTシリーズや，その他の言語系の生成AIなど，Transformerを使った主要モデルのまとめカタログが公開されています
arxiv.org/abs/2302.07730…
これは便利です！
名前を聞いたことがあるモデルは網羅されていて，パラメータ数，公開日，使ったデータ，アプリケーションなどが一目でわかります
161
AlphaGoなどのAIが囲碁や将棋で人間を倒したあと，棋士たちは研究を重ねて，それ以前より遥かに強くなった
ChatGPTやGPT-4とかでも同じことが起きて，知能や人間の強みを考え直した結果，GPT以前の人と比べて根本的に考え方が異なるようになったりするかも（もはやニュータイプである）
162
昨年話題になったミクシィの技術研修資料が今年も公開されています
mixi-developers.mixi.co.jp/22-technical-t…
去年よりもさらに公開内容が増え，AI研修やチーム開発などの内容が追加されています
去年も思ったのですが，「研修」というには凄まじい量と内容で，普通なら数年かけてようやくといったレベルの量です
163
私、この組合せ爆発を解説した「数え上げお姉さん」の動画の存在を昨日教えてもらって初めて知ったんですが、界隈では結構有名だったんでしょうか…？ twitter.com/__tmats__/stat…
164
Google Researchが、「機械学習を使うシステムは高くつくぞ」という、MLの技術的負債について語る論文を出していました
research.google/pubs/pub43146/
機械学習を高金利のクレジットカードに例えたタイトルが秀逸
165
今までGoogleで働いていたGANの父Ian Goodfellowが，機械学習プロジェクトのディレクターとしてアップルに転職した模様
かつてOpenAIで働いていたときの収入は約9000万円だったらしいが，今はどうなっているやら
cnbc.com/2019/04/04/app…
166
東京大学 松尾研の強化学習講座を開講します!
基礎から実機・ロボット等の実応用までを意識した,最先端の講義です
私は初回で基礎・全体的な話と主要ベンチマークにおけるRLの発展,最終回でAlphaGo以降の先端ゲームAIやRLの他分野応用の話をします
受講をお待ちしております！
deeplearning.jp/reinforcement_…
167
とんでもないことになってきました．GoogleのPaLM APIの公開に応戦するかのように，先週から公開が噂されていたGPT-4がOpenAIから先ほど公開されました！
openai.com/product/gpt-4
ChatGPTすら超える言語能力が示されており，さらに画像なども処理可能となったマルチモーダルなモデルのようです！
168
Google（Alphabet）が,創薬会社Isomorphic Labsを設立することを発表しました
AlphaFold2で創薬・構造生物学に革命を起こしたDeepMind CEOのデミス・ハサビスがトップに就任するということで,いよいよ本気でDeepMindの圧倒的AI技術でこの界隈に革命を起こしにきた感じですね
isomorphiclabs.com/blog
169
解散してしまった創文社から出ていた、竹村先生の超名著『現代数理統計学』、新装改訂版として学術図書出版から９月に改めて発売されるようですね（内容も一部追加）
amazon.co.jp/dp/4780608600/…
元の本が絶版になり、Amazonとかで4万近くの値段がついて入手が困難になっていたため、嬉しいお知らせ
171
待望のTransformerのサーベイ論文
あまりにも派生型が出現しすぎて分類の枝の分岐がすごいことになってますが，さすがに一つ一つを詳細に解説するのは無理があったらしく（書籍２つ分とかになりそう），それぞれは簡単な解説で読みやすい
A Survey of Transformers
arxiv.org/abs/2106.04554
172
AIに，語尾に「ござる」を付けて武士っぽく専門用語を解説させるというネタ的な試みをやっていて，最初はネタ的に笑っていたのですが，「強化学習」を解説させた時のAIの武士なりきり度が凄すぎて感服しています
173
コンピュータビジョンのバイブル的な書籍『Computer Vision: Algorithms and Applications』の第２版について、ついに発売版の執筆が完了したようで、ドラフトが公開されています
szeliski.org/Book/
深層学習のブームで一番影響が大きかった分野でもあり、1200ページ超えの大著になっています
174
そもそもAIの実現には「人の脳の働きを模倣したニューラルネットワークが重要」だと考えて深層学習を実現させたヒントン先生が最近の生成AIについて，
「人の脳で起きていることよりも凄いことが起きているかもしれない」
と発言するのは，なかなか革命的
175
12月:「画像認識もTransformer最強(ViT)」
2月:「Transformer is All you Need」
3月:「Attention is not All you Need」
5月:「MLP工夫でViT並(MLPmixer)」
5月:「ConvolutionがTransformerより強そう」
5月:「MLPにゲート付けてTransformer超え(Pay Attention to MLPs)」
arxiv.org/abs/2105.08050
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身