151
理化学研究所にて,大規模言語モデルに関する講演をさせていただきます！
akio-tomiya.github.io/gpt_for_scienc…
いい機会ですので,大規模言語モデルの理解に必須な知識から,ChatGPT/GPT-4の登場以降明らかになった知見,応用の可能性など,関連する話題をまとめてみます
聴講は登録すれば誰でも（たぶん）可能です!
152
コンピュータビジョンの教科書『Computer Vision: Algorithms and Applications』の2nd Editionのドラフト版が公開
szeliski.org/Book/
1206ページの大ボリュームで,追加された深層学習の章にはCNNやResNet,NASや深層生成モデル等の最新話題,他章も新しい話題が多く,CVの教科書の決定版となりそう
153
我々が翻訳した『強化学習(第二版)』、重版が出ました！
発売直後にChatGPTが発表され,その後の生成AIブームにおける重要技術として強化学習が過去最高に注目される奇跡で,想像以上に売れてくれました！
今話題の生成AIのコア技術を勉強したい方は,ぜひこの世界的教科書の購入をご検討ください！
154
Google Researchが、「機械学習を使うシステムは高くつくぞ」という、MLの技術的負債について語る論文を出していました
research.google/pubs/pub43146/
機械学習を高金利のクレジットカードに例えたタイトルが秀逸
155
コンピュータビジョンのバイブル的な書籍『Computer Vision: Algorithms and Applications』の第２版について、ついに発売版の執筆が完了したようで、ドラフトが公開されています
szeliski.org/Book/
深層学習のブームで一番影響が大きかった分野でもあり、1200ページ超えの大著になっています
156
12月:「画像認識もTransformer最強(ViT)」
2月:「Transformer is All you Need」
3月:「Attention is not All you Need」
5月:「MLP工夫でViT並(MLPmixer)」
5月:「ConvolutionがTransformerより強そう」
5月:「MLPにゲート付けてTransformer超え(Pay Attention to MLPs)」
arxiv.org/abs/2105.08050
157
深層学習の御三家Hinton、Bengio、LeCun先生らが、深層学習とAIについて、最近の研究と未来を語った論文
最近の発展のトップにTransformer・Attentionがくる辺り、この技術の無双っぷりが窺える
この3名（神）が揃って共著は結構珍しいのでは
cacm.acm.org/magazines/2021…
158
「GPTはチューリングマシンになりつつある」
"GPT is becoming a Turing machine: Here are some ways to program it"
arxiv.org/abs/2303.14310
先週のGPT-4が汎用人工知能論文もだったけど，最近のMicrosoft ResearchはGPTに関して主張がだいぶ強い論文を次々と投稿している気が
159
そもそもAIの実現には「人の脳の働きを模倣したニューラルネットワークが重要」だと考えて深層学習を実現させたヒントン先生が最近の生成AIについて，
「人の脳で起きていることよりも凄いことが起きているかもしれない」
と発言するのは，なかなか革命的
160
藤井４冠、強さを追い求めるあまり全ての賞金をGPU・計算環境に課金して、いつか大学の研究室や国立研究所も抜き去って日本一計算資源を持ってる個人になったりしないですかね
161
現在の深層学習技術の原型となるネオコグニトロンを開発した福島先生のインタビュー記事
本人が当時どのようなことを考え，試行錯誤して研究していたのかや，当時の研究環境だったNHKの研究所の懐の深さ（今もそうなのか？）が述べられていて面白い
wired.jp/waia/2019/09_k…
162
分子・材料科学のための深層学習をまとめたWeb書籍が公開されてます
whitead.github.io/dmol-book/intr…
ただこの本,Graph NetやAttention,深層生成モデルのFlowまで,最近の話題を実装や図でやたら詳しく解説しているため,化学的な側面は抜きにして普通に最近の深層学習の入門テキストとして使ってもいいのでは
163
様々なTransformer論文が量産されて，もう何もかもAll You Needなのではと思われる中，まさかの"Attention is not all you need"論文が投下され，混沌の時代へ・・・
"Attention is not all you need: pure attention loses rank doubly exponentially with depth"
arxiv.org/abs/2103.03404
164
歴史的には人工知能は，探索やら知識やら，ニューラルネットワークを使ったものも色々と試行錯誤があったわけですが，一番知能の実現の解答に近いのが，
「少し特殊なでかいニューラルネットワークで，穴埋め問題をいっぱい学習させること」
だったのは誰も想像してなかったのでは
165
タンパク質の立体構造予測・バイオインフォマティクスの常識を変えるレベルの圧倒的性能を叩き出したDeepMindのAlphaFold v2の論文と実装がついに公開されたようです!
初代AlphaFoldの時と違い、今回は実装と学習済みの公開がされました!
nature.com/articles/s4158…
実装
github.com/deepmind/alpha…
166
Google（Alphabet）が,創薬会社Isomorphic Labsを設立することを発表しました
AlphaFold2で創薬・構造生物学に革命を起こしたDeepMind CEOのデミス・ハサビスがトップに就任するということで,いよいよ本気でDeepMindの圧倒的AI技術でこの界隈に革命を起こしにきた感じですね
isomorphiclabs.com/blog
167
世界的に有名な線形代数の教科書（邦訳だと『線形代数イントロダクション』，『線形代数とその応用』）の著者として名高いMITのストラング先生による，線形代数の機械学習，信号処理等応用の講義
線形代数の講義のお手本になりそうな内容です
黒板を使った数学らしいスタイル
youtube.com/playlist?list=…
168
「GitHubの最高経営責任者（CEO）は、奴隷制度に関係する用語を不必要に使用するのを避けるために、「マスター」という用語を「メイン」などの中立的な用語に変更する取り組みを進めていることを明らかにした」
いよいよ技術界隈の日常にも影響が迫ってきましたね
japan.zdnet.com/article/351552…
169
国際数学者会議における応用数学者の講演をベースにした，AI研究における数学を論じた文章です
The Mathematics of Artificial Intelligence
arxiv.org/abs/2203.08890
AI研究x数学は定期的に話題になるトピックで，大量の議論や文章がありますが，本物のガチ勢による資料で大変よく整理されています
170
抽選だったGPT-4のAPIを全ユーザーに解放するとのこと．今後GPT APIを使った巷のアプリの性能が飛躍的に上がるかも
openai.com/blog/gpt-4-api…
で，この記事，中盤にさらっと重要なことが書かれているのですがChatGPT/GPT-4をファインチューニングする機能が予定されている模様，これは大きい．… twitter.com/i/web/status/1…
171
Googleで論文を探し，探し出した論文をipadで読み，内容を雑にPyTorchで実装し，必要な書籍はAmazonで揃えて，自分の研究はGAFAに先を越されるという研究生活をしている
172
とんでもタイトルの論文が出てたので読んでみると面白かった
Artificial Artificial Artificial Intelligence
arxiv.org/abs/2306.07899
既に4~5割近いクラウドソーシングの人間アノテータがこっそりGPT等のLLMを使っているのではという話… twitter.com/i/web/status/1…
173
AIに，語尾に「ござる」を付けて武士っぽく専門用語を解説させるというネタ的な試みをやっていて，最初はネタ的に笑っていたのですが，「強化学習」を解説させた時のAIの武士なりきり度が凄すぎて感服しています
174
新Bing，いわゆるコンピュータサイエンスに関する限りでは，
・Wikipediaが好き
・Qiitaが好き
・学術論文は嫌い
・スライド資料は嫌い
・まとめサイトが好き
・Qiitaがものすごく好き
という印象です．
175
情報幾何学の入門論文が、ソニーコンピュータサイエンス研究所から出てるっぽい
"An Elementary Introduction to Information Geometry"
mdpi.com/1099-4300/22/1…
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身