76
MITの深層学習コースの2021年版が公開されていました
youtube.com/playlist?list=…
基礎〜画像認識、言語処理、強化学習、深層生成モデルまで網羅度が高いのはもちろんですが、発展トピックとして深層学習の限界や、学習モデルがやらかした例も取り上げているのは好印象
77
最近,有名な企業のエンジニア研修資料の公開が続いていますが,ミクシィからも非常に質の高いものが公開されていました
mixi-developers.mixi.co.jp/21-technical-t…
エンジニアの必須技術はもちろん,人気ゲームをいくつか抱えているためか,Unityなどゲーム開発関連の資料もあり,この手の資料には企業の特色が出るようです
78
東大の講義で、以前資料を公開したことでAWSを学ぶ決定版とネットで広く話題になったものが、書籍化するようです
tomomano.github.io/learn-aws-by-c…
79
イカが人間の子供の知能テストに合格したという話題
sciencealert.com/cuttlefish-can…
実はこれ去年も話題があり,強化学習の講義で触れようと思ってました
「長期的な利益を考慮した行動(餌を我慢すると後からその数倍貰える等)」がイカには可能らしく,強化学習の視点だと価値関数的なものを学習しているのでは
80
アカデミアにおける機械学習研究の「やらかし」を避けるための知見をまとめた論文
arxiv.org/abs/2108.02497
多くの人が心当たりのある話題がちらほら
"How to avoid machine learning pitfalls: a guide for academic researchers"
81
深層学習の御三家Hinton、Bengio、LeCun先生らが、深層学習とAIについて、最近の研究と未来を語った論文
最近の発展のトップにTransformer・Attentionがくる辺り、この技術の無双っぷりが窺える
この3名（神）が揃って共著は結構珍しいのでは
cacm.acm.org/magazines/2021…
82
深層学習のほとんどの分野を網羅したKerasの実装本の最新版が公開されています
（大学の講義で使うことを目的に書かれたようですが、500ページ超の実装本をやる講義とは一体...）
"Applications of Deep Neural Networks with Keras"
arxiv.org/pdf/2009.05673…
PyTorch版も欲しい内容ですね
83
とてつもない頻度で研究が出て成果を出している、言語処理の事前学習モデルの大型サーベイ論文が出ました
主要な実装・ライブラリへの解説、案内も付いています
arxiv.org/abs/2108.05542
もう全部追うのは不可能なレベル・・・
84
分子・材料科学のための深層学習をまとめたWeb書籍が公開されてます
whitead.github.io/dmol-book/intr…
ただこの本,Graph NetやAttention,深層生成モデルのFlowまで,最近の話題を実装や図でやたら詳しく解説しているため,化学的な側面は抜きにして普通に最近の深層学習の入門テキストとして使ってもいいのでは
85
スタンフォード大学でAI・機械学習をやっている人たちのオールスターともいえる約100名の著者からなる論文が出ました
arxiv.org/abs/2108.07258…
BERT、GPT、DALL-Eなど、事前学習されて様々なタスクに応用が効く超巨大モデルを総称して"Foundation Model"と呼び、社会に与える影響を論じています
86
リクルートのエンジニア研修資料の2021年度版が公開されたようです
recruit-tech.co.jp/blog/2021/08/2…
最近色々な企業の研修資料が公開されて注目されてますが、例年話題になるリクルートの資料についても、ブラウザ周りやAWSを使ったクラウド開発の技術の解説が充実しています
87
コンピュータサイエンスの世界でプログラマーに特に影響のある有名な書籍について、Web上で無料で読めるものがまとめてあります
github.com/cs-books/influ…
現在でも変わらず読まれているものや、昔からこの業界にいるほとんどの人が参考にしたであろう本など色々あります
88
有名なファインマン先生の物理講義、講義の録音音声がWeb上で公開されたのか（なお、書籍のファインマン物理学はおすすめされたが途中で挫折）
feynmanlectures.caltech.edu/flptapes.html
結構な量があるのでリスニング練習にも使えそう（？）
89
Google Researchが、「機械学習を使うシステムは高くつくぞ」という、MLの技術的負債について語る論文を出していました
research.google/pubs/pub43146/
機械学習を高金利のクレジットカードに例えたタイトルが秀逸
90
線形代数を直感的に理解できるようにと、『The Art of Linear Algebra』という、線形代数のさまざまな操作を視覚的に表現した教科書が公開されています
github.com/kenjihiranabe/…
なんと序文に、線形代数の教科書・講義といえばこの人な、ストラング先生が
91
コンピュータサイエンスの人、完全理解のために低レイヤーまで下って完璧に勉強する人が割といるけど、あまりにも下りすぎて半導体をやることになった人がいるらしくて笑った
92
コンピュータビジョンのバイブル的な書籍『Computer Vision: Algorithms and Applications』の第２版について、ついに発売版の執筆が完了したようで、ドラフトが公開されています
szeliski.org/Book/
深層学習のブームで一番影響が大きかった分野でもあり、1200ページ超えの大著になっています
93
制御・強化学習、ロボティクス界隈に超朗報です
コミュニティでの頻繁に利用される主要な物理シミュレータでありながらも、有料故に手が出しづらく、様々なところで議論が起きていたMuJoCoですが、なんとDeepMindが買収し、無料で解放したようです！
deepmind.com/blog/announcem…
94
来年にケンブリッジ大学出版から発売予定のベイズ最適化に関する教科書のドラフトが公開されています
github.com/bayesoptbook/b…
統計、機械学習分野、その他関連分野の人向けで、入門書でもゼロから学習できる自己完結型で網羅的な教科書のようです
95
Google（Alphabet）が,創薬会社Isomorphic Labsを設立することを発表しました
AlphaFold2で創薬・構造生物学に革命を起こしたDeepMind CEOのデミス・ハサビスがトップに就任するということで,いよいよ本気でDeepMindの圧倒的AI技術でこの界隈に革命を起こしにきた感じですね
isomorphiclabs.com/blog
96
スタンフォード大学のNLP+深層学習の講義2021年度版が公開されています
youtube.com/playlist?list=…
この講義,2年前くらいはTransformerやAttentionを講義の最終版でやってましたが,研究の加速により,この辺は当たり前と言わんばかりに中盤で消化して,後半は最近話題の言語モデル等の話になってます
97
東大の研究室でやっている深層学習の講義、演習教材にGoogle colabを使っているのですが、最近仕様が極端に悪化してきて（セッション数、GPUの制限）、ついに講義前の軽い確認作業でGPUの使用量限界に達してしまうレベルになったので、色々考える必要がありそうです
98
海外のそこそこ有名なテック企業の求人の要求に「BERTを使った機械学習・自然言語処理の経験を４年以上」（※BERTの論文公開は2018年）みたいのがあったらしく、盛大にネタにされているっぽい
99
藤井４冠、強さを追い求めるあまり全ての賞金をGPU・計算環境に課金して、いつか大学の研究室や国立研究所も抜き去って日本一計算資源を持ってる個人になったりしないですかね
100
なんと！個人的に今年のトップニュースです
現時点でも深層学習の必読書だったMLPシリーズの『深層学習』が、トランスフォーマーやグラフネット、生成モデル（多分GANやVAEも？）などの最近の大人気モデルを加えて刷新されるようです！
「初代」深層学習本が再び「最強」深層学習本に twitter.com/kspub_kodansha…
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身