101
マイクラの中で,まさかのゲーム内でブロックを組み合わせてニューラルネットワークを作成し，分類タスクを解いている動画が非常に面白いです
bilibili.com/video/BV1yv4y1…
一切のライブラリもなく単純計算の回路の組み合わせで実現しているので，凄まじいサイズになってますが・・・
102
一応，「一時的な制限」としているが，いつまで続くのかは未定
ログインしないとツイートが見れないというのも致命的だったが，これはサービスの根幹を揺るがすレベル
103
来年にケンブリッジ大学出版から発売予定のベイズ最適化に関する教科書のドラフトが公開されています
github.com/bayesoptbook/b…
統計、機械学習分野、その他関連分野の人向けで、入門書でもゼロから学習できる自己完結型で網羅的な教科書のようです
104
スタンフォード大学でAI・機械学習をやっている人たちのオールスターともいえる約100名の著者からなる論文が出ました
arxiv.org/abs/2108.07258…
BERT、GPT、DALL-Eなど、事前学習されて様々なタスクに応用が効く超巨大モデルを総称して"Foundation Model"と呼び、社会に与える影響を論じています
105
現在の深層学習技術の原型となるネオコグニトロンを開発した福島先生のインタビュー記事
本人が当時どのようなことを考え，試行錯誤して研究していたのかや，当時の研究環境だったNHKの研究所の懐の深さ（今もそうなのか？）が述べられていて面白い
wired.jp/waia/2019/09_k…
106
普段は実装付きのコンテンツをあまり公開しないDeepMindですが,なんと教育用の機械学習・深層学習の実装コンテンツが公開されてます
github.com/deepmind/educa…
さすが天下のDeepMind,強化学習やタンパク質の立体構造予測,言語モデルの内容も
Pythonやnumpyの解説もあり初学者から研究者まで色々学べそう
107
もはやLLM界隈の教科書となっているこのサーベイ,新たに34p追加,200個以上の参考文献が追加されたようで,この分野の発展速度を物語っています
"A Survey of Large Language Models"
arxiv.org/abs/2303.18223
この論文,今年3月に投稿されたのですが,私が記憶している限りもう10回以上更新されてます
108
Microsoftがテキスト+画像+音声版GPTとも言える手法を発表しました!
"Language Is Not All You Need: Aligning Perception with Language Models"
arxiv.org/abs/2302.14045
今後ChatGPTやBingに応用され,画像や音声でも操作できるようになるかもしれず,人間のほとんどの疑問に答えてくれそうです
109
深層学習以降のAIは昔と比べると研究がかなり加速して,1ヶ月くらい前の論文で「ちょっと古い論文ですが…」という感じで,他分野からは「何言ってだこいつ」状態でしたが,ChatGPT以降は更に加速して,1週間か下手すれば数日前の話ですら,
「ちょっと古い情報ですが…」
みたいになってて,うーんみが深い
110
東大工学部2号館のサブウェイ、閉店告知直後によほどのアクションがあったのか、閉店が撤回されて継続するそうな
111
AI研究者のジョークで「めんどうなことはAIにやらせて俺たちはゲームで遊んで暮らそうと思ってたら，なぜかAIがゲームをやって俺たちがAI様の世話をしていた」というやつ，AIイラストの方でも似たような現象が発生しているのでは・・・
112
制御・強化学習、ロボティクス界隈に超朗報です
コミュニティでの頻繁に利用される主要な物理シミュレータでありながらも、有料故に手が出しづらく、様々なところで議論が起きていたMuJoCoですが、なんとDeepMindが買収し、無料で解放したようです！
deepmind.com/blog/announcem…
113
OpenAIがオープンソースの大規模言語モデルの公開準備をしているという，かなり大きなニュースです．
reuters.com/technology/ope…
モデルの性能やライセンスにもよりますが,企業や研究機関のLLM開発の転換点になりそう
ChatGPT/GPT-4レベルのものだったら世界がひっくり返るレベルですが果たして..
114
MITの深層学習コースの2021年版が公開されていました
youtube.com/playlist?list=…
基礎〜画像認識、言語処理、強化学習、深層生成モデルまで網羅度が高いのはもちろんですが、発展トピックとして深層学習の限界や、学習モデルがやらかした例も取り上げているのは好印象
115
理研で行われた、ChatGPTなどのLLMに関する特別講演の動画が公開されています。
m.youtube.com/watch?v=PUuk4C…
私も当日、配信で見ていたのですが(そして最後のスライドで自分の資料が参考資料として出てきてビックリしたのですが)、LLMに関する重要な知見がまとまっており、大変素晴らしい講演でした！
116
IBMがAIで代替できそうな仕事については採用を停止したという報道
bloomberg.com/news/articles/…
数百人規模かと思いきや，7000人以上の規模らしくなかなか怖い話
117
コンピュータビジョンの教科書『Computer Vision: Algorithms and Applications』の2nd Editionのドラフト版が公開
szeliski.org/Book/
1206ページの大ボリュームで,追加された深層学習の章にはCNNやResNet,NASや深層生成モデル等の最新話題,他章も新しい話題が多く,CVの教科書の決定版となりそう
118
深層学習の新しい教科書のドラフトが公開されてます!
"Understanding Deep Learning"
udlbook.github.io/udlbook/
従来の深層学習の教科書は,最近急速に発展したStable Diffusion等の拡散モデル,ChatGPTみたいな言語モデルの生成AIをあまり解説してませんでしたが,この辺も解説する本格的な教科書です
119
既に機械学習界のインフラ的サイトになっていたPaper With Codeに続いて，論文のデータセットもまとめた「Paper with Datasets」（名前はツイッターでの呼称で，サイト自体は同じ）ができたようです
paperswithcode.com/datasets
データセット探しの定番になるかもしれないですね
120
Pythonの他,Java,JavaScript,C++等大量の言語の基礎教養〜応用アルゴリズム実装があるオープンソースプロジェクトのリポジトリ"The Algorithms"
github.com/TheAlgorithms
以前見たのはPythonだけでしたが,大抵の言語の実装があり,コード書く人なら全員が参考になる超有用な代物っぽいですね
121
新Bing，いわゆるコンピュータサイエンスに関する限りでは，
・Wikipediaが好き
・Qiitaが好き
・学術論文は嫌い
・スライド資料は嫌い
・まとめサイトが好き
・Qiitaがものすごく好き
という印象です．
122
LLMのトークン制限は頻繁に議論になりますが,とんでもない手法が出てきました
"LongNet"
arxiv.org/abs/2307.02486
トークン長が10億(!)と主張する手法で,ChatGPT/GPT-4が3万,最近の研究のMAXが100万なので凄いインフレです(冒頭の図が強すぎる)… twitter.com/i/web/status/1…
123
GAFAをはじめとする代表的なテック企業のプロダクトへの機械学習・データサイエンスの応用例が公表されている論文や記事を集めたリポジトリ
github.com/eugeneyan/appl…
データの扱い,検索や推薦システム等メジャーなものから,NLP,CV,異常検知,その他(RLも!)色々あり,具体的な応用を目指している人は必見
124
LeCun先生が今季行ってきた深層学習の講義で使用された、講義ビデオ、スライド資料、Jupiter Notebookの実装資料などが全て公開に
atcold.github.io/pytorch-Deep-L…
深層学習の歴史や基礎から、CV、NLP、RL、音声認識など、広い範囲の最新の話題を扱っているのはさすが深層学習の始祖の講義という感じ
125
みんな絶対来ると思っていた"Transformer is All You Need"論文が爆誕
arxiv.org/abs/2102.10772
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身