26
@ktromr 「質問者である私自身は完全に理解しているのですが、他の聴衆がわかっているか怪しいので、説明をよろしくお願いいたします」みたいな感覚でしょうか
27
ハーバード大学のプログラミング,コンピュータサイエンスのコース「CS50」の2022年度版の日本語訳が完了し公開された模様
cs50.jp
講義動画の日本語字幕や講義に使用されたノート等が日本語化されてます
この講義,アルゴリズムの説明で実際に人や物体を使っており中々ダイナミックです
28
MIT，ハーバード等の海外の有名大学の講義や,youtubeで数百万再生を超えるようなコンピュータサイエンスの人気講義で無料公開されているものをまとめたサイト
laconicml.com/computer-scien…
非常に数が多く，全てを見るのは難しいですが,AI・機械学習系の講義は,界隈でも既に名が知られた名講義ばかりです
29
OpenAI CEOのアルトマンが政府に対してOpenAIやChatGPT, GPT-4について説明した際の資料が公開されました．
これは大変貴重な資料です．OpenAIのCEO自らが公に国に対しOpenAIのスタンスや，GPTの技術・応用可能性について説明したのは，ChatGPT登場以降初めてなのでは
note.com/akihisa_shioza…
30
ツイッターに降臨した深層学習の神Hinton先生のプロフィール，たった一言「deep learning」とだけ書いてあるの強すぎる
正真正銘の創造者の特権．余計な情報は必要なく，これだけで偉大さが全て伝わってしまう
神が「神です」と名乗っている感がある
31
GPT-4を開発したOpenAI等がGPTが労働市場に与える影響を分析した論文を公開しました
"GPTs are GPTs"
arxiv.org/pdf/2303.10130/
GPTはまさにGPTs(汎用技術; General Purpose Technogies)で影響は広範に及び,賃金水準によらず,むしろ高所得層が影響を受けることが示唆されてます
32
AI/機械学習に特化した新プログラミング言語「Mojo」が誕生し,かなり注目されてます
modular.com/mojo
・Pythonの3500倍早い
・文法はPython意識. 互換性を一定程度保つ予定
・開発者がSwift(Apple/iPhoneでお馴染み)と同じ
・かつてのObjective-C→Swift移行を意識
ということで期待が大きい
33
ソフトウェア開発やコンピュータ科学の技術,その他様々なプログラミング言語や機械学習に関する書籍や資料について，無料かつ日本語で読める洋書の翻訳書などを中心に大量にまとめたリポジトリ
github.com/EbookFoundatio…
エンジニア,研究者共に,ここにある資料だけでかなりの学習ができそうな雰囲気
34
線形代数の講義名を「AI基礎I」，微積の講義名を「AI基礎II」，確率・統計の講義名を「AI基礎III」，普通のプログラミング演習をPythonにして「AI演習」にすれば，たちまち講義の受講者が爆増し（元々必修とか言わない），ドロップアウト率が減り，対外的にはAI教育をしている先端大学になれる
35
Amazonのソフトウェアエンジニアになった人が,GAFAのような巨大テック企業を目指す人のため,自分の学習に使った膨大な資料を公開したリポジトリ"Coding Interview University"
github.com/jwasham/coding…
エンジニアが見るべき大量の本質情報が集まっている感じですね(6言語の翻訳版があるくらいの人気)
36
これは重要な知見
ChatGPTやGPT-4等の本質は,巨大Transformerをスケーリング則(データ量,計算量,モデルサイズに従い性能上昇が続く)を背景に大規模学習することですが,計算量はほぼ限界ライン
実はデータ量も2026年にWebデータ枯渇の試算(arxiv.org/abs/2211.04325)があり,AIの進化は落ち着く可能性が twitter.com/ProfMatsuoka/s…
37
イーロン・マスクが予告していた，Twitterアルゴリズムの公開、朝起きたら本当に公開されてて戦慄
エイプリルフールネタかと思いきや、どうもガチっぽい
github.com/twitter/the-al…
38
DeepMindが非常に革新的なAI「AlphaCode」を発表しました
テーマはAIによる高度な自動プログラミングです
競技プログラミングのように,高度な課題でも人間の平均を超えるパフォーマンスをみせています
夢の楽園,全自動プログラミング社会に一歩前進
deepmind.com/blog/article/C…
39
先日紹介した、東工大で使用されたPythonを用いた機械学習の学習教材『機械学習帳』ですが、それの前段階でPython学習に主眼を置いた『Python早見帳』もあるようですね
chokkan.github.io/python/
手軽に参照でき。なぜこう書くのかの理由の説明、注意点もあって初学者の入門によさそう
40
東京大学 松尾研究室の深層強化学習サマースクールで私が使用した資料を公開しました!
強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムの発展,その他有用な文献や資料への案内も載せています
RL分野全体を大体網羅したので,少しでもRLに興味ある人は是非!
slideshare.net/ShotaImai3/rls…
41
ChatGPT,GPT-4以降の研究で一番のインパクト
arxiv.org/abs/2304.11062
GPT系は最大3万トークン入力で,これが記憶の実現や大量のテキスト入力を妨げていたのですが,本手法はなんと200万トークンが可能に
本や大量のコードも丸ごと入力でき,会話なら過去の情報を丸ごと入力して記憶できるレベル twitter.com/i/web/status/1…
42
線形代数を直感的に理解できるようにと、『The Art of Linear Algebra』という、線形代数のさまざまな操作を視覚的に表現した教科書が公開されています
github.com/kenjihiranabe/…
なんと序文に、線形代数の教科書・講義といえばこの人な、ストラング先生が
43
有名なアルゴリズムの考え方について、シンプルに、中学生レベルの数学で解説した良資料です
speakerdeck.com/e869120/algori…
東大生とはいえ学部一年でこの解説のわかりやすさはすごいと思っていたら、経歴が凄まじかった（国際情報オリンピック金、AtCoder赤、競プロ作問、競プロの著作などなど）
44
大学入学共通テスト(旧センター試験)における新科目「情報」の試作問題が公開されてます((出題は未定
ipsj.or.jp/education/9fae…
暗号解読のプログラミングや確率的モデルのシミュレーション,IPアドレスとネットワークの問題等,これを解くことになる高校生が得る情報の教養は相当なものになるのでは
45
OpenAIのChatGPTに追いつこうと,オープンソースの生成AI開発が凄いことになってます
本日だけで3モデルが話題に
・Cerebras-GPT(130億パラ,非GPU)
・OpenFlamingo(800億,マルチモーダル)
・ GPT4all(70億,データ・学習コード公開)
ある意味ClosedなGPT-4に対抗し「GPT for all」のネーミングは面白い
46
テスラの自動運転車の制御AI視点で、行っている処理を可視化したもの
semantic segmentation、object detection、depth estimationなど、最近の機械学習、特にCV技術の集合体感がある(なお学習に必要な計算資源も法外で、70000 GPU hoursとある…)
tesla.com/autopilotAI
47
ひたすらMatplotlibでいろんな図を作る奥義集みたいな書籍が海外で出版され、実装と本の内容がWebで公開されているようです
github.com/rougier/scient…
48
MPT-7Bというオープンソース大規模言語モデルが先ほど公開されたのですが，オープンソースの本命という気がします
mosaicml.com/blog/mpt-7b
・商用利用可能
・6万5000トークン使用可能（GPT-4の2倍！）
・7Bと比較的小さいモデルながら,かなり高性能
・日本語を扱え,性能もかなり高い（超重要）… twitter.com/i/web/status/1…
49
アカデミアにおける機械学習研究の「やらかし」を避けるための知見をまとめた論文
arxiv.org/abs/2108.02497
多くの人が心当たりのある話題がちらほら
"How to avoid machine learning pitfalls: a guide for academic researchers"
50
ChatGPTにブラウザで動くゲームを作ってという指示をしてみたところ、そのまんまコピペでブラウザ上で動く(ちゃんと自分で操作できる)ブロック崩しゲームのコードを出力してくれました
(なお、具体的な内容の指示やデバッグはゼロ)
日本語ができればプログラミングできなくてもゲームが作れる
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身