26
28
この1週間,もしかしたら人類史上で一番,技術の発展の加速が感じられる1週間だったのでは?
・ OpenAIからGPT-4の発表
・GoogleからPaLM API,製品への生成AI搭載の発表
・マイクロソフトからOfficeへのGPT-4搭載の発表
・手軽に扱える超高性能な言語モデルAlpaca
・PyTorch2.0
29
東大が公開しているプログラミング・データサイエンス・統計などの資料がまとめられていました(強化学習枠で私の資料も)
どちらかというと,初学者向けの資料なので,この辺の分野の入門にでも
digitaldigital.hatenablog.com/entry/2020/07/…
30
@ktromr 「質問者である私自身は完全に理解しているのですが、他の聴衆がわかっているか怪しいので、説明をよろしくお願いいたします」みたいな感覚でしょうか
31
テスラの自動運転車の制御AI視点で、行っている処理を可視化したもの
semantic segmentation、object detection、depth estimationなど、最近の機械学習、特にCV技術の集合体感がある(なお学習に必要な計算資源も法外で、70000 GPU hoursとある…)
tesla.com/autopilotAI
32
DeepMindが非常に革新的なAI「AlphaCode」を発表しました
テーマはAIによる高度な自動プログラミングです
競技プログラミングのように,高度な課題でも人間の平均を超えるパフォーマンスをみせています
夢の楽園,全自動プログラミング社会に一歩前進
deepmind.com/blog/article/C…
33
スタンフォード大の教授らが書いた意思決定アルゴリズムに関する700ページの書籍が公開されています
algorithmsbook.com
著者は私の研究分野(強化学習)でも有名な方だったので,期待して読んでみたところ,まさにこれだ!という内容でした
ベイズ,強化学習,探索,ゲーム理論等全部詰めです
34
GPT-4が出て以降,この資料が再びあちこちで拡散されており,閲覧回数がとんでもない速度で伸びています
その結果というか「GPT-4の解説もよろしく」という圧力が全方位からかかったので執筆中です(休日を全消費しています)
「SlideShareはやめろ」の声も大量にいただいたので公開媒体は別にします twitter.com/ImAI_Eruel/sta…
35
GPT-4を開発したOpenAI等がGPTが労働市場に与える影響を分析した論文を公開しました
"GPTs are GPTs"
arxiv.org/pdf/2303.10130/
GPTはまさにGPTs(汎用技術; General Purpose Technogies)で影響は広範に及び,賃金水準によらず,むしろ高所得層が影響を受けることが示唆されてます
36
ハーバード大学の確率統計の授業が公開されています
youtube.com/playlist?list=…
科学,工学,経済などあらゆる問題の基礎となる数学だけに,全30回以上みっちりやるカリキュラムです
一部の授業のタイトルが,確率にまつわるモンティ・ホール問題や誕生日のパラドックス等の問題になっているのはユニーク
37
AI/機械学習に特化した新プログラミング言語「Mojo」が誕生し,かなり注目されてます
modular.com/mojo
・Pythonの3500倍早い
・文法はPython意識. 互換性を一定程度保つ予定
・開発者がSwift(Apple/iPhoneでお馴染み)と同じ
・かつてのObjective-C→Swift移行を意識
ということで期待が大きい
38
MIT,ハーバード等の海外の有名大学の講義や,youtubeで数百万再生を超えるようなコンピュータサイエンスの人気講義で無料公開されているものをまとめたサイト
laconicml.com/computer-scien…
非常に数が多く,全てを見るのは難しいですが,AI・機械学習系の講義は,界隈でも既に名が知られた名講義ばかりです
39
ソフトウェア開発やコンピュータ科学の技術,その他様々なプログラミング言語や機械学習に関する書籍や資料について,無料かつ日本語で読める洋書の翻訳書などを中心に大量にまとめたリポジトリ
github.com/EbookFoundatio…
エンジニア,研究者共に,ここにある資料だけでかなりの学習ができそうな雰囲気
40
41
かつてAlphaGoと対局した世界最強の囲碁棋士イ・セドルが、もはやAIの打倒は不可能だとして引退を表明
DeepMindが用意した公式のAlphaGoとの対局で、1勝とはいえ勝てたのはこの人だけだったんですよね(他の人は全敗
Go master quits because AI 'cannot be defeated' bbc.com/news/technolog…
42
43
Amazonのソフトウェアエンジニアになった人が,GAFAのような巨大テック企業を目指す人のため,自分の学習に使った膨大な資料を公開したリポジトリ"Coding Interview University"
github.com/jwasham/coding…
エンジニアが見るべき大量の本質情報が集まっている感じですね(6言語の翻訳版があるくらいの人気)
44
ハーバード大学のプログラミング,コンピュータサイエンスのコース「CS50」の2022年度版の日本語訳が完了し公開された模様
cs50.jp
講義動画の日本語字幕や講義に使用されたノート等が日本語化されてます
この講義,アルゴリズムの説明で実際に人や物体を使っており中々ダイナミックです
45
46
ChatGPT,GPT-4以降の研究で一番のインパクト
arxiv.org/abs/2304.11062
GPT系は最大3万トークン入力で,これが記憶の実現や大量のテキスト入力を妨げていたのですが,本手法はなんと200万トークンが可能に
本や大量のコードも丸ごと入力でき,会話なら過去の情報を丸ごと入力して記憶できるレベル twitter.com/i/web/status/1…
47
線形代数を直感的に理解できるようにと、『The Art of Linear Algebra』という、線形代数のさまざまな操作を視覚的に表現した教科書が公開されています
github.com/kenjihiranabe/…
なんと序文に、線形代数の教科書・講義といえばこの人な、ストラング先生が
48
ChatGPTの登場で,「AIに意識を持つのか」議論が再燃しており,トップ学会(NeurIPS)でも哲学者を招いて議論していたっぽい.資料を見るとかなり長く,意識の条件,課題の提案など本気で議論していた
philpapers.org/archive/CHACAL…
曰く,
「意識を持っていないとする決定的な理由はない」
だそう.
49
みんなお世話になっているNumpyの論文がなんとNatureに!
nature.com/articles/s4158…
Numpyの基本から,科学の世界における貢献や歴史が述べられている
50
MPT-7Bというオープンソース大規模言語モデルが先ほど公開されたのですが,オープンソースの本命という気がします
mosaicml.com/blog/mpt-7b
・商用利用可能
・6万5000トークン使用可能(GPT-4の2倍!)
・7Bと比較的小さいモデルながら,かなり高性能
・日本語を扱え,性能もかなり高い(超重要)… twitter.com/i/web/status/1…