26
オープンソース界隈の本命Stability AIが,ついに予告していた独自の大規模言語モデル"StableLM"を公開しました！
github.com/Stability-AI/S…
現時点ではMAX650億Pのモデルが公開されており，今後1750億のモデル公開を予定している模様
Stable Diffusionに続き,オープンソース LLM界隈の主役になるか
27
なんと岸田首相自らが、ChatGPT生成AIがG7サミットの議題になることを明言！
正真正銘、主要国の首脳の話題に生成AIが出てくる事態になるとは…
具体的には"AIのあり方をめぐる国際的なルールづくり"が焦点だそう。
開催国が日本というのがよい。
www3.nhk.or.jp/news/html/2023…
28
我々が翻訳した『強化学習(第二版)』、重版が出ました！
発売直後にChatGPTが発表され,その後の生成AIブームにおける重要技術として強化学習が過去最高に注目される奇跡で,想像以上に売れてくれました！
今話題の生成AIのコア技術を勉強したい方は,ぜひこの世界的教科書の購入をご検討ください！
30
これは重要な知見
ChatGPTやGPT-4等の本質は,巨大Transformerをスケーリング則(データ量,計算量,モデルサイズに従い性能上昇が続く)を背景に大規模学習することですが,計算量はほぼ限界ライン
実はデータ量も2026年にWebデータ枯渇の試算(arxiv.org/abs/2211.04325)があり,AIの進化は落ち着く可能性が twitter.com/ProfMatsuoka/s…
31
OpenAI CEOのアルトマンが政府に対してOpenAIやChatGPT, GPT-4について説明した際の資料が公開されました．
これは大変貴重な資料です．OpenAIのCEO自らが公に国に対しOpenAIのスタンスや，GPTの技術・応用可能性について説明したのは，ChatGPT登場以降初めてなのでは
note.com/akihisa_shioza…
32
先週の話ですが、永田町に行ってChatGPT、GPT-4の技術面の話をする機会がありました。
あくまでも個人的印象ですが、日本の政治家の方達、GPT周りの話題にかなり敏感で、知識も相当あるように思います。
33
イーロン・マスクが予告していた，Twitterアルゴリズムの公開、朝起きたら本当に公開されてて戦慄
エイプリルフールネタかと思いきや、どうもガチっぽい
github.com/twitter/the-al…
34
「GPTはチューリングマシンになりつつある」
"GPT is becoming a Turing machine: Here are some ways to program it"
arxiv.org/abs/2303.14310
先週のGPT-4が汎用人工知能論文もだったけど，最近のMicrosoft ResearchはGPTに関して主張がだいぶ強い論文を次々と投稿している気が
35
深層学習以降のAIは昔と比べると研究がかなり加速して,1ヶ月くらい前の論文で「ちょっと古い論文ですが…」という感じで,他分野からは「何言ってだこいつ」状態でしたが,ChatGPT以降は更に加速して,1週間か下手すれば数日前の話ですら,
「ちょっと古い情報ですが…」
みたいになってて,うーんみが深い
36
OpenAIのChatGPTに追いつこうと,オープンソースの生成AI開発が凄いことになってます
本日だけで3モデルが話題に
・Cerebras-GPT(130億パラ,非GPU)
・OpenFlamingo(800億,マルチモーダル)
・ GPT4all(70億,データ・学習コード公開)
ある意味ClosedなGPT-4に対抗し「GPT for all」のネーミングは面白い
37
OpenAI以外の研究者「ChatGPT以上のAI開発は半年間停止しろ（裏でChatGPTに追いつくために全力学習）」
38
イーロン・マスクのほか,ベンジオなどの大物たちが,ChatGPT以上のAIの危険性を鑑み，半年間の開発停止を求める署名
futureoflife.org/open-letter/pa…
中身を読んでみましたが,政府の介入まで求める強い主張
署名にGoogle, DeepMind, Microsoftまでがいる中OpenAIからの署名はゼロでOpenAI包囲網の色が強い… twitter.com/i/web/status/1…
39
お待たせしました！
GPT-4の解説を書いている最中ですが，まずはChatGPTの資料について，Speakerdeckの方にアップロードし，快適に見られるようにしました．
アップロードに伴い，別の場所で解説する時に使用したスライドを追加するなどし，一部アップデートしました．
speakerdeck.com/imai_eruel/cha…
40
テレ東の特番で、OpenAI CEOのアルトマンが、
「AGIに慣れてもらうには、革新的な技術を一気に出すよりは徐々に出す方がいい」
と言っているので、OpenAIはここ最近のあの情報量でも手加減しているつもりらしい…
41
GPT-4が出て以降，この資料が再びあちこちで拡散されており，閲覧回数がとんでもない速度で伸びています
その結果というか「GPT-4の解説もよろしく」という圧力が全方位からかかったので執筆中です（休日を全消費しています）
「SlideShareはやめろ」の声も大量にいただいたので公開媒体は別にします twitter.com/ImAI_Eruel/sta…
42
数十年分の技術革新が２週間で起きたのではないかと思うような日々でした
毎日起きて技術動向を確認するのが楽しいような怖いような
・GPT-4公開
・Google PaLM API
・Github: Copilot X
・ChatGPT Pluginsの公開
・Bing Image Creator
・GPT-が初期の汎用人工知能論文
・Google Bard限定公開
43
GPT-4を開発したOpenAI等がGPTが労働市場に与える影響を分析した論文を公開しました
"GPTs are GPTs"
arxiv.org/pdf/2303.10130/
GPTはまさにGPTs(汎用技術; General Purpose Technogies)で影響は広範に及び,賃金水準によらず,むしろ高所得層が影響を受けることが示唆されてます
44
これは面白い
GPT-4が「TenetLang」なる新しいプログラミング言語を作ってくれたという
GPT-4にソフトウェア開発のなんたるかを聞き,
重要な要素を満たす言語を設計してくれるように頼んだとのこと
既にgithubで実際に公開されている
lukebechtel.com/blog/gpt4-gene…
github: github.com/tenetlang/tene…
45
スタンフォード大学とかは, ChatGPT, GPT-4みたいな大規模言語モデルの教育にも力を入れてて,授業で基礎知識の講義や論文レビュー,更に計算機リソースを与えて実際に言語モデルを作らせたりしてます
stanford-cs324.github.io/winter2022/
講義資料も講義サイトで公開されているため,GPT,LLMに興味がある人は是非!
46
歴史的には人工知能は，探索やら知識やら，ニューラルネットワークを使ったものも色々と試行錯誤があったわけですが，一番知能の実現の解答に近いのが，
「少し特殊なでかいニューラルネットワークで，穴埋め問題をいっぱい学習させること」
だったのは誰も想像してなかったのでは
47
この１週間，もしかしたら人類史上で一番，技術の発展の加速が感じられる１週間だったのでは？
・ OpenAIからGPT-4の発表
・GoogleからPaLM API，製品への生成AI搭載の発表
・マイクロソフトからOfficeへのGPT-4搭載の発表
・手軽に扱える超高性能な言語モデルAlpaca
・PyTorch2.0
48
GPT-4やChatGPTの登場以降,コア技術の一つである強化学習の注目も過去になく高まっているので,体系的に学べるもの(私が関わったもの)を紹介しておきます!
・強化学習の基礎と深層強化学習
slideshare.net/ShotaImai3/cha… slideshare.net/ShotaImai3/cha…… twitter.com/i/web/status/1…
49
AlphaGoなどのAIが囲碁や将棋で人間を倒したあと，棋士たちは研究を重ねて，それ以前より遥かに強くなった
ChatGPTやGPT-4とかでも同じことが起きて，知能や人間の強みを考え直した結果，GPT以前の人と比べて根本的に考え方が異なるようになったりするかも（もはやニュータイプである）
50
研究者の中では、GPT-3が出た辺りから「こりゃGPT-10になるころにはGPTじゃなくて"Human"を名乗りそうだな」的なジョークがあったんですが、この調子だとGPT-6くらいでHumanになって、GPT-10くらいだともう新世界の神を称する何かになりそう
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身