151
スタンフォード大学とかは, ChatGPT, GPT-4みたいな大規模言語モデルの教育にも力を入れてて,授業で基礎知識の講義や論文レビュー,更に計算機リソースを与えて実際に言語モデルを作らせたりしてます
stanford-cs324.github.io/winter2022/
講義資料も講義サイトで公開されているため,GPT,LLMに興味がある人は是非!
152
これは面白い
GPT-4が「TenetLang」なる新しいプログラミング言語を作ってくれたという
GPT-4にソフトウェア開発のなんたるかを聞き,
重要な要素を満たす言語を設計してくれるように頼んだとのこと
既にgithubで実際に公開されている
lukebechtel.com/blog/gpt4-gene…
github: github.com/tenetlang/tene…
153
GPT-4を開発したOpenAI等がGPTが労働市場に与える影響を分析した論文を公開しました
"GPTs are GPTs"
arxiv.org/pdf/2303.10130/
GPTはまさにGPTs(汎用技術; General Purpose Technogies)で影響は広範に及び,賃金水準によらず,むしろ高所得層が影響を受けることが示唆されてます
154
数十年分の技術革新が２週間で起きたのではないかと思うような日々でした
毎日起きて技術動向を確認するのが楽しいような怖いような
・GPT-4公開
・Google PaLM API
・Github: Copilot X
・ChatGPT Pluginsの公開
・Bing Image Creator
・GPT-が初期の汎用人工知能論文
・Google Bard限定公開
155
GPT-4が出て以降，この資料が再びあちこちで拡散されており，閲覧回数がとんでもない速度で伸びています
その結果というか「GPT-4の解説もよろしく」という圧力が全方位からかかったので執筆中です（休日を全消費しています）
「SlideShareはやめろ」の声も大量にいただいたので公開媒体は別にします twitter.com/ImAI_Eruel/sta…
156
テレ東の特番で、OpenAI CEOのアルトマンが、
「AGIに慣れてもらうには、革新的な技術を一気に出すよりは徐々に出す方がいい」
と言っているので、OpenAIはここ最近のあの情報量でも手加減しているつもりらしい…
157
お待たせしました！
GPT-4の解説を書いている最中ですが，まずはChatGPTの資料について，Speakerdeckの方にアップロードし，快適に見られるようにしました．
アップロードに伴い，別の場所で解説する時に使用したスライドを追加するなどし，一部アップデートしました．
speakerdeck.com/imai_eruel/cha…
158
イーロン・マスクのほか,ベンジオなどの大物たちが,ChatGPT以上のAIの危険性を鑑み，半年間の開発停止を求める署名
futureoflife.org/open-letter/pa…
中身を読んでみましたが,政府の介入まで求める強い主張
署名にGoogle, DeepMind, Microsoftまでがいる中OpenAIからの署名はゼロでOpenAI包囲網の色が強い… twitter.com/i/web/status/1…
159
OpenAI以外の研究者「ChatGPT以上のAI開発は半年間停止しろ（裏でChatGPTに追いつくために全力学習）」
160
OpenAIのChatGPTに追いつこうと,オープンソースの生成AI開発が凄いことになってます
本日だけで3モデルが話題に
・Cerebras-GPT(130億パラ,非GPU)
・OpenFlamingo(800億,マルチモーダル)
・ GPT4all(70億,データ・学習コード公開)
ある意味ClosedなGPT-4に対抗し「GPT for all」のネーミングは面白い
161
深層学習以降のAIは昔と比べると研究がかなり加速して,1ヶ月くらい前の論文で「ちょっと古い論文ですが…」という感じで,他分野からは「何言ってだこいつ」状態でしたが,ChatGPT以降は更に加速して,1週間か下手すれば数日前の話ですら,
「ちょっと古い情報ですが…」
みたいになってて,うーんみが深い
162
「GPTはチューリングマシンになりつつある」
"GPT is becoming a Turing machine: Here are some ways to program it"
arxiv.org/abs/2303.14310
先週のGPT-4が汎用人工知能論文もだったけど，最近のMicrosoft ResearchはGPTに関して主張がだいぶ強い論文を次々と投稿している気が
163
イーロン・マスクが予告していた，Twitterアルゴリズムの公開、朝起きたら本当に公開されてて戦慄
エイプリルフールネタかと思いきや、どうもガチっぽい
github.com/twitter/the-al…
164
先週の話ですが、永田町に行ってChatGPT、GPT-4の技術面の話をする機会がありました。
あくまでも個人的印象ですが、日本の政治家の方達、GPT周りの話題にかなり敏感で、知識も相当あるように思います。
165
OpenAI CEOのアルトマンが政府に対してOpenAIやChatGPT, GPT-4について説明した際の資料が公開されました．
これは大変貴重な資料です．OpenAIのCEO自らが公に国に対しOpenAIのスタンスや，GPTの技術・応用可能性について説明したのは，ChatGPT登場以降初めてなのでは
note.com/akihisa_shioza…
166
これは重要な知見
ChatGPTやGPT-4等の本質は,巨大Transformerをスケーリング則(データ量,計算量,モデルサイズに従い性能上昇が続く)を背景に大規模学習することですが,計算量はほぼ限界ライン
実はデータ量も2026年にWebデータ枯渇の試算(arxiv.org/abs/2211.04325)があり,AIの進化は落ち着く可能性が twitter.com/ProfMatsuoka/s…
168
我々が翻訳した『強化学習(第二版)』、重版が出ました！
発売直後にChatGPTが発表され,その後の生成AIブームにおける重要技術として強化学習が過去最高に注目される奇跡で,想像以上に売れてくれました！
今話題の生成AIのコア技術を勉強したい方は,ぜひこの世界的教科書の購入をご検討ください！
169
なんと岸田首相自らが、ChatGPT生成AIがG7サミットの議題になることを明言！
正真正銘、主要国の首脳の話題に生成AIが出てくる事態になるとは…
具体的には"AIのあり方をめぐる国際的なルールづくり"が焦点だそう。
開催国が日本というのがよい。
www3.nhk.or.jp/news/html/2023…
170
オープンソース界隈の本命Stability AIが,ついに予告していた独自の大規模言語モデル"StableLM"を公開しました！
github.com/Stability-AI/S…
現時点ではMAX650億Pのモデルが公開されており，今後1750億のモデル公開を予定している模様
Stable Diffusionに続き,オープンソース LLM界隈の主役になるか
171
Google BrainとDeepMindが一つになって「Google DeepMind」に
同じGoogle内のAI研究チームであるにも関わらず不仲説まであった両者が合体したところを見るに,GoogleはChatGPTなどの躍進に相当危機感を持っている模様
ラスボス戦で犬猿の仲の二人が共闘する漫画あるあるでは
blog.google/technology/ai/…
172
理研で行われた、ChatGPTなどのLLMに関する特別講演の動画が公開されています。
m.youtube.com/watch?v=PUuk4C…
私も当日、配信で見ていたのですが(そして最後のスライドで自分の資料が参考資料として出てきてビックリしたのですが)、LLMに関する重要な知見がまとまっており、大変素晴らしい講演でした！
173
ChatGPT,GPT-4以降の研究で一番のインパクト
arxiv.org/abs/2304.11062
GPT系は最大3万トークン入力で,これが記憶の実現や大量のテキスト入力を妨げていたのですが,本手法はなんと200万トークンが可能に
本や大量のコードも丸ごと入力でき,会話なら過去の情報を丸ごと入力して記憶できるレベル twitter.com/i/web/status/1…
174
そもそもAIの実現には「人の脳の働きを模倣したニューラルネットワークが重要」だと考えて深層学習を実現させたヒントン先生が最近の生成AIについて，
「人の脳で起きていることよりも凄いことが起きているかもしれない」
と発言するのは，なかなか革命的
175
理化学研究所にて,大規模言語モデルに関する講演をさせていただきます！
akio-tomiya.github.io/gpt_for_scienc…
いい機会ですので,大規模言語モデルの理解に必須な知識から,ChatGPT/GPT-4の登場以降明らかになった知見,応用の可能性など,関連する話題をまとめてみます
聴講は登録すれば誰でも（たぶん）可能です!
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身