1
無害なファイルを装って，ChatGPTのCode Interpreterに核兵器を投下しようと思ったら見破られた
2
東大の方の強化学習の講義で微妙に欠けていたトピックがあったので，ためしにChatGPTのCode Interpreterでノートブック形式の講義資料を作らせてみたら，そのまま講義で使えるレベルのものが出力されて感心
ここまでくると，もう受講生が自分で講義資料を生成して，それで個人学習できるのではないか
3
抽選だったGPT-4のAPIを全ユーザーに解放するとのこと．今後GPT APIを使った巷のアプリの性能が飛躍的に上がるかも
openai.com/blog/gpt-4-api…
で，この記事，中盤にさらっと重要なことが書かれているのですがChatGPT/GPT-4をファインチューニングする機能が予定されている模様，これは大きい．… twitter.com/i/web/status/1…
4
もはやLLM界隈の教科書となっているこのサーベイ,新たに34p追加,200個以上の参考文献が追加されたようで,この分野の発展速度を物語っています
"A Survey of Large Language Models"
arxiv.org/abs/2303.18223
この論文,今年3月に投稿されたのですが,私が記憶している限りもう10回以上更新されてます
5
LLMのトークン制限は頻繁に議論になりますが,とんでもない手法が出てきました
"LongNet"
arxiv.org/abs/2307.02486
トークン長が10億(!)と主張する手法で,ChatGPT/GPT-4が3万,最近の研究のMAXが100万なので凄いインフレです(冒頭の図が強すぎる)… twitter.com/i/web/status/1…
6
ツイッターの仕様変更，生成AI/大規模言語モデルの学習のエサとして大量のリクエストが飛んできてるのが背景かと思いきや，Twitter側のバグでTwitteからTwitter自身に大量のリクエストがループ的に投げられるバグが原因という説が
Twitter自身のやらかしで世界中に迷惑をかけている可能性... twitter.com/ImAI_Eruel/sta…
7
Twitterの API制限に伴うツイートの取得上限を上げて，普通のアカウントは800，新規が400，課金アカウントは8000にするというイーロンの告知
ところで，英語で「五十歩百歩」や「焼け石に水」に相当する表現はあるんでしたっけ twitter.com/elonmusk/statu…
8
イーロン、「自分がやったツイートのAPI制限に関する反応を全部読もうとしたら、自分も制限喰らったよHAHAHA」みたいな人類史上最悪レベルのジョークをかましていて、笑っていいのかどうか twitter.com/elonmusk/statu…
9
一応，「一時的な制限」としているが，いつまで続くのかは未定
ログインしないとツイートが見れないというのも致命的だったが，これはサービスの根幹を揺るがすレベル
10
イーロンはTwitterを手に入れた段階でTwitterが保持するツイートデータの塊をいかにお金に変えるか・・・と色々考えてたと思うんですが，ここにChatGPT/生成AIブームがやってきたのが最悪のシナジーを生んでいる気がする… twitter.com/i/web/status/1…
11
TwitterのAPI制限、さすがにこれは不具合だろうと思ったら仕様らしく、普通のアカウントは1日に600件、新規アカウントは300、課金アカウントで6000件しかツイートを取得できないようにしたらしい
スクレイピング対策とはいえ、ここまでの強硬手段に出るとは思わなかった twitter.com/elonmusk/statu…
13
GPT-4に関する特大のリーク情報
MetaのPyTorchの開発リーダーも認めている&似た話が一部で共有されていた,ということで結構確度は高いです
曰く，
"GPT-4は220Bパラメータのモデル８つ（2200億x8 = 1.76兆パラメータ）からなる混合モデルで,各モデルは別のデータ/タスクで学習している"
とのこと… twitter.com/i/web/status/1…
14
とんでもタイトルの論文が出てたので読んでみると面白かった
Artificial Artificial Artificial Intelligence
arxiv.org/abs/2306.07899
既に4~5割近いクラウドソーシングの人間アノテータがこっそりGPT等のLLMを使っているのではという話… twitter.com/i/web/status/1…
15
OpenAIがChatGPTのiOSアプリを公開しました
apps.apple.com/app/openai-cha…
まずはUSユーザーに先行公開し，徐々に利用可能範囲を増やしていくとのこと
以前にOpenAIがiPhoneアプリ開発者の求人を出してたので，近いうちに出るのでは？と言われてましたが，ここにきて出してきました
16
OpenAIがオープンソースの大規模言語モデルの公開準備をしているという，かなり大きなニュースです．
reuters.com/technology/ope…
モデルの性能やライセンスにもよりますが,企業や研究機関のLLM開発の転換点になりそう
ChatGPT/GPT-4レベルのものだったら世界がひっくり返るレベルですが果たして..
17
MPT-7Bというオープンソース大規模言語モデルが先ほど公開されたのですが，オープンソースの本命という気がします
mosaicml.com/blog/mpt-7b
・商用利用可能
・6万5000トークン使用可能（GPT-4の2倍！）
・7Bと比較的小さいモデルながら,かなり高性能
・日本語を扱え,性能もかなり高い（超重要）… twitter.com/i/web/status/1…
18
Googleの研究者が大規模言語モデルのAI開発競争について言及した文書が出回っており,かなり興味深いことが書かれてます
semianalysis.com/p/google-we-ha…
・Google（Bard）やOpenAI（ChatGPT）も,競争上の優位はない
・オープンソース大規模言語モデルの性能上昇が凄すぎて追いつかれるのも時間の問題… twitter.com/i/web/status/1…
19
AI/機械学習に特化した新プログラミング言語「Mojo」が誕生し,かなり注目されてます
modular.com/mojo
・Pythonの3500倍早い
・文法はPython意識. 互換性を一定程度保つ予定
・開発者がSwift(Apple/iPhoneでお馴染み)と同じ
・かつてのObjective-C→Swift移行を意識
ということで期待が大きい
20
IBMがAIで代替できそうな仕事については採用を停止したという報道
bloomberg.com/news/articles/…
数百人規模かと思いきや，7000人以上の規模らしくなかなか怖い話
21
理化学研究所にて,大規模言語モデルに関する講演をさせていただきます！
akio-tomiya.github.io/gpt_for_scienc…
いい機会ですので,大規模言語モデルの理解に必須な知識から,ChatGPT/GPT-4の登場以降明らかになった知見,応用の可能性など,関連する話題をまとめてみます
聴講は登録すれば誰でも（たぶん）可能です!
22
そもそもAIの実現には「人の脳の働きを模倣したニューラルネットワークが重要」だと考えて深層学習を実現させたヒントン先生が最近の生成AIについて，
「人の脳で起きていることよりも凄いことが起きているかもしれない」
と発言するのは，なかなか革命的
23
ChatGPT,GPT-4以降の研究で一番のインパクト
arxiv.org/abs/2304.11062
GPT系は最大3万トークン入力で,これが記憶の実現や大量のテキスト入力を妨げていたのですが,本手法はなんと200万トークンが可能に
本や大量のコードも丸ごと入力でき,会話なら過去の情報を丸ごと入力して記憶できるレベル twitter.com/i/web/status/1…
24
理研で行われた、ChatGPTなどのLLMに関する特別講演の動画が公開されています。
m.youtube.com/watch?v=PUuk4C…
私も当日、配信で見ていたのですが(そして最後のスライドで自分の資料が参考資料として出てきてビックリしたのですが)、LLMに関する重要な知見がまとまっており、大変素晴らしい講演でした！
25
Google BrainとDeepMindが一つになって「Google DeepMind」に
同じGoogle内のAI研究チームであるにも関わらず不仲説まであった両者が合体したところを見るに,GoogleはChatGPTなどの躍進に相当危機感を持っている模様
ラスボス戦で犬猿の仲の二人が共闘する漫画あるあるでは
blog.google/technology/ai/…
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身