176
IBMがAIで代替できそうな仕事については採用を停止したという報道
bloomberg.com/news/articles/…
数百人規模かと思いきや，7000人以上の規模らしくなかなか怖い話
177
AI/機械学習に特化した新プログラミング言語「Mojo」が誕生し,かなり注目されてます
modular.com/mojo
・Pythonの3500倍早い
・文法はPython意識. 互換性を一定程度保つ予定
・開発者がSwift(Apple/iPhoneでお馴染み)と同じ
・かつてのObjective-C→Swift移行を意識
ということで期待が大きい
178
Googleの研究者が大規模言語モデルのAI開発競争について言及した文書が出回っており,かなり興味深いことが書かれてます
semianalysis.com/p/google-we-ha…
・Google（Bard）やOpenAI（ChatGPT）も,競争上の優位はない
・オープンソース大規模言語モデルの性能上昇が凄すぎて追いつかれるのも時間の問題… twitter.com/i/web/status/1…
179
MPT-7Bというオープンソース大規模言語モデルが先ほど公開されたのですが，オープンソースの本命という気がします
mosaicml.com/blog/mpt-7b
・商用利用可能
・6万5000トークン使用可能（GPT-4の2倍！）
・7Bと比較的小さいモデルながら,かなり高性能
・日本語を扱え,性能もかなり高い（超重要）… twitter.com/i/web/status/1…
180
OpenAIがオープンソースの大規模言語モデルの公開準備をしているという，かなり大きなニュースです．
reuters.com/technology/ope…
モデルの性能やライセンスにもよりますが,企業や研究機関のLLM開発の転換点になりそう
ChatGPT/GPT-4レベルのものだったら世界がひっくり返るレベルですが果たして..
181
OpenAIがChatGPTのiOSアプリを公開しました
apps.apple.com/app/openai-cha…
まずはUSユーザーに先行公開し，徐々に利用可能範囲を増やしていくとのこと
以前にOpenAIがiPhoneアプリ開発者の求人を出してたので，近いうちに出るのでは？と言われてましたが，ここにきて出してきました
182
とんでもタイトルの論文が出てたので読んでみると面白かった
Artificial Artificial Artificial Intelligence
arxiv.org/abs/2306.07899
既に4~5割近いクラウドソーシングの人間アノテータがこっそりGPT等のLLMを使っているのではという話… twitter.com/i/web/status/1…
183
GPT-4に関する特大のリーク情報
MetaのPyTorchの開発リーダーも認めている&似た話が一部で共有されていた,ということで結構確度は高いです
曰く，
"GPT-4は220Bパラメータのモデル８つ（2200億x8 = 1.76兆パラメータ）からなる混合モデルで,各モデルは別のデータ/タスクで学習している"
とのこと… twitter.com/i/web/status/1…
185
TwitterのAPI制限、さすがにこれは不具合だろうと思ったら仕様らしく、普通のアカウントは1日に600件、新規アカウントは300、課金アカウントで6000件しかツイートを取得できないようにしたらしい
スクレイピング対策とはいえ、ここまでの強硬手段に出るとは思わなかった twitter.com/elonmusk/statu…
186
イーロンはTwitterを手に入れた段階でTwitterが保持するツイートデータの塊をいかにお金に変えるか・・・と色々考えてたと思うんですが，ここにChatGPT/生成AIブームがやってきたのが最悪のシナジーを生んでいる気がする… twitter.com/i/web/status/1…
187
一応，「一時的な制限」としているが，いつまで続くのかは未定
ログインしないとツイートが見れないというのも致命的だったが，これはサービスの根幹を揺るがすレベル
188
イーロン、「自分がやったツイートのAPI制限に関する反応を全部読もうとしたら、自分も制限喰らったよHAHAHA」みたいな人類史上最悪レベルのジョークをかましていて、笑っていいのかどうか twitter.com/elonmusk/statu…
189
Twitterの API制限に伴うツイートの取得上限を上げて，普通のアカウントは800，新規が400，課金アカウントは8000にするというイーロンの告知
ところで，英語で「五十歩百歩」や「焼け石に水」に相当する表現はあるんでしたっけ twitter.com/elonmusk/statu…
190
ツイッターの仕様変更，生成AI/大規模言語モデルの学習のエサとして大量のリクエストが飛んできてるのが背景かと思いきや，Twitter側のバグでTwitteからTwitter自身に大量のリクエストがループ的に投げられるバグが原因という説が
Twitter自身のやらかしで世界中に迷惑をかけている可能性... twitter.com/ImAI_Eruel/sta…
191
LLMのトークン制限は頻繁に議論になりますが,とんでもない手法が出てきました
"LongNet"
arxiv.org/abs/2307.02486
トークン長が10億(!)と主張する手法で,ChatGPT/GPT-4が3万,最近の研究のMAXが100万なので凄いインフレです(冒頭の図が強すぎる)… twitter.com/i/web/status/1…
192
もはやLLM界隈の教科書となっているこのサーベイ,新たに34p追加,200個以上の参考文献が追加されたようで,この分野の発展速度を物語っています
"A Survey of Large Language Models"
arxiv.org/abs/2303.18223
この論文,今年3月に投稿されたのですが,私が記憶している限りもう10回以上更新されてます
193
抽選だったGPT-4のAPIを全ユーザーに解放するとのこと．今後GPT APIを使った巷のアプリの性能が飛躍的に上がるかも
openai.com/blog/gpt-4-api…
で，この記事，中盤にさらっと重要なことが書かれているのですがChatGPT/GPT-4をファインチューニングする機能が予定されている模様，これは大きい．… twitter.com/i/web/status/1…
194
東大の方の強化学習の講義で微妙に欠けていたトピックがあったので，ためしにChatGPTのCode Interpreterでノートブック形式の講義資料を作らせてみたら，そのまま講義で使えるレベルのものが出力されて感心
ここまでくると，もう受講生が自分で講義資料を生成して，それで個人学習できるのではないか
195
無害なファイルを装って，ChatGPTのCode Interpreterに核兵器を投下しようと思ったら見破られた
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身