126
機械学習の実応用に関するサーベイですが、大企業の機械学習エンジニアなど、18人に実際にインタビューした内容をもとに書かれており、かなり気合が入った論文です
arxiv.org/abs/2209.09125
機械学習の実装に関わる人たちは、かなり学べることが多そう
127
チャットAIことChatGPT，割と質問への回答を拒否したりはぐらかすのですが，この手のAIで有効なハックで，
「ある人物の質問に対して別の人物が答える」ストーリーを作り，その質問を聞きたいことにすると，饒舌に答えてくれることが多いです
(なお以下のストーリーはフィクション&知識が誤り)
128
ChatGPT，さすがにまだまだ甘いところがあるなぁと思って，色々試していたのですが，ふとかなり専門的な質問を投げてみると，ほとんど完璧な模範的な回答が返ってきたので，学習データの偏りがある気が・・・
129
AIに，語尾に「ござる」を付けて武士っぽく専門用語を解説させるというネタ的な試みをやっていて，最初はネタ的に笑っていたのですが，「強化学習」を解説させた時のAIの武士なりきり度が凄すぎて感服しています
130
ChatGPTにブラウザで動くゲームを作ってという指示をしてみたところ、そのまんまコピペでブラウザ上で動く(ちゃんと自分で操作できる)ブロック崩しゲームのコードを出力してくれました
(なお、具体的な内容の指示やデバッグはゼロ)
日本語ができればプログラミングできなくてもゲームが作れる
131
東京大学の研究室でChatGPTに関する知見を共有するために使用した資料を公開しました!
slideshare.net/ShotaImai3/cha…
・ChatGPTの使い方
・ChatGPTの関連技術
・コア技術の強化学習,InstructGPT
などを詳しく解説しました
せっかくなので,資料の作成はChatGPT自体の出力を一部使って手伝ってもらいました
132
深層学習の新しい教科書のドラフトが公開されてます!
"Understanding Deep Learning"
udlbook.github.io/udlbook/
従来の深層学習の教科書は,最近急速に発展したStable Diffusion等の拡散モデル,ChatGPTみたいな言語モデルの生成AIをあまり解説してませんでしたが,この辺も解説する本格的な教科書です
133
強化学習な人の定番ジョークの,
・面倒なことはAIがやって俺たちはゲームで遊ぶ→×
・俺たちがAIの学習のために面倒なことをやってAIがゲームで遊ぶ→○
というやつが姿を変えて,
・単純労働はAIに任せて人間は知的な創作で自由に過ごす→×
・人間が単純労働をやってAIが創作を行う→○
になりつつある
134
新Bing，いわゆるコンピュータサイエンスに関する限りでは，
・Wikipediaが好き
・Qiitaが好き
・学術論文は嫌い
・スライド資料は嫌い
・まとめサイトが好き
・Qiitaがものすごく好き
という印象です．
135
ChatGPTの登場で，「AIに意識を持つのか」議論が再燃しており，トップ学会（NeurIPS）でも哲学者を招いて議論していたっぽい．資料を見るとかなり長く，意識の条件，課題の提案など本気で議論していた
philpapers.org/archive/CHACAL…
曰く，
「意識を持っていないとする決定的な理由はない」
だそう．
136
GPTシリーズや，その他の言語系の生成AIなど，Transformerを使った主要モデルのまとめカタログが公開されています
arxiv.org/abs/2302.07730…
これは便利です！
名前を聞いたことがあるモデルは網羅されていて，パラメータ数，公開日，使ったデータ，アプリケーションなどが一目でわかります
137
Microsoftがテキスト+画像+音声版GPTとも言える手法を発表しました!
"Language Is Not All You Need: Aligning Perception with Language Models"
arxiv.org/abs/2302.14045
今後ChatGPTやBingに応用され,画像や音声でも操作できるようになるかもしれず,人間のほとんどの疑問に答えてくれそうです
138
速報です！
OpenAIがついにChatGPTのAPI提供を開始しました！
openai.com/blog/introduci…
・既存のGPT(davinci等)の最大モデルより10倍「安く」(!!)使える
・GPTに入力したデータは今後，学習に使われてしまうことがなくなる
・ChatGPTで使用していたGPTのモデル/APIの名前は，GPT-3.5-Turbo
139
GPTを超える5600億パラメータを持つ最大規模の大規模言語モデルだったPaLMに，視覚処理の機構（Vision Transformer）を統合したPaLM-E-562B（5620億パラメータ）をGoogleが発表しました. palm-e.github.io… twitter.com/i/web/status/1…
140
ドラえもんのほんやくコンニャクに近い研究です．
なんと自分の声を維持したまま，自国語の音声を外国語の音声に変換できる手法VALL-E Xがマイクロソフトから発表されました．
vallex-demo.github.io
デモのページに変換の例が載せてあり，リアルほんやくコンニャク感があります．
141
実は，ChatGPTみたいな超高性能対話AI（LLM）はOpenAIやその他GAFAMみたいなBig Techしか作れず，独占状態になるかと思っていたのですが，どうも最近の流れを見ているとそうでもなさそうです… twitter.com/i/web/status/1…
142
先ほどGoogleから今後のAIの方針のすごい発表がありました！
developers.googleblog.com/2023/03/announ…
・GPTを超える世界最大規模の言語モデル"PaLM"のAPI「PaLM API」をついに公開する方針に決定
・自分でモデルのチューニングデータ拡張ができるツール"MakerSuite"
・GmailやGoogleDocsなどのツールに生成AIを搭載
143
とんでもないことになってきました．GoogleのPaLM APIの公開に応戦するかのように，先週から公開が噂されていたGPT-4がOpenAIから先ほど公開されました！
openai.com/product/gpt-4
ChatGPTすら超える言語能力が示されており，さらに画像なども処理可能となったマルチモーダルなモデルのようです！
144
GPT-4の論文に突如登場する日本のエレコムの「ケーブルマニア」
この画像を見て，
GPT-4：「この画像の面白いのは,大きくて時代遅れのVGAコネクタを,小さくて最新のスマートフォン充電ポートに差し込むという不条理さ！」との回答
GPT-4は画像の認識もジョークも完璧な模様
145
GPT-4の論文中で，GPT-4画像の認識もできる例として挙げられているこの図ですが，相当やばいことを言っていると思います．
早い話，宿題を適当にスマホで写真に撮ってGPT-4に投げればそれで終わりです．… twitter.com/i/web/status/1…
146
研究者の中では、GPT-3が出た辺りから「こりゃGPT-10になるころにはGPTじゃなくて"Human"を名乗りそうだな」的なジョークがあったんですが、この調子だとGPT-6くらいでHumanになって、GPT-10くらいだともう新世界の神を称する何かになりそう
147
AlphaGoなどのAIが囲碁や将棋で人間を倒したあと，棋士たちは研究を重ねて，それ以前より遥かに強くなった
ChatGPTやGPT-4とかでも同じことが起きて，知能や人間の強みを考え直した結果，GPT以前の人と比べて根本的に考え方が異なるようになったりするかも（もはやニュータイプである）
148
GPT-4やChatGPTの登場以降,コア技術の一つである強化学習の注目も過去になく高まっているので,体系的に学べるもの(私が関わったもの)を紹介しておきます!
・強化学習の基礎と深層強化学習
slideshare.net/ShotaImai3/cha… slideshare.net/ShotaImai3/cha…… twitter.com/i/web/status/1…
149
この１週間，もしかしたら人類史上で一番，技術の発展の加速が感じられる１週間だったのでは？
・ OpenAIからGPT-4の発表
・GoogleからPaLM API，製品への生成AI搭載の発表
・マイクロソフトからOfficeへのGPT-4搭載の発表
・手軽に扱える超高性能な言語モデルAlpaca
・PyTorch2.0
150
歴史的には人工知能は，探索やら知識やら，ニューラルネットワークを使ったものも色々と試行錯誤があったわけですが，一番知能の実現の解答に近いのが，
「少し特殊なでかいニューラルネットワークで，穴埋め問題をいっぱい学習させること」
だったのは誰も想像してなかったのでは
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身