51
GPT-4の論文中で，GPT-4画像の認識もできる例として挙げられているこの図ですが，相当やばいことを言っていると思います．
早い話，宿題を適当にスマホで写真に撮ってGPT-4に投げればそれで終わりです．… twitter.com/i/web/status/1…
52
GPT-4の論文に突如登場する日本のエレコムの「ケーブルマニア」
この画像を見て，
GPT-4：「この画像の面白いのは,大きくて時代遅れのVGAコネクタを,小さくて最新のスマートフォン充電ポートに差し込むという不条理さ！」との回答
GPT-4は画像の認識もジョークも完璧な模様
53
とんでもないことになってきました．GoogleのPaLM APIの公開に応戦するかのように，先週から公開が噂されていたGPT-4がOpenAIから先ほど公開されました！
openai.com/product/gpt-4
ChatGPTすら超える言語能力が示されており，さらに画像なども処理可能となったマルチモーダルなモデルのようです！
54
先ほどGoogleから今後のAIの方針のすごい発表がありました！
developers.googleblog.com/2023/03/announ…
・GPTを超える世界最大規模の言語モデル"PaLM"のAPI「PaLM API」をついに公開する方針に決定
・自分でモデルのチューニングデータ拡張ができるツール"MakerSuite"
・GmailやGoogleDocsなどのツールに生成AIを搭載
55
実は，ChatGPTみたいな超高性能対話AI（LLM）はOpenAIやその他GAFAMみたいなBig Techしか作れず，独占状態になるかと思っていたのですが，どうも最近の流れを見ているとそうでもなさそうです… twitter.com/i/web/status/1…
56
ドラえもんのほんやくコンニャクに近い研究です．
なんと自分の声を維持したまま，自国語の音声を外国語の音声に変換できる手法VALL-E Xがマイクロソフトから発表されました．
vallex-demo.github.io
デモのページに変換の例が載せてあり，リアルほんやくコンニャク感があります．
57
GPTを超える5600億パラメータを持つ最大規模の大規模言語モデルだったPaLMに，視覚処理の機構（Vision Transformer）を統合したPaLM-E-562B（5620億パラメータ）をGoogleが発表しました. palm-e.github.io… twitter.com/i/web/status/1…
58
速報です！
OpenAIがついにChatGPTのAPI提供を開始しました！
openai.com/blog/introduci…
・既存のGPT(davinci等)の最大モデルより10倍「安く」(!!)使える
・GPTに入力したデータは今後，学習に使われてしまうことがなくなる
・ChatGPTで使用していたGPTのモデル/APIの名前は，GPT-3.5-Turbo
59
Microsoftがテキスト+画像+音声版GPTとも言える手法を発表しました!
"Language Is Not All You Need: Aligning Perception with Language Models"
arxiv.org/abs/2302.14045
今後ChatGPTやBingに応用され,画像や音声でも操作できるようになるかもしれず,人間のほとんどの疑問に答えてくれそうです
60
GPTシリーズや，その他の言語系の生成AIなど，Transformerを使った主要モデルのまとめカタログが公開されています
arxiv.org/abs/2302.07730…
これは便利です！
名前を聞いたことがあるモデルは網羅されていて，パラメータ数，公開日，使ったデータ，アプリケーションなどが一目でわかります
61
ChatGPTの登場で，「AIに意識を持つのか」議論が再燃しており，トップ学会（NeurIPS）でも哲学者を招いて議論していたっぽい．資料を見るとかなり長く，意識の条件，課題の提案など本気で議論していた
philpapers.org/archive/CHACAL…
曰く，
「意識を持っていないとする決定的な理由はない」
だそう．
62
新Bing，いわゆるコンピュータサイエンスに関する限りでは，
・Wikipediaが好き
・Qiitaが好き
・学術論文は嫌い
・スライド資料は嫌い
・まとめサイトが好き
・Qiitaがものすごく好き
という印象です．
63
強化学習な人の定番ジョークの,
・面倒なことはAIがやって俺たちはゲームで遊ぶ→×
・俺たちがAIの学習のために面倒なことをやってAIがゲームで遊ぶ→○
というやつが姿を変えて,
・単純労働はAIに任せて人間は知的な創作で自由に過ごす→×
・人間が単純労働をやってAIが創作を行う→○
になりつつある
64
深層学習の新しい教科書のドラフトが公開されてます!
"Understanding Deep Learning"
udlbook.github.io/udlbook/
従来の深層学習の教科書は,最近急速に発展したStable Diffusion等の拡散モデル,ChatGPTみたいな言語モデルの生成AIをあまり解説してませんでしたが,この辺も解説する本格的な教科書です
65
東京大学の研究室でChatGPTに関する知見を共有するために使用した資料を公開しました!
slideshare.net/ShotaImai3/cha…
・ChatGPTの使い方
・ChatGPTの関連技術
・コア技術の強化学習,InstructGPT
などを詳しく解説しました
せっかくなので,資料の作成はChatGPT自体の出力を一部使って手伝ってもらいました
66
ChatGPTにブラウザで動くゲームを作ってという指示をしてみたところ、そのまんまコピペでブラウザ上で動く(ちゃんと自分で操作できる)ブロック崩しゲームのコードを出力してくれました
(なお、具体的な内容の指示やデバッグはゼロ)
日本語ができればプログラミングできなくてもゲームが作れる
67
AIに，語尾に「ござる」を付けて武士っぽく専門用語を解説させるというネタ的な試みをやっていて，最初はネタ的に笑っていたのですが，「強化学習」を解説させた時のAIの武士なりきり度が凄すぎて感服しています
68
ChatGPT，さすがにまだまだ甘いところがあるなぁと思って，色々試していたのですが，ふとかなり専門的な質問を投げてみると，ほとんど完璧な模範的な回答が返ってきたので，学習データの偏りがある気が・・・
69
チャットAIことChatGPT，割と質問への回答を拒否したりはぐらかすのですが，この手のAIで有効なハックで，
「ある人物の質問に対して別の人物が答える」ストーリーを作り，その質問を聞きたいことにすると，饒舌に答えてくれることが多いです
(なお以下のストーリーはフィクション&知識が誤り)
70
機械学習の実応用に関するサーベイですが、大企業の機械学習エンジニアなど、18人に実際にインタビューした内容をもとに書かれており、かなり気合が入った論文です
arxiv.org/abs/2209.09125
機械学習の実装に関わる人たちは、かなり学べることが多そう
71
普段は実装付きのコンテンツをあまり公開しないDeepMindですが,なんと教育用の機械学習・深層学習の実装コンテンツが公開されてます
github.com/deepmind/educa…
さすが天下のDeepMind,強化学習やタンパク質の立体構造予測,言語モデルの内容も
Pythonやnumpyの解説もあり初学者から研究者まで色々学べそう
72
ハーバード大学のプログラミング,コンピュータサイエンスのコース「CS50」の2022年度版の日本語訳が完了し公開された模様
cs50.jp
講義動画の日本語字幕や講義に使用されたノート等が日本語化されてます
この講義,アルゴリズムの説明で実際に人や物体を使っており中々ダイナミックです
73
深層学習の最近の研究，主要な研究のPyTorch実装集なのですが，これはかなりいいです
nn.labml.ai
単にgithubにコードを載せて少しコメントして終わり，ではなく，専用のサイトで，数式とコードの実装部分の対応を解説しており，あまり知らない分野でもわかりやすい
74
講義動画付きのコンピュータサイエンスの講義大全的なリポジトリがありました
github.com/Developer-Y/cs…
めちゃくちゃ量が多い。コンピュータサイエンス入門、数学、機械学習、Webからなんでもあり、最近の話題を反映してか量子コンピューティングやブロックチェーンの話やゲーム開発的な話まであります
75
みなさんお待たせしました!
我々が翻訳していた,強化学習のバイブルにして最大最高の教科書R・Sutton著『強化学習 (Reinforcement Learning) 第2版』の翻訳書がついに発売されます!
20年の時を経て,深層強化学習等の話題を加え大幅改訂です
AI, 強化学習に興味がある方は是非!
amazon.co.jp/dp/4627826621/…
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身