26
AIアライメントの先駆者 Yudkowsky氏がLLaMAモデルを微調整したAlpacaのヤバさをみんなわかっていないという。
例え有料のAPIで提供されているモデルでもその入出力だけを取得すればそのAIモデルを競合他社は、微調整データセットを構築するために行った苦労を全くせずに、ほぼ複製されるという話。 twitter.com/ESYudkowsky/st…
27
人間は30歳までに10^25Flops程度の学習をすると見積もられている。そして現状の大規模AIモデルは最大10^24Flops程度。
2倍になる期間は10ヶ月程度。なので4年以内（2026年まで）には人間レベルの学習量に到達する可能性が高い。
lesswrong.com/posts/3nMpdmt8…
人間レベルの知能がすぐに誕生する可能性あり。
28
待て待て待て、DeepMindが新しい強化学習手法、Algorithm Distillationを発表している！！
ざっと論文読んだところ、「様々なタスク」の「観測、行動、報酬の履歴」をトランスフォーマーモデルでタスクを超えて予測学習して、シングルタスクのみの強化学習より良いデータ効率を実現！メタ強化学習だ。 twitter.com/_akhaliq/statu…
29
GPT4にインターネットから隔離され、電磁場を遮断する壁に囲まれたサーバーにいる超知能が人類を破滅させるとしたら？と聞いたらわりとあり得そうなシナリオが出てきた
30
おいまじか。深層学習のゴッドファザージェフリーヒントン教授がAIのリスクを共有するために、Googleを去ったらしい。
世界の一流科学者が協力して、この技術をコントロールする方法を研究することが最善の策。
「コントロールできるかどうかわかるまで、これ以上規模を拡大すべきではないと思う」 twitter.com/GaryMarcus/sta…
31
す、すごい・・・。DeepMindがとても印象的な論文を出している！
簡単にいうと人間が解釈可能なプログラム命令をTransformerモデルの重みに変換する「Tracr」と呼ばれる「コンパイラ」を提案！
例えば以下図で3542をソートするプログラムを書くとそれがコンパイラで「モデルパラメータに変換」される！ twitter.com/_akhaliq/statu…
32
これ相当やばい研究では？？
新しいタスクそのもので学習し続けるニューラルネットワーク「液体」ネットワークは以下の記事で「時系列データの処理を飛躍期待されて、はるかに少ないパラメータで、最先端の性能発揮」とのこと。
そしてこの研究で桁違いに高速にスケーラブルに
deepsquare.jp/2021/02/mit-li… twitter.com/ramin_m_h/stat…
33
#WBSのAI特番
ついにサムアルトマン単独インタビューパートだ。
「最終目標は安全なAGIを作り、浸透させること」
「ChatGPTは序章にすぎない、この後さらにすごいことが起こる」 twitter.com/bioshok3/statu…
34
youtube.com/watch?v=7ffwRD…
最近のAIトレンドをあまり追えていない方向けに現状の大規模言語モデル、生成AIの状況やそれを踏まえた数年後の未来AIエージェントの話や、何故推論機能が出てきたかの仮説など話させていただきました
発表資料もyoutube欄に公開しています。ご興味ある方は是非ご覧ください！
35
高学歴(研究者以外)が謎のパワポとExcel使いになり意味不明な内部資料を作るだけのブルシットジョブはそこそこの速さでAIに駆逐され、社会で本当に必要とされる介護や運搬や農業やインフラ整備に人がまわる中長期的なトレンドはむしろ受け入れるべき良い変化な気がするな。 twitter.com/bioshok3/statu…
36
webbigdata.jp/post-17022/
面白い。2013年のオックスフォード大学の論文ではAIによってなくなる仕事の予測を
「複雑な認識や操作が必要な業務、創造的な知性が必要な業務、社会的知性が必要な業務を含む職業は、今後10年〜20年の間に、コンピュータ資本によって代替される可能性は低い」としていた。
37
今まで何で大規模言語モデルなんて2020年からあったのに2022年になって何でまた盛んに話題になったんだろう、と若干腑に落ちてなかったが、そうか、2022年からCoTが出てきていきなり精度が上がり、その原因として「コード学習」があるかもという考察が以下の引用記事でOpenAIは千人コーダー雇ってると twitter.com/bioshok3/statu…
38
GPT-4 CAPTCHA解けちゃってるじゃん・・・
なんか最近GPT-4の画像入力使用例が着々と出てきてるな。どっからアクセスしているんだろうか。 twitter.com/iScienceLuvr/s…
39
AI進展早すぎだけど、個人的に今年のAI5つくらいまとめるなら、
○NvidiaのVIMA
→ロボティクスAI
○DeepMindの強化学習のAlgorithm distillation
○DeepMind GATO
→マルチモーダルAI
○AdeptのACT-1
→PC画面上の全ての操作を自然言語処理で自動化
○Flan-U-PaLM
→最強の自然言語処理AI
になるかな
40
alignmentforum.org/posts/qJgz2Yap…
DeepMindの研究者8人がAGIの人類への危険性の議論に今年の8月あたりに反応。
「人間の価値に沿わない超知能があるDNA配列を人間に作らせてそれを種に時限ナノマシンが世界中の人を数秒以内に全滅させる」という話を含む議論（2番）に全員ほぼ同意してるのヤバすぎるな。
41
StableDiffusionを音楽生成に応用したAI！
ついに拡散モデルが音楽生成に。
text2img,img2imgと同じようなことができて、例えばタイピング音が徐々にジャズになっていくという実験的な音楽も生成できてしまう。ヤベーw twitter.com/_akhaliq/statu…
42
youtube.com/watch?v=TzcJlK…
OpenAI CEOは3年前「一旦人間より少し賢いものができたらあっという間に人間の100万倍、10億倍の知能が出てくるだろう」と。
最近対談では10年以内に汎用人工知能はできて人間を超えると。
つまり、2032年までに「（細かい定義はさておき）超知能が存在する」という話だ。 twitter.com/bioshok3/statu…
43
2023年のAI界隈予測
・GPT4が発表されChatGPTがおもちゃのように見える
・DALL-E3,Alpha-Fold3発表
・Googleが最新AIを提供し始める
・チャットボット普及
・先進国規制当局がAIに大きな関心を寄せる
・中国はAI発展を加速させ、アメリカでは大きな議論に
・全てがAI中心になり、AI革命が始まる twitter.com/TheMoonMidas/s…
44
openai.fund/news/introduci…
これ常識かもだけど知らんかったので共有。
OpenAIが有望なAIスタートアップに投資をしてて、その公開先は4つ。
Descript(映像編集)、Harvey AI(弁護士支援)、Mem (メモ)、 Speak(英会話)
これ全部今後世界を変える企業に大化けする可能性もあるから要チェック。
45
つ、ついに、ついに！！！ChatGPT API提供予定とのこと！！！！！ twitter.com/OpenAI/status/…
46
docs.google.com/spreadsheets/d…
ChatGPTやDavinci003が今どの程度人間の能力に漸近しているかが網羅的にまとまっている。
医師国家試験、公認会計士試験、弁護士試験、MBA全てにおいて合格ラインに入ってきているとわかる。、IQテストは一部言語のみの評価で144と測定もされている。
47
凄い！来年に来るらしいToolBot2.0は「猫の画像を生成するアプリを作って、丸く切り取って後 meowというボタンを押したら次の猫を生成する様にして」というとそういうアプリが瞬時にできてしまうらしい。。
後半のやつはredditのなんかのアプリ作ってるけどよくわからないが、凄いな。 twitter.com/ToolBot_/statu…
48
本当にそう。もうすでにChatGPTは知識の広さという面では人類の誰一人として勝てない応答をしてくる。推論能力にまだ難ありだけど、ここ数ヶ月で無数の改善手法が出ているし、次の大規模言語モデルでどうなるかを想像すると良い。
もうこれは汎用人工知能なのではと言い出す人も出てくるだろうな。 twitter.com/jaguring1/stat…
49
Open AIのChatGPTプラグインは序章に過ぎない。
最後に彼らがやるのは全てのアプリケーションを包括するEverything Appかもしれないという話。
任意のアプリやその差分をリアルタイムかつインタラクティブに生成するマルチモーダル基盤モデルが背後にあるとかね。もはやそれメタバース=世界創造だが。 twitter.com/DrJimFan/statu…
50
AIに学習されないことを今後はやっていったほうがいいと言う話やAIにできないことを身につけようみたいな話はすごい「大人の回答」だなと感じる。僕は精神年齢子供なので、AIにできないことなんてこれからどんどんなくなるので、社会設計そのものを見直したほうがいいという厨二病感満載意見を言いがち
AI最新動向/AGI/AI Alignment/シンギュラリティ/超知能/中長期技術トレンド推定/MBTIの哲学
note.com/bioshok
ルッキズムに祈るセカイ系おじさん
INFJ/5w4/EII
※AI研究者ではありません