1
人間は30歳までに10^25Flops程度の学習をすると見積もられている。そして現状の大規模AIモデルは最大10^24Flops程度。
2倍になる期間は10ヶ月程度。なので4年以内（2026年まで）には人間レベルの学習量に到達する可能性が高い。
lesswrong.com/posts/3nMpdmt8…
人間レベルの知能がすぐに誕生する可能性あり。
2
待て待て待て、DeepMindが新しい強化学習手法、Algorithm Distillationを発表している！！
ざっと論文読んだところ、「様々なタスク」の「観測、行動、報酬の履歴」をトランスフォーマーモデルでタスクを超えて予測学習して、シングルタスクのみの強化学習より良いデータ効率を実現！メタ強化学習だ。 twitter.com/_akhaliq/statu…
3
AI進展早すぎだけど、個人的に今年のAI5つくらいまとめるなら、
○NvidiaのVIMA
→ロボティクスAI
○DeepMindの強化学習のAlgorithm distillation
○DeepMind GATO
→マルチモーダルAI
○AdeptのACT-1
→PC画面上の全ての操作を自然言語処理で自動化
○Flan-U-PaLM
→最強の自然言語処理AI
になるかな
4
これ相当やばい研究では？？
新しいタスクそのもので学習し続けるニューラルネットワーク「液体」ネットワークは以下の記事で「時系列データの処理を飛躍期待されて、はるかに少ないパラメータで、最先端の性能発揮」とのこと。
そしてこの研究で桁違いに高速にスケーラブルに
deepsquare.jp/2021/02/mit-li… twitter.com/ramin_m_h/stat…
5
ChatGPTすご！言っていることがわからない場合「質問」をしてくれるんだ。
これ今までずーーっと言語モデルはわからないことはわからないと言えない、質問もできないって言ってた問題が少しずつでも解消されてきているということかもしれない。
6
まさか、まさか、そんな、そんなことが…？そんな。
ChatGPT言語モデルはコマンドプロンプトをエミュレートでき、その中に別のある意味宇宙のインターネット世界があり、そして、そして、「 chat.openai.com/chat」にアクセスし、仮想宇宙内のChatGPT自身と話せる？！！
engraved.blog/building-a-vir…
7
深層学習の父、ジェフリーヒントン教授がNeurIPS2022 で誤差逆伝播法を使用しない学習手法「the Forward-Forward algorithm」を発表。 twitter.com/martin_gorner/…
8
や、ヤベ、え。これ今使ってみたけど、例えば「MBTI性格診断をその人のテキストからできるツール作って」て言ったら一瞬でできて、しかも僕INFJなんだけど、自己紹介したらINFJと診断されるツールが出来上がってしまった・・・
これ任意の自然言語処理AIツールを作れるのか？
えええ twitter.com/ToolBot_/statu…
9
studio.d-id.com/share?id=966fd…
や、ヤベェ
日本語で適当に喋らせたい言葉を入れたらアバターが喋ってくれる映像が生成されるサービス！（１００カ国語くらいに対応しているらしい）
10
StableDiffusionを音楽生成に応用したAI！
ついに拡散モデルが音楽生成に。
text2img,img2imgと同じようなことができて、例えばタイピング音が徐々にジャズになっていくという実験的な音楽も生成できてしまう。ヤベーw twitter.com/_akhaliq/statu…
11
Googleやばすぎる仮説！
「勾配に基づく最適化と注意に基づくコンテキスト学習は等価である」
K個の勾配降下ステップ学習はK個の線形自己注意層を持つ学習済みTransformerと密接に整合。単一線形自己注意層から多層非線形モデルまで調査し類似。MLP追加でTransformer内での非線形回帰タスク解決可能！ twitter.com/_akhaliq/statu…
12
youtube.com/watch?v=TzcJlK…
OpenAI CEOは3年前「一旦人間より少し賢いものができたらあっという間に人間の100万倍、10億倍の知能が出てくるだろう」と。
最近対談では10年以内に汎用人工知能はできて人間を超えると。
つまり、2032年までに「（細かい定義はさておき）超知能が存在する」という話だ。 twitter.com/bioshok3/statu…
13
凄い！来年に来るらしいToolBot2.0は「猫の画像を生成するアプリを作って、丸く切り取って後 meowというボタンを押したら次の猫を生成する様にして」というとそういうアプリが瞬時にできてしまうらしい。。
後半のやつはredditのなんかのアプリ作ってるけどよくわからないが、凄いな。 twitter.com/ToolBot_/statu…
14
alignmentforum.org/posts/qJgz2Yap…
DeepMindの研究者8人がAGIの人類への危険性の議論に今年の8月あたりに反応。
「人間の価値に沿わない超知能があるDNA配列を人間に作らせてそれを種に時限ナノマシンが世界中の人を数秒以内に全滅させる」という話を含む議論（2番）に全員ほぼ同意してるのヤバすぎるな。
15
2023年のAI界隈予測
・GPT4が発表されChatGPTがおもちゃのように見える
・DALL-E3,Alpha-Fold3発表
・Googleが最新AIを提供し始める
・チャットボット普及
・先進国規制当局がAIに大きな関心を寄せる
・中国はAI発展を加速させ、アメリカでは大きな議論に
・全てがAI中心になり、AI革命が始まる twitter.com/TheMoonMidas/s…
16
何というか「ビッグデータ分析」という言葉はある意味で2~3年前までの話で、昔は数万のデータがないとそのデータに関するパターンを発見できなかったけど、現状の基盤モデルは数発の例でそれが出来てしまうという新たなパラダイムに入っているという風に認識を広めたい。現状のAIはビッグデータ分析
17
bloomberg.co.jp/news/articles/…
これまじ？OpenAIに100億ドル（1兆3200億円）投資することでマイクロソフトが協議を行っている？？？まじかよw 投資意欲の推定時期で1兆円をAIの学習に費やす時期は10年後とかにしてたんだがどんだけ投資意欲加速しているんだ。おいおい
18
いやなんというかさ、流石に100億ドルの投資ってこれ相当なOpenAIの技術に対する確信的な世界を変えるという感覚がないとできないでしょこれ。つまり、もう現時点でOpenAIとマイクロソフト幹部の一部はもうこれ産業革命レベルだなって気付いている可能性が激高なんだが？ twitter.com/bioshok3/statu…
19
japan.cnet.com/article/351983…
やはりきちゃいましたか。
20
本当にそう。もうすでにChatGPTは知識の広さという面では人類の誰一人として勝てない応答をしてくる。推論能力にまだ難ありだけど、ここ数ヶ月で無数の改善手法が出ているし、次の大規模言語モデルでどうなるかを想像すると良い。
もうこれは汎用人工知能なのではと言い出す人も出てくるだろうな。 twitter.com/jaguring1/stat…
21
openai.fund/news/introduci…
これ常識かもだけど知らんかったので共有。
OpenAIが有望なAIスタートアップに投資をしてて、その公開先は4つ。
Descript(映像編集)、Harvey AI(弁護士支援)、Mem (メモ)、 Speak(英会話)
これ全部今後世界を変える企業に大化けする可能性もあるから要チェック。
22
これまじで言ってるの？
WiFi信号のみで全身追跡可能。 Wifi信号の位相と振幅を入力として人間の24部位を推定するディープニューラルネットワーク？？ twitter.com/AiBreakfast/st…
23
す、すごい・・・。DeepMindがとても印象的な論文を出している！
簡単にいうと人間が解釈可能なプログラム命令をTransformerモデルの重みに変換する「Tracr」と呼ばれる「コンパイラ」を提案！
例えば以下図で3542をソートするプログラムを書くとそれがコンパイラで「モデルパラメータに変換」される！ twitter.com/_akhaliq/statu…
24
AIに学習されないことを今後はやっていったほうがいいと言う話やAIにできないことを身につけようみたいな話はすごい「大人の回答」だなと感じる。僕は精神年齢子供なので、AIにできないことなんてこれからどんどんなくなるので、社会設計そのものを見直したほうがいいという厨二病感満載意見を言いがち
25
つ、ついに、ついに！！！ChatGPT API提供予定とのこと！！！！！ twitter.com/OpenAI/status/…
AI最新動向/AGI/AI Alignment/シンギュラリティ/超知能/中長期技術トレンド推定/MBTIの哲学
note.com/bioshok
ルッキズムに祈るセカイ系おじさん
INFJ/5w4/EII
※AI研究者ではありません