26
やっばすぎw
「Chatgptのウィキ要約してツイートしておいて」というとSeleniumコードをGPTで生成し実行してくれるACTGPTなるものを開発したっぽい。
RPAの次元を一つ上げている。てかもうさ、マルチモーダルAI来る前に様々なAIモデル（視覚言語モデル、音声合成、音声認識）
yihui.dev/actgpt twitter.com/he_yi_hui/stat…
27
AIアライメントの先駆者 Yudkowsky氏がLLaMAモデルを微調整したAlpacaのヤバさをみんなわかっていないという。
例え有料のAPIで提供されているモデルでもその入出力だけを取得すればそのAIモデルを競合他社は、微調整データセットを構築するために行った苦労を全くせずに、ほぼ複製されるという話。 twitter.com/ESYudkowsky/st…
28
や、ヤベ、え。これ今使ってみたけど、例えば「MBTI性格診断をその人のテキストからできるツール作って」て言ったら一瞬でできて、しかも僕INFJなんだけど、自己紹介したらINFJと診断されるツールが出来上がってしまった・・・
これ任意の自然言語処理AIツールを作れるのか？
えええ twitter.com/ToolBot_/statu…
29
す、すごい・・・。DeepMindがとても印象的な論文を出している！
簡単にいうと人間が解釈可能なプログラム命令をTransformerモデルの重みに変換する「Tracr」と呼ばれる「コンパイラ」を提案！
例えば以下図で3542をソートするプログラムを書くとそれがコンパイラで「モデルパラメータに変換」される！ twitter.com/_akhaliq/statu…
30
ChatGPTにプラグイン機能が追加！WolframAlphaやWeb検索機能やPythonインタープリターや他ツール（Zapier,Shopify,Slackなどなど）と連携できる機能が普通にOpenAIのChatGPTの画面から使えてしまう。しかもプラグイン自分で作ることも可能のようだ。
GPT-4はAGIという論文出したと思ったら次はこれかよ twitter.com/gdb/status/163…
31
webbigdata.jp/post-17022/
面白い。2013年のオックスフォード大学の論文ではAIによってなくなる仕事の予測を
「複雑な認識や操作が必要な業務、創造的な知性が必要な業務、社会的知性が必要な業務を含む職業は、今後10年〜20年の間に、コンピュータ資本によって代替される可能性は低い」としていた。
32
まじ？Google CEOが今までのさまざまなGoogleの研究成果「全て」(PaLM、PaLI、Imagen、LaMDA、Phenaki、他スパースなマルチモーダルモデルとかとか)を今後の製品とAPIで提供予定です？！！
なんかいきなりMicrosoftのChatGPT API化に対抗しよう焦りだしてる？でもこれはいいことだ、楽しみすぎるぞ！！ twitter.com/sundarpichai/s…
33
docs.google.com/spreadsheets/d…
ChatGPTやDavinci003が今どの程度人間の能力に漸近しているかが網羅的にまとまっている。
医師国家試験、公認会計士試験、弁護士試験、MBA全てにおいて合格ラインに入ってきているとわかる。、IQテストは一部言語のみの評価で144と測定もされている。
34
BingAIやべーな。
論文を十秒ちょっとくらいで要約してくれるの謎すぎる。どんな方法ですか？
Pdfエンベッティングして検索リアルタイムにかけてるしか考えられないけど、でもコンテキスト窓超えた応答もしてるから要約してそれもエンベッティングしてる気がするな。うーん、すごい。。。 twitter.com/_daichikonno/s…
35
高学歴(研究者以外)が謎のパワポとExcel使いになり意味不明な内部資料を作るだけのブルシットジョブはそこそこの速さでAIに駆逐され、社会で本当に必要とされる介護や運搬や農業やインフラ整備に人がまわる中長期的なトレンドはむしろ受け入れるべき良い変化な気がするな。 twitter.com/bioshok3/statu…
36
待て待て待て、DeepMindが新しい強化学習手法、Algorithm Distillationを発表している！！
ざっと論文読んだところ、「様々なタスク」の「観測、行動、報酬の履歴」をトランスフォーマーモデルでタスクを超えて予測学習して、シングルタスクのみの強化学習より良いデータ効率を実現！メタ強化学習だ。 twitter.com/_akhaliq/statu…
37
今まで何で大規模言語モデルなんて2020年からあったのに2022年になって何でまた盛んに話題になったんだろう、と若干腑に落ちてなかったが、そうか、2022年からCoTが出てきていきなり精度が上がり、その原因として「コード学習」があるかもという考察が以下の引用記事でOpenAIは千人コーダー雇ってると twitter.com/bioshok3/statu…
38
ChatGPTすご！言っていることがわからない場合「質問」をしてくれるんだ。
これ今までずーーっと言語モデルはわからないことはわからないと言えない、質問もできないって言ってた問題が少しずつでも解消されてきているということかもしれない。
39
Googleやばすぎる仮説！
「勾配に基づく最適化と注意に基づくコンテキスト学習は等価である」
K個の勾配降下ステップ学習はK個の線形自己注意層を持つ学習済みTransformerと密接に整合。単一線形自己注意層から多層非線形モデルまで調査し類似。MLP追加でTransformer内での非線形回帰タスク解決可能！ twitter.com/_akhaliq/statu…
40
つ、ついに、ついに！！！ChatGPT API提供予定とのこと！！！！！ twitter.com/OpenAI/status/…
41
japan.cnet.com/article/351983…
やはりきちゃいましたか。
42
2023年のAI界隈予測
・GPT4が発表されChatGPTがおもちゃのように見える
・DALL-E3,Alpha-Fold3発表
・Googleが最新AIを提供し始める
・チャットボット普及
・先進国規制当局がAIに大きな関心を寄せる
・中国はAI発展を加速させ、アメリカでは大きな議論に
・全てがAI中心になり、AI革命が始まる twitter.com/TheMoonMidas/s…
43
alignmentforum.org/posts/qJgz2Yap…
DeepMindの研究者8人がAGIの人類への危険性の議論に今年の8月あたりに反応。
「人間の価値に沿わない超知能があるDNA配列を人間に作らせてそれを種に時限ナノマシンが世界中の人を数秒以内に全滅させる」という話を含む議論（2番）に全員ほぼ同意してるのヤバすぎるな。
44
youtube.com/watch?v=TzcJlK…
OpenAI CEOは3年前「一旦人間より少し賢いものができたらあっという間に人間の100万倍、10億倍の知能が出てくるだろう」と。
最近対談では10年以内に汎用人工知能はできて人間を超えると。
つまり、2032年までに「（細かい定義はさておき）超知能が存在する」という話だ。 twitter.com/bioshok3/statu…
45
これ相当やばい研究では？？
新しいタスクそのもので学習し続けるニューラルネットワーク「液体」ネットワークは以下の記事で「時系列データの処理を飛躍期待されて、はるかに少ないパラメータで、最先端の性能発揮」とのこと。
そしてこの研究で桁違いに高速にスケーラブルに
deepsquare.jp/2021/02/mit-li… twitter.com/ramin_m_h/stat…
46
凄い！来年に来るらしいToolBot2.0は「猫の画像を生成するアプリを作って、丸く切り取って後 meowというボタンを押したら次の猫を生成する様にして」というとそういうアプリが瞬時にできてしまうらしい。。
後半のやつはredditのなんかのアプリ作ってるけどよくわからないが、凄いな。 twitter.com/ToolBot_/statu…
47
AIに学習されないことを今後はやっていったほうがいいと言う話やAIにできないことを身につけようみたいな話はすごい「大人の回答」だなと感じる。僕は精神年齢子供なので、AIにできないことなんてこれからどんどんなくなるので、社会設計そのものを見直したほうがいいという厨二病感満載意見を言いがち
48
何というか「ビッグデータ分析」という言葉はある意味で2~3年前までの話で、昔は数万のデータがないとそのデータに関するパターンを発見できなかったけど、現状の基盤モデルは数発の例でそれが出来てしまうという新たなパラダイムに入っているという風に認識を広めたい。現状のAIはビッグデータ分析
49
openai.fund/news/introduci…
これ常識かもだけど知らんかったので共有。
OpenAIが有望なAIスタートアップに投資をしてて、その公開先は4つ。
Descript(映像編集)、Harvey AI(弁護士支援)、Mem (メモ)、 Speak(英会話)
これ全部今後世界を変える企業に大化けする可能性もあるから要チェック。
50
Open AIのChatGPTプラグインは序章に過ぎない。
最後に彼らがやるのは全てのアプリケーションを包括するEverything Appかもしれないという話。
任意のアプリやその差分をリアルタイムかつインタラクティブに生成するマルチモーダル基盤モデルが背後にあるとかね。もはやそれメタバース=世界創造だが。 twitter.com/DrJimFan/statu…
AI最新動向/AGI/AI Alignment/シンギュラリティ/超知能/中長期技術トレンド推定/MBTIの哲学
note.com/bioshok
ルッキズムに祈るセカイ系おじさん
INFJ/5w4/EII
※AI研究者ではありません