51
大変面白い論文が出ています!
なんと言語生成AIであるGPT-3に,「GPT-3は学術論文を書けるのか?」という論文を書かせたものです
(第一著者もしっかりGpt Generative Pretrained Transformer)
hal.archives-ouvertes.fr/hal-03701250v1
SF, ジョークネタのような話ですが,内容や構成はまともで,文章は立派な学術論文です
52
チャットAIことChatGPT，割と質問への回答を拒否したりはぐらかすのですが，この手のAIで有効なハックで，
「ある人物の質問に対して別の人物が答える」ストーリーを作り，その質問を聞きたいことにすると，饒舌に答えてくれることが多いです
(なお以下のストーリーはフィクション&知識が誤り)
53
深層学習の最近の研究，主要な研究のPyTorch実装集なのですが，これはかなりいいです
nn.labml.ai
単にgithubにコードを載せて少しコメントして終わり，ではなく，専用のサイトで，数式とコードの実装部分の対応を解説しており，あまり知らない分野でもわかりやすい
54
みんなお世話になっているNumpyの論文がなんとNatureに!
nature.com/articles/s4158…
Numpyの基本から，科学の世界における貢献や歴史が述べられている
55
コンピュータサイエンスの世界でプログラマーに特に影響のある有名な書籍について、Web上で無料で読めるものがまとめてあります
github.com/cs-books/influ…
現在でも変わらず読まれているものや、昔からこの業界にいるほとんどの人が参考にしたであろう本など色々あります
56
東京大学松尾研 深層強化学習サマースクール，講義は昨日無事に終了しました．受講生の皆様お疲れ様でした！
講義資料を作りながら，いい機会だと思ったので，強化学習のアルゴリズムをまとめた図を作ってみました
強化学習，深層強化学習について大体の流れ，手法を追いたい人は是非ご利用ください!
57
恐らく世界で一番読まれた機械学習の教科書"Murphy本"の新版"Probabilistic Machine Learning: An Introduction"について,書籍のドラフトが公開されてましたが,なんと実装コードも公開される模様
github.com/probml/pyprobml
機械学習のほとんどの領域をカバーする本の実装だけに,大変参考になります
58
ChatGPTの登場で，「AIに意識を持つのか」議論が再燃しており，トップ学会（NeurIPS）でも哲学者を招いて議論していたっぽい．資料を見るとかなり長く，意識の条件，課題の提案など本気で議論していた
philpapers.org/archive/CHACAL…
曰く，
「意識を持っていないとする決定的な理由はない」
だそう．
59
コンピュータサイエンスの人、完全理解のために低レイヤーまで下って完璧に勉強する人が割といるけど、あまりにも下りすぎて半導体をやることになった人がいるらしくて笑った
60
テレ東の特番で、OpenAI CEOのアルトマンが、
「AGIに慣れてもらうには、革新的な技術を一気に出すよりは徐々に出す方がいい」
と言っているので、OpenAIはここ最近のあの情報量でも手加減しているつもりらしい…
61
東工大、医科歯科大、外語大、一橋大が合体して東京究極大学になったのを見て焦った東大が京大と合体して東京都(ひがしきょうと)大学になるやつ
62
無害なファイルを装って，ChatGPTのCode Interpreterに核兵器を投下しようと思ったら見破られた
64
数十年分の技術革新が２週間で起きたのではないかと思うような日々でした
毎日起きて技術動向を確認するのが楽しいような怖いような
・GPT-4公開
・Google PaLM API
・Github: Copilot X
・ChatGPT Pluginsの公開
・Bing Image Creator
・GPT-が初期の汎用人工知能論文
・Google Bard限定公開
65
今日は、現在のインターネットの原型となったらARPANETに、最初の4ノードができた日(1969年12月5日)からちょうど50年の記念日っぽい
これが結果として地球を覆うことになると思うと…
66
OpenAI以外の研究者「ChatGPT以上のAI開発は半年間停止しろ（裏でChatGPTに追いつくために全力学習）」
67
先日，身内の機械学習に関する勉強会で使用した資料を公開しました！
強化学習で現在注目されている「好奇心」を用いた研究について出来る限り詳しく解説し，まとめています
ICLR2019の論文やDeepMindの最新論文，私が知る強化学習のリソースも載せました
ぜひご覧ください！
speakerdeck.com/learn_learning…
68
スタンフォード大学のNLP+深層学習の講義2021年度版が公開されています
youtube.com/playlist?list=…
この講義,2年前くらいはTransformerやAttentionを講義の最終版でやってましたが,研究の加速により,この辺は当たり前と言わんばかりに中盤で消化して,後半は最近話題の言語モデル等の話になってます
69
JPモルガンの投資戦略チームが出している，機械学習を用いた金融サービスに関する280ページのレポート
金融に生かせるML手法の解説，応用例や，実際に手法を応用した場合のリターンについて，定量的な分析を載せている（強化学習も載せているのは個人的な好感ポイント）
cfasociety.org/cleveland/List…
70
お待たせしました！
GPT-4の解説を書いている最中ですが，まずはChatGPTの資料について，Speakerdeckの方にアップロードし，快適に見られるようにしました．
アップロードに伴い，別の場所で解説する時に使用したスライドを追加するなどし，一部アップデートしました．
speakerdeck.com/imai_eruel/cha…
71
GPT-4に関する特大のリーク情報
MetaのPyTorchの開発リーダーも認めている&似た話が一部で共有されていた,ということで結構確度は高いです
曰く，
"GPT-4は220Bパラメータのモデル８つ（2200億x8 = 1.76兆パラメータ）からなる混合モデルで,各モデルは別のデータ/タスクで学習している"
とのこと… twitter.com/i/web/status/1…
72
深層学習の第一原理を理解するため,物理学の視点も取り入れた理論を解説する,Facebook・MIT・プリンストン大の研究者らによる400ページ超えの書籍が公開されました
"AIの科学を再構築する"とする,非常にインパクトのある内容です
"The Principles of Deep Learning Theory"
deeplearningtheory.com/PDLT.pdf
73
リクルートのエンジニア研修資料の2021年度版が公開されたようです
recruit-tech.co.jp/blog/2021/08/2…
最近色々な企業の研修資料が公開されて注目されてますが、例年話題になるリクルートの資料についても、ブラウザ周りやAWSを使ったクラウド開発の技術の解説が充実しています
74
マサチューセッツ工科大学(MIT)の過去何年かのコンピュータサイエンスや電気工学等の授業が講義ビデオや授業資料のPDF含めて閲覧可能
ocw.mit.edu/courses/electr…
プログラミングや数学,データサイエンス,ハード,ゲーム作成まで内容は様々
家にいながら,英語の勉強も兼ねて,十分過ぎるくらい学べそう
75
イーロン・マスクのほか,ベンジオなどの大物たちが,ChatGPT以上のAIの危険性を鑑み，半年間の開発停止を求める署名
futureoflife.org/open-letter/pa…
中身を読んでみましたが,政府の介入まで求める強い主張
署名にGoogle, DeepMind, Microsoftまでがいる中OpenAIからの署名はゼロでOpenAI包囲網の色が強い… twitter.com/i/web/status/1…
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身