51
イーロン・マスクのほか,ベンジオなどの大物たちが,ChatGPT以上のAIの危険性を鑑み,半年間の開発停止を求める署名
futureoflife.org/open-letter/pa…
中身を読んでみましたが,政府の介入まで求める強い主張
署名にGoogle, DeepMind, Microsoftまでがいる中OpenAIからの署名はゼロでOpenAI包囲網の色が強い… twitter.com/i/web/status/1…
52
大変面白い論文が出ています!
なんと言語生成AIであるGPT-3に,「GPT-3は学術論文を書けるのか?」という論文を書かせたものです
(第一著者もしっかりGpt Generative Pretrained Transformer)
hal.archives-ouvertes.fr/hal-03701250v1
SF, ジョークネタのような話ですが,内容や構成はまともで,文章は立派な学術論文です
53
東京大学 松尾研究室の深層強化学習サマースクールで私が使用した資料を公開しました!
強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムの発展,その他有用な文献や資料への案内も載せています
RL分野全体を大体網羅したので,少しでもRLに興味ある人は是非!
slideshare.net/ShotaImai3/rls…
54
先日紹介した、東工大で使用されたPythonを用いた機械学習の学習教材『機械学習帳』ですが、それの前段階でPython学習に主眼を置いた『Python早見帳』もあるようですね
chokkan.github.io/python/
手軽に参照でき。なぜこう書くのかの理由の説明、注意点もあって初学者の入門によさそう
55
「GitHubの最高経営責任者(CEO)は、奴隷制度に関係する用語を不必要に使用するのを避けるために、「マスター」という用語を「メイン」などの中立的な用語に変更する取り組みを進めていることを明らかにした」
いよいよ技術界隈の日常にも影響が迫ってきましたね
japan.zdnet.com/article/351552…
56
アカデミアにおける機械学習研究の「やらかし」を避けるための知見をまとめた論文
arxiv.org/abs/2108.02497
多くの人が心当たりのある話題がちらほら
"How to avoid machine learning pitfalls: a guide for academic researchers"
57
ひたすらMatplotlibでいろんな図を作る奥義集みたいな書籍が海外で出版され、実装と本の内容がWebで公開されているようです
github.com/rougier/scient…
58
テレ東の特番で、OpenAI CEOのアルトマンが、
「AGIに慣れてもらうには、革新的な技術を一気に出すよりは徐々に出す方がいい」
と言っているので、OpenAIはここ最近のあの情報量でも手加減しているつもりらしい…
59
有名なアルゴリズムの考え方について、シンプルに、中学生レベルの数学で解説した良資料です
speakerdeck.com/e869120/algori…
東大生とはいえ学部一年でこの解説のわかりやすさはすごいと思っていたら、経歴が凄まじかった(国際情報オリンピック金、AtCoder赤、競プロ作問、競プロの著作などなど)
61
Twitterの API制限に伴うツイートの取得上限を上げて,普通のアカウントは800,新規が400,課金アカウントは8000にするというイーロンの告知
ところで,英語で「五十歩百歩」や「焼け石に水」に相当する表現はあるんでしたっけ twitter.com/elonmusk/statu…
62
先ほどGoogleから今後のAIの方針のすごい発表がありました!
developers.googleblog.com/2023/03/announ…
・GPTを超える世界最大規模の言語モデル"PaLM"のAPI「PaLM API」をついに公開する方針に決定
・自分でモデルのチューニングデータ拡張ができるツール"MakerSuite"
・GmailやGoogleDocsなどのツールに生成AIを搭載
63
OpenAI以外の研究者「ChatGPT以上のAI開発は半年間停止しろ(裏でChatGPTに追いつくために全力学習)」
64
コンピュータサイエンスの世界でプログラマーに特に影響のある有名な書籍について、Web上で無料で読めるものがまとめてあります
github.com/cs-books/influ…
現在でも変わらず読まれているものや、昔からこの業界にいるほとんどの人が参考にしたであろう本など色々あります
65
GPT-4に関する特大のリーク情報
MetaのPyTorchの開発リーダーも認めている&似た話が一部で共有されていた,ということで結構確度は高いです
曰く,
"GPT-4は220Bパラメータのモデル8つ(2200億x8 = 1.76兆パラメータ)からなる混合モデルで,各モデルは別のデータ/タスクで学習している"
とのこと… twitter.com/i/web/status/1…
66
67
音楽に合ったイメージをGANで生み出して可視化するNeural
Synesthesiaという取り組み
m.youtube.com/channel/UCu9a5…
面白い
68
恐らく世界で一番読まれた機械学習の教科書"Murphy本"の新版"Probabilistic Machine Learning: An Introduction"について,書籍のドラフトが公開されてましたが,なんと実装コードも公開される模様
github.com/probml/pyprobml
機械学習のほとんどの領域をカバーする本の実装だけに,大変参考になります
69
マサチューセッツ工科大学(MIT)の過去何年かのコンピュータサイエンスや電気工学等の授業が講義ビデオや授業資料のPDF含めて閲覧可能
ocw.mit.edu/courses/electr…
プログラミングや数学,データサイエンス,ハード,ゲーム作成まで内容は様々
家にいながら,英語の勉強も兼ねて,十分過ぎるくらい学べそう
70
先日,身内の機械学習に関する勉強会で使用した資料を公開しました!
強化学習で現在注目されている「好奇心」を用いた研究について出来る限り詳しく解説し,まとめています
ICLR2019の論文やDeepMindの最新論文,私が知る強化学習のリソースも載せました
ぜひご覧ください!
speakerdeck.com/learn_learning…
71
東工大、医科歯科大、外語大、一橋大が合体して東京究極大学になったのを見て焦った東大が京大と合体して東京都(ひがしきょうと)大学になるやつ
72
非常に喜ばしいニュース
深層学習の開発者であり,御三家とも呼ばれるGeoffrey Hinton,Yann LeCun,Yoshua Bengioの3人が,コンピュータ科学のノーベル賞とされるチューリング賞を受賞することに
まさに現在のAIブームを巻き起こした創始者達が受賞するという象徴的な出来事
nyti.ms/2UXfl5T
73
議論の余地はあるとはいえ,かなり凄いことが書かれてます
・Transformerの性能はたった3つの変数のべき乗則に支配される
・理論上,3つの変数を上げ続ければTransformerの性能は無限に上昇
・Transformerを利用する多くの分野が「お金をどれだけ払えるか?」の問題になる可能性
deeplearning.hatenablog.com/entry/scaling_…