51
みんな絶対来ると思っていた"Transformer is All You Need"論文が爆誕
arxiv.org/abs/2102.10772
52
様々なTransformer論文が量産されて，もう何もかもAll You Needなのではと思われる中，まさかの"Attention is not all you need"論文が投下され，混沌の時代へ・・・
"Attention is not all you need: pure attention loses rank doubly exponentially with depth"
arxiv.org/abs/2103.03404
53
アメリカのコンピュータサイエンスの大学院、応募してくる人間がインフレしすぎて、書類を見た教員側が「既に博士号持っててもおかしくないのでは」と思うレベルの人が殺到して、そのレベルでも普通に落とされるというドラゴンボールじみた狂気の世界っぽい
54
既に機械学習界のインフラ的サイトになっていたPaper With Codeに続いて，論文のデータセットもまとめた「Paper with Datasets」（名前はツイッターでの呼称で，サイト自体は同じ）ができたようです
paperswithcode.com/datasets
データセット探しの定番になるかもしれないですね
55
ハーバード大学の確率統計の授業が公開されています
youtube.com/playlist?list=…
科学,工学,経済などあらゆる問題の基礎となる数学だけに,全30回以上みっちりやるカリキュラムです
一部の授業のタイトルが,確率にまつわるモンティ・ホール問題や誕生日のパラドックス等の問題になっているのはユニーク
56
世界で一番人気のある深層学習の講義である、couseraのAndrew Ng先生によるDeep Learningコースが、最近流行りのTransformerなどのトピックを追加するなどのアップデートを行い、開講されるそうです
受講は無料で、深層学習の必須要素が身につくので是非
coursera.org/specialization…
57
MITで行われている,コンピュータサイエンスの授業の準備となるシェルやvim, git, デバッグ等,便利なツールを教える"The Missing Semester of Your CS Education"の講義ページについて,有志による日本語翻訳版ができたようです
missing.csail.mit.edu
CS系の講義や研究の準備に取り組むのもいいのでは
58
東大が公開しているプログラミング・データサイエンス・統計などの資料がまとめられていました（強化学習枠で私の資料も）
どちらかというと,初学者向けの資料なので，この辺の分野の入門にでも
digitaldigital.hatenablog.com/entry/2020/07/…
59
12月:「画像認識もTransformer最強(ViT)」
2月:「Transformer is All you Need」
3月:「Attention is not All you Need」
5月:「MLP工夫でViT並(MLPmixer)」
5月:「ConvolutionがTransformerより強そう」
5月:「MLPにゲート付けてTransformer超え(Pay Attention to MLPs)」
arxiv.org/abs/2105.08050
60
論文，書籍，資料のどれ書くにしても，この辺の機械学習・深層学習アーキテクチャの図をほぼ自作していたので，これは救世主的な超本質リポジトリかもしれない・・・
"these images can be FREELY USED in your own blog posts, slides, presentations, or papers under the CC-BY license"
とのこと twitter.com/ELYZA_inc/stat…
61
東大の計算論的神経科学の集中講義の講義動画が公開されているようです
youtube.com/playlist?list=…
Web上で公開されているこの分野の教材としてはもっとも網羅的でハイレベルな内容ですね
講義の途中で手元のノートで計算を実際に行ってくれたり，脳活動の実例動画が出てきたりするのも面白い
62
東大の情報系の学科の進振りの難易度がおかしくなってるのと関連して,コンピュータサイエンスが学べる国内の主要大学の大学院入試の倍率が上がりすぎて,せっかく入試戦争が終わって入学しても,ある程度先を見ている人は行きたいところの院試対策を学部の早い段階で始めるとかも最近聞いたなぁ...
63
深層強化学習を用いた金融・株式取引について，かなり現実的な視点から考察したレビュー論文
研究的には人間のトレーダーを上回る可能性はあるが，まだまだ研究の余地があるとのこと
"Deep Reinforcement Learning in Quantitative
Algorithmic Trading: A Review"
arxiv.org/abs/2106.00123
64
東大が開発したデータサイエンス・AI教育の教材が本日から一般向けに公開されたようです
i.u-tokyo.ac.jp/news/press/202…
入門者向けのデータサイエンスにとどまらず,深層学習を使った画像認識,言語処理など,この分野に興味を持つあらゆる人が参照する価値のある教材です
教材サイト：mi.u-tokyo.ac.jp/6university_co…
65
待望のTransformerのサーベイ論文
あまりにも派生型が出現しすぎて分類の枝の分岐がすごいことになってますが，さすがに一つ一つを詳細に解説するのは無理があったらしく（書籍２つ分とかになりそう），それぞれは簡単な解説で読みやすい
A Survey of Transformers
arxiv.org/abs/2106.04554
66
セガが,ゲーム制作に必須であるクォータ二オンを理解することをゴールにした社内勉強会で使用していた,線形代数の資料が公開されています
156ページの超大作で、そのまま応用まで考えた線形代数の教科書として使えるレベルの資料です
slideshare.net/SEGADevTech/ss…
67
深層学習を使う場合の学習効率化,高速化などの手法,テクニックなどが非常に網羅的にまとめられたサーベイ論文です
研究や開発で深層学習を使う人には非常に重要な知見の宝庫
"Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better"
arxiv.org/abs/2106.08962
68
深層学習の第一原理を理解するため,物理学の視点も取り入れた理論を解説する,Facebook・MIT・プリンストン大の研究者らによる400ページ超えの書籍が公開されました
"AIの科学を再構築する"とする,非常にインパクトのある内容です
"The Principles of Deep Learning Theory"
deeplearningtheory.com/PDLT.pdf
69
恐らく世界で一番読まれた機械学習の教科書"Murphy本"の新版"Probabilistic Machine Learning: An Introduction"について,書籍のドラフトが公開されてましたが,なんと実装コードも公開される模様
github.com/probml/pyprobml
機械学習のほとんどの領域をカバーする本の実装だけに,大変参考になります
70
ついに、プログラマの悲願でもあった「プログミングもAIがいい感じにやってくれる」機能であるGitHub Copilotが公開されたようです
人の言葉で関数名や処理の内容を書くとその内容を忖度して自動で記述してくれるようで,プログラマの救世主となるか
copilot.github.com
71
タンパク質の立体構造予測・バイオインフォマティクスの常識を変えるレベルの圧倒的性能を叩き出したDeepMindのAlphaFold v2の論文と実装がついに公開されたようです!
初代AlphaFoldの時と違い、今回は実装と学習済みの公開がされました!
nature.com/articles/s4158…
実装
github.com/deepmind/alpha…
72
学会・学位論文発表の即死呪文「素人質問で恐縮ですが・・・」に続いて、新たに「わからないフリをして質問してもよろしいでしょうか・・・？」が爆誕したらしいです
73
@ktromr 「質問者である私自身は完全に理解しているのですが、他の聴衆がわかっているか怪しいので、説明をよろしくお願いいたします」みたいな感覚でしょうか
74
この質問については,専門家・非専門家合わせて700人近く集まったかなり大規模ですがカジュアルな雰囲気の学術的座談会で、分野の完全理解者のスーパー先生が,聴衆に必要な知識を(いわゆる「素人質問」のネタを踏まえて)笑いを入れながら提供するという神業フォローだったということを追記しておきます
75
サイボウズが公開した、エンジニア研修のための資料がかなりすごいです
blog.cybozu.io/entry/2021/07/…
Web、テスト、Docker、データベース、デザインなどなど、エンジニアに必要（全部習得すればその時点で一流感が）なスキルが網羅されており、一通りできれば相当なレベルになりそうです
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身