126
ついに、プログラマの悲願でもあった「プログミングもAIがいい感じにやってくれる」機能であるGitHub Copilotが公開されたようです
人の言葉で関数名や処理の内容を書くとその内容を忖度して自動で記述してくれるようで,プログラマの救世主となるか
copilot.github.com
127
恐らく世界で一番読まれた機械学習の教科書"Murphy本"の新版"Probabilistic Machine Learning: An Introduction"について,書籍のドラフトが公開されてましたが,なんと実装コードも公開される模様
github.com/probml/pyprobml
機械学習のほとんどの領域をカバーする本の実装だけに,大変参考になります
128
深層学習の第一原理を理解するため,物理学の視点も取り入れた理論を解説する,Facebook・MIT・プリンストン大の研究者らによる400ページ超えの書籍が公開されました
"AIの科学を再構築する"とする,非常にインパクトのある内容です
"The Principles of Deep Learning Theory"
deeplearningtheory.com/PDLT.pdf
129
深層学習を使う場合の学習効率化,高速化などの手法,テクニックなどが非常に網羅的にまとめられたサーベイ論文です
研究や開発で深層学習を使う人には非常に重要な知見の宝庫
"Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better"
arxiv.org/abs/2106.08962
130
セガが,ゲーム制作に必須であるクォータ二オンを理解することをゴールにした社内勉強会で使用していた,線形代数の資料が公開されています
156ページの超大作で、そのまま応用まで考えた線形代数の教科書として使えるレベルの資料です
slideshare.net/SEGADevTech/ss…
131
待望のTransformerのサーベイ論文
あまりにも派生型が出現しすぎて分類の枝の分岐がすごいことになってますが，さすがに一つ一つを詳細に解説するのは無理があったらしく（書籍２つ分とかになりそう），それぞれは簡単な解説で読みやすい
A Survey of Transformers
arxiv.org/abs/2106.04554
132
東大が開発したデータサイエンス・AI教育の教材が本日から一般向けに公開されたようです
i.u-tokyo.ac.jp/news/press/202…
入門者向けのデータサイエンスにとどまらず,深層学習を使った画像認識,言語処理など,この分野に興味を持つあらゆる人が参照する価値のある教材です
教材サイト：mi.u-tokyo.ac.jp/6university_co…
133
深層強化学習を用いた金融・株式取引について，かなり現実的な視点から考察したレビュー論文
研究的には人間のトレーダーを上回る可能性はあるが，まだまだ研究の余地があるとのこと
"Deep Reinforcement Learning in Quantitative
Algorithmic Trading: A Review"
arxiv.org/abs/2106.00123
134
東大の情報系の学科の進振りの難易度がおかしくなってるのと関連して,コンピュータサイエンスが学べる国内の主要大学の大学院入試の倍率が上がりすぎて,せっかく入試戦争が終わって入学しても,ある程度先を見ている人は行きたいところの院試対策を学部の早い段階で始めるとかも最近聞いたなぁ...
135
東大の計算論的神経科学の集中講義の講義動画が公開されているようです
youtube.com/playlist?list=…
Web上で公開されているこの分野の教材としてはもっとも網羅的でハイレベルな内容ですね
講義の途中で手元のノートで計算を実際に行ってくれたり，脳活動の実例動画が出てきたりするのも面白い
136
論文，書籍，資料のどれ書くにしても，この辺の機械学習・深層学習アーキテクチャの図をほぼ自作していたので，これは救世主的な超本質リポジトリかもしれない・・・
"these images can be FREELY USED in your own blog posts, slides, presentations, or papers under the CC-BY license"
とのこと twitter.com/ELYZA_inc/stat…
137
12月:「画像認識もTransformer最強(ViT)」
2月:「Transformer is All you Need」
3月:「Attention is not All you Need」
5月:「MLP工夫でViT並(MLPmixer)」
5月:「ConvolutionがTransformerより強そう」
5月:「MLPにゲート付けてTransformer超え(Pay Attention to MLPs)」
arxiv.org/abs/2105.08050
138
東大が公開しているプログラミング・データサイエンス・統計などの資料がまとめられていました（強化学習枠で私の資料も）
どちらかというと,初学者向けの資料なので，この辺の分野の入門にでも
digitaldigital.hatenablog.com/entry/2020/07/…
139
MITで行われている,コンピュータサイエンスの授業の準備となるシェルやvim, git, デバッグ等,便利なツールを教える"The Missing Semester of Your CS Education"の講義ページについて,有志による日本語翻訳版ができたようです
missing.csail.mit.edu
CS系の講義や研究の準備に取り組むのもいいのでは
140
世界で一番人気のある深層学習の講義である、couseraのAndrew Ng先生によるDeep Learningコースが、最近流行りのTransformerなどのトピックを追加するなどのアップデートを行い、開講されるそうです
受講は無料で、深層学習の必須要素が身につくので是非
coursera.org/specialization…
141
ハーバード大学の確率統計の授業が公開されています
youtube.com/playlist?list=…
科学,工学,経済などあらゆる問題の基礎となる数学だけに,全30回以上みっちりやるカリキュラムです
一部の授業のタイトルが,確率にまつわるモンティ・ホール問題や誕生日のパラドックス等の問題になっているのはユニーク
142
既に機械学習界のインフラ的サイトになっていたPaper With Codeに続いて，論文のデータセットもまとめた「Paper with Datasets」（名前はツイッターでの呼称で，サイト自体は同じ）ができたようです
paperswithcode.com/datasets
データセット探しの定番になるかもしれないですね
143
アメリカのコンピュータサイエンスの大学院、応募してくる人間がインフレしすぎて、書類を見た教員側が「既に博士号持っててもおかしくないのでは」と思うレベルの人が殺到して、そのレベルでも普通に落とされるというドラゴンボールじみた狂気の世界っぽい
144
様々なTransformer論文が量産されて，もう何もかもAll You Needなのではと思われる中，まさかの"Attention is not all you need"論文が投下され，混沌の時代へ・・・
"Attention is not all you need: pure attention loses rank doubly exponentially with depth"
arxiv.org/abs/2103.03404
145
みんな絶対来ると思っていた"Transformer is All You Need"論文が爆誕
arxiv.org/abs/2102.10772
146
MITでは,コンピュータサイエンスの授業の準備に,シェルやvim, git, デバッグ等,便利で基本的なツールを「授業では何百時間,キャリアでは何千時間使う」として,1ヶ月学ぶ授業が開講されているようですね
missing.csail.mit.edu/2020/
講義動画等が公開されていますが,他大学もやったら面白いのでは
147
ソフトウェア開発やコンピュータ科学の技術,その他様々なプログラミング言語や機械学習に関する書籍や資料について，無料かつ日本語で読める洋書の翻訳書などを中心に大量にまとめたリポジトリ
github.com/EbookFoundatio…
エンジニア,研究者共に,ここにある資料だけでかなりの学習ができそうな雰囲気
148
GAFAをはじめとする代表的なテック企業のプロダクトへの機械学習・データサイエンスの応用例が公表されている論文や記事を集めたリポジトリ
github.com/eugeneyan/appl…
データの扱い,検索や推薦システム等メジャーなものから,NLP,CV,異常検知,その他(RLも!)色々あり,具体的な応用を目指している人は必見
149
大学入学共通テスト(旧センター試験)における新科目「情報」の試作問題が公開されてます((出題は未定
ipsj.or.jp/education/9fae…
暗号解読のプログラミングや確率的モデルのシミュレーション,IPアドレスとネットワークの問題等,これを解くことになる高校生が得る情報の教養は相当なものになるのでは
150
MIT，ハーバード等の海外の有名大学の講義や,youtubeで数百万再生を超えるようなコンピュータサイエンスの人気講義で無料公開されているものをまとめたサイト
laconicml.com/computer-scien…
非常に数が多く，全てを見るのは難しいですが,AI・機械学習系の講義は,界隈でも既に名が知られた名講義ばかりです
東京大学 工学系研究科 技術経営戦略学専攻 松尾研究室 @Matsuo_Lab / 人工知能を研究 強化学習，深層学習，マルチエージェント強化学習，生成AI，LLM，ゲームAI @UTokyo_News_en / 著書：『G検定公式テキスト 第2版』『AI白書』 / 翻訳書：『強化学習』/ 金沢出身