26
世界的に有名な線形代数の教科書(邦訳だと『線形代数イントロダクション』,『線形代数とその応用』)の著者として名高いMITのストラング先生による,線形代数の機械学習,信号処理等応用の講義
線形代数の講義のお手本になりそうな内容です
黒板を使った数学らしいスタイル
youtube.com/playlist?list=…
27
Googleのテクニカルライティングの資料と,資料をまとめた日本語記事
技術者や,その他の人でも技術に関する文章を書く人なら必読の内容
"Technical Writing Courses"
developers.google.com/tech-writing
"Google社のテクニカルライティングの基礎教育資料がとても良かったので紹介したい"
qiita.com/yasuoyasuo/ite…
28
「GitHubの最高経営責任者(CEO)は、奴隷制度に関係する用語を不必要に使用するのを避けるために、「マスター」という用語を「メイン」などの中立的な用語に変更する取り組みを進めていることを明らかにした」
いよいよ技術界隈の日常にも影響が迫ってきましたね
japan.zdnet.com/article/351552…
29
文科省が出した高校新学習指導要領の「情報II」の教員研修用教材,結構なボリュームで,データサイエンスの部分はpython実装で,scikit-learnやニューラルネットを試したりkaggleの導入に触れたり,なかなかガチな内容になっている
mext.go.jp/a_menu/shotou/…
勾配降下法の図(画像2枚目)は新発想すぎて面白い
30
解散してしまった創文社から出ていた、竹村先生の超名著『現代数理統計学』、新装改訂版として学術図書出版から9月に改めて発売されるようですね(内容も一部追加)
amazon.co.jp/dp/4780608600/…
元の本が絶版になり、Amazonとかで4万近くの値段がついて入手が困難になっていたため、嬉しいお知らせ
31
東京大学 松尾研の強化学習講座を開講します!
基礎から実機・ロボット等の実応用までを意識した,最先端の講義です
私は初回で基礎・全体的な話と主要ベンチマークにおけるRLの発展,最終回でAlphaGo以降の先端ゲームAIやRLの他分野応用の話をします
受講をお待ちしております!
deeplearning.jp/reinforcement_…
32
Amazonのソフトウェアエンジニアになった人が,GAFAのような巨大テック企業を目指す人のため,自分の学習に使った膨大な資料を公開したリポジトリ"Coding Interview University"
github.com/jwasham/coding…
エンジニアが見るべき大量の本質情報が集まっている感じですね(6言語の翻訳版があるくらいの人気)
33
「GPT-3の学習には460万ドル(約4億9000万円)のコストがかかり、1台のGPUを使用した場合は計算に355年かかるとのこと」
_人人人人人人人人人人_
> 4億9000万円 <
 ̄Y^Y^Y^Y^Y^Y^Y^Y^Y ̄
_人人人人人人_
> 355年 <
 ̄Y^Y^Y^Y^Y ̄
gigazine.net/news/20200729-…
34
35
東京大学 松尾研究室の深層強化学習サマースクールで私が使用した資料を公開しました!
強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムの発展,その他有用な文献や資料への案内も載せています
RL分野全体を大体網羅したので,少しでもRLに興味ある人は是非!
slideshare.net/ShotaImai3/rls…
36
コンピュータビジョンの教科書『Computer Vision: Algorithms and Applications』の2nd Editionのドラフト版が公開
szeliski.org/Book/
1206ページの大ボリュームで,追加された深層学習の章にはCNNやResNet,NASや深層生成モデル等の最新話題,他章も新しい話題が多く,CVの教科書の決定版となりそう
37
みんなお世話になっているNumpyの論文がなんとNatureに!
nature.com/articles/s4158…
Numpyの基本から,科学の世界における貢献や歴史が述べられている
38
Google→Google→Amazon→MS→Slack→Appleと毎日のように障害が発生して、次はFacebookでも落ちるのかと思ったら東京証券取引所で障害発生というオチだった twitter.com/nhk_news/statu…
39
情報幾何学の入門論文が、ソニーコンピュータサイエンス研究所から出てるっぽい
"An Elementary Introduction to Information Geometry"
mdpi.com/1099-4300/22/1…
40
コンピュータサイエンスで有名なアルゴリズムのPython実装を大量に公開しているリポジトリ
github.com/TheAlgorithms/…
教養レベルのデータ構造やアルゴリズムから機械学習やブロックチェーン,Web関連などの応用まで,かなり高頻度で更新されている様子
Pythonで何か実装したいときには結構参考にできそう
41
LeCun先生が今季行ってきた深層学習の講義で使用された、講義ビデオ、スライド資料、Jupiter Notebookの実装資料などが全て公開に
atcold.github.io/pytorch-Deep-L…
深層学習の歴史や基礎から、CV、NLP、RL、音声認識など、広い範囲の最新の話題を扱っているのはさすが深層学習の始祖の講義という感じ
42
Pythonの他,Java,JavaScript,C++等大量の言語の基礎教養〜応用アルゴリズム実装があるオープンソースプロジェクトのリポジトリ"The Algorithms"
github.com/TheAlgorithms
以前見たのはPythonだけでしたが,大抵の言語の実装があり,コード書く人なら全員が参考になる超有用な代物っぽいですね
43
PRMLと並ぶ機械学習の入門書として名高いMurphy先生の本が,深層学習以降も含む進化版として出版されるようで,ドラフト版が公開
probml.github.io/pml-book/book1…
1600pの大作の前編で,続編のAdvanced Topicsもあるそう
Deep以前の最強のML本にDeepの話題も加わり,単体の網羅度では最強の教科書(鈍器)では
44
議論の余地はあるとはいえ,かなり凄いことが書かれてます
・Transformerの性能はたった3つの変数のべき乗則に支配される
・理論上,3つの変数を上げ続ければTransformerの性能は無限に上昇
・Transformerを利用する多くの分野が「お金をどれだけ払えるか?」の問題になる可能性
deeplearning.hatenablog.com/entry/scaling_…
45
スタンフォード大学で使われている線形代数の応用に関する教科書の翻訳版が発売されるようです
既に海外では非常に評価が高い教科書で,AI・機械学習等,普通の線形代数の本では応用が見えにくい部分を学習できます
『スタンフォード ベクトル・行列からはじめる最適化数学』
amazon.co.jp/dp/4065161967/…
46
MIT,ハーバード等の海外の有名大学の講義や,youtubeで数百万再生を超えるようなコンピュータサイエンスの人気講義で無料公開されているものをまとめたサイト
laconicml.com/computer-scien…
非常に数が多く,全てを見るのは難しいですが,AI・機械学習系の講義は,界隈でも既に名が知られた名講義ばかりです
47
大学入学共通テスト(旧センター試験)における新科目「情報」の試作問題が公開されてます((出題は未定
ipsj.or.jp/education/9fae…
暗号解読のプログラミングや確率的モデルのシミュレーション,IPアドレスとネットワークの問題等,これを解くことになる高校生が得る情報の教養は相当なものになるのでは
48
GAFAをはじめとする代表的なテック企業のプロダクトへの機械学習・データサイエンスの応用例が公表されている論文や記事を集めたリポジトリ
github.com/eugeneyan/appl…
データの扱い,検索や推薦システム等メジャーなものから,NLP,CV,異常検知,その他(RLも!)色々あり,具体的な応用を目指している人は必見
49
ソフトウェア開発やコンピュータ科学の技術,その他様々なプログラミング言語や機械学習に関する書籍や資料について,無料かつ日本語で読める洋書の翻訳書などを中心に大量にまとめたリポジトリ
github.com/EbookFoundatio…
エンジニア,研究者共に,ここにある資料だけでかなりの学習ができそうな雰囲気
50
MITでは,コンピュータサイエンスの授業の準備に,シェルやvim, git, デバッグ等,便利で基本的なツールを「授業では何百時間,キャリアでは何千時間使う」として,1ヶ月学ぶ授業が開講されているようですね
missing.csail.mit.edu/2020/
講義動画等が公開されていますが,他大学もやったら面白いのでは