線形代数における行列に関する計算,操作,重要公式をまとめたPDF math.uwaterloo.ca/~hwolkowi/matr… 大学で習うようなレベルの線形代数の知識の他,線形代数の書籍や機械学習の文脈で頻出のものまで網羅しているため,PCで手軽に素早く参照できるリファレンスとして,大学の授業から研究まで幅広く使えそう
東大の方の強化学習の講義で微妙に欠けていたトピックがあったので,ためしにChatGPTのCode Interpreterでノートブック形式の講義資料を作らせてみたら,そのまま講義で使えるレベルのものが出力されて感心 ここまでくると,もう受講生が自分で講義資料を生成して,それで個人学習できるのではないか
先週の話ですが、永田町に行ってChatGPT、GPT-4の技術面の話をする機会がありました。 あくまでも個人的印象ですが、日本の政治家の方達、GPT周りの話題にかなり敏感で、知識も相当あるように思います。
議論の余地はあるとはいえ,かなり凄いことが書かれてます ・Transformerの性能はたった3つの変数のべき乗則に支配される ・理論上,3つの変数を上げ続ければTransformerの性能は無限に上昇 ・Transformerを利用する多くの分野が「お金をどれだけ払えるか?」の問題になる可能性 deeplearning.hatenablog.com/entry/scaling_…
もはやLLM界隈の教科書となっているこのサーベイ,新たに34p追加,200個以上の参考文献が追加されたようで,この分野の発展速度を物語っています "A Survey of Large Language Models" arxiv.org/abs/2303.18223 この論文,今年3月に投稿されたのですが,私が記憶している限りもう10回以上更新されてます
音楽に合ったイメージをGANで生み出して可視化するNeural Synesthesiaという取り組み m.youtube.com/channel/UCu9a5… 面白い
GPT-4やChatGPTの登場以降,コア技術の一つである強化学習の注目も過去になく高まっているので,体系的に学べるもの(私が関わったもの)を紹介しておきます! ・強化学習の基礎と深層強化学習 slideshare.net/ShotaImai3/cha… slideshare.net/ShotaImai3/cha…twitter.com/i/web/status/1…
来年にケンブリッジ大学出版から発売予定のベイズ最適化に関する教科書のドラフトが公開されています github.com/bayesoptbook/b… 統計、機械学習分野、その他関連分野の人向けで、入門書でもゼロから学習できる自己完結型で網羅的な教科書のようです
PRMLと並ぶ機械学習の入門書として名高いMurphy先生の本が,深層学習以降も含む進化版として出版されるようで,ドラフト版が公開 probml.github.io/pml-book/book1… 1600pの大作の前編で,続編のAdvanced Topicsもあるそう Deep以前の最強のML本にDeepの話題も加わり,単体の網羅度では最強の教科書(鈍器)では
MITの深層学習コースの2021年版が公開されていました youtube.com/playlist?list=… 基礎〜画像認識、言語処理、強化学習、深層生成モデルまで網羅度が高いのはもちろんですが、発展トピックとして深層学習の限界や、学習モデルがやらかした例も取り上げているのは好印象
スタンフォード大学でAI・機械学習をやっている人たちのオールスターともいえる約100名の著者からなる論文が出ました arxiv.org/abs/2108.07258… BERT、GPT、DALL-Eなど、事前学習されて様々なタスクに応用が効く超巨大モデルを総称して"Foundation Model"と呼び、社会に与える影響を論じています
Googleの中の人が書いた機械学習製品開発のtips集 「機械学習を使わない手を恐れるな」というそもそもML以前のことから,特徴エンジニアリング,モデルのテスト,一度製品化した後に考えるべきことまで,色々載ってます "Best Practices for ML Engineering" martin.zinkevich.org/rules_of_ml/ru…
世界で一番人気のある深層学習の講義である、couseraのAndrew Ng先生によるDeep Learningコースが、最近流行りのTransformerなどのトピックを追加するなどのアップデートを行い、開講されるそうです 受講は無料で、深層学習の必須要素が身につくので是非 coursera.org/specialization…
先ほどGoogleから今後のAIの方針のすごい発表がありました! developers.googleblog.com/2023/03/announ… ・GPTを超える世界最大規模の言語モデル"PaLM"のAPI「PaLM API」をついに公開する方針に決定 ・自分でモデルのチューニングデータ拡張ができるツール"MakerSuite" ・GmailやGoogleDocsなどのツールに生成AIを搭載
GPTを超える5600億パラメータを持つ最大規模の大規模言語モデルだったPaLMに,視覚処理の機構(Vision Transformer)を統合したPaLM-E-562B(5620億パラメータ)をGoogleが発表しました. palm-e.github.iotwitter.com/i/web/status/1…
かつてAlphaGoと対局した世界最強の囲碁棋士イ・セドルが、もはやAIの打倒は不可能だとして引退を表明 DeepMindが用意した公式のAlphaGoとの対局で、1勝とはいえ勝てたのはこの人だけだったんですよね(他の人は全敗 Go master quits because AI 'cannot be defeated' bbc.com/news/technolog…
東大の講義で、以前資料を公開したことでAWSを学ぶ決定版とネットで広く話題になったものが、書籍化するようです tomomano.github.io/learn-aws-by-c…
普段は実装付きのコンテンツをあまり公開しないDeepMindですが,なんと教育用の機械学習・深層学習の実装コンテンツが公開されてます github.com/deepmind/educa… さすが天下のDeepMind,強化学習やタンパク質の立体構造予測,言語モデルの内容も Pythonやnumpyの解説もあり初学者から研究者まで色々学べそう
理研で行われた、ChatGPTなどのLLMに関する特別講演の動画が公開されています。 m.youtube.com/watch?v=PUuk4C… 私も当日、配信で見ていたのですが(そして最後のスライドで自分の資料が参考資料として出てきてビックリしたのですが)、LLMに関する重要な知見がまとまっており、大変素晴らしい講演でした!
深層学習の新しい教科書のドラフトが公開されてます! "Understanding Deep Learning" udlbook.github.io/udlbook/ 従来の深層学習の教科書は,最近急速に発展したStable Diffusion等の拡散モデル,ChatGPTみたいな言語モデルの生成AIをあまり解説してませんでしたが,この辺も解説する本格的な教科書です
マイクラの中で,まさかのゲーム内でブロックを組み合わせてニューラルネットワークを作成し,分類タスクを解いている動画が非常に面白いです bilibili.com/video/BV1yv4y1… 一切のライブラリもなく単純計算の回路の組み合わせで実現しているので,凄まじいサイズになってますが・・・
東大の計算論的神経科学の集中講義の講義動画が公開されているようです youtube.com/playlist?list=… Web上で公開されているこの分野の教材としてはもっとも網羅的でハイレベルな内容ですね 講義の途中で手元のノートで計算を実際に行ってくれたり,脳活動の実例動画が出てきたりするのも面白い
Pythonの他,Java,JavaScript,C++等大量の言語の基礎教養〜応用アルゴリズム実装があるオープンソースプロジェクトのリポジトリ"The Algorithms" github.com/TheAlgorithms 以前見たのはPythonだけでしたが,大抵の言語の実装があり,コード書く人なら全員が参考になる超有用な代物っぽいですね
深層学習以降のAIは昔と比べると研究がかなり加速して,1ヶ月くらい前の論文で「ちょっと古い論文ですが…」という感じで,他分野からは「何言ってだこいつ」状態でしたが,ChatGPT以降は更に加速して,1週間か下手すれば数日前の話ですら, 「ちょっと古い情報ですが…」 みたいになってて,うーんみが深い
Googleの研究者が大規模言語モデルのAI開発競争について言及した文書が出回っており,かなり興味深いことが書かれてます semianalysis.com/p/google-we-ha… ・Google(Bard)やOpenAI(ChatGPT)も,競争上の優位はない ・オープンソース大規模言語モデルの性能上昇が凄すぎて追いつかれるのも時間の問題… twitter.com/i/web/status/1…