76
77
深層学習の第一原理を理解するため,物理学の視点も取り入れた理論を解説する,Facebook・MIT・プリンストン大の研究者らによる400ページ超えの書籍が公開されました
"AIの科学を再構築する"とする,非常にインパクトのある内容です
"The Principles of Deep Learning Theory"
deeplearningtheory.com/PDLT.pdf
78
深層学習の最近の研究,主要な研究のPyTorch実装集なのですが,これはかなりいいです
nn.labml.ai
単にgithubにコードを載せて少しコメントして終わり,ではなく,専用のサイトで,数式とコードの実装部分の対応を解説しており,あまり知らない分野でもわかりやすい
79
GPTを超える5600億パラメータを持つ最大規模の大規模言語モデルだったPaLMに,視覚処理の機構(Vision Transformer)を統合したPaLM-E-562B(5620億パラメータ)をGoogleが発表しました. palm-e.github.io… twitter.com/i/web/status/1…
80
コンピュータサイエンスの人、完全理解のために低レイヤーまで下って完璧に勉強する人が割といるけど、あまりにも下りすぎて半導体をやることになった人がいるらしくて笑った
81
82
線形代数における行列に関する計算,操作,重要公式をまとめたPDF
math.uwaterloo.ca/~hwolkowi/matr…
大学で習うようなレベルの線形代数の知識の他,線形代数の書籍や機械学習の文脈で頻出のものまで網羅しているため,PCで手軽に素早く参照できるリファレンスとして,大学の授業から研究まで幅広く使えそう
83
なんと岸田首相自らが、ChatGPT生成AIがG7サミットの議題になることを明言!
正真正銘、主要国の首脳の話題に生成AIが出てくる事態になるとは…
具体的には"AIのあり方をめぐる国際的なルールづくり"が焦点だそう。
開催国が日本というのがよい。
www3.nhk.or.jp/news/html/2023…
84
名前の「メタバース工学部」から,「メタバース工学」なる学問を教える東大のキラキラ新設学部っぽく聞こえてしまうと思うのですが,実際には中高生・社会人など外部の方達にも立場や地理的な制限を超えて工学部の教育プログラムを提供するもので,真面目なやつです
t.u-tokyo.ac.jp/press/pr2022-0…
85
数十年分の技術革新が2週間で起きたのではないかと思うような日々でした
毎日起きて技術動向を確認するのが楽しいような怖いような
・GPT-4公開
・Google PaLM API
・Github: Copilot X
・ChatGPT Pluginsの公開
・Bing Image Creator
・GPT-が初期の汎用人工知能論文
・Google Bard限定公開
86
お待たせしました!
GPT-4の解説を書いている最中ですが,まずはChatGPTの資料について,Speakerdeckの方にアップロードし,快適に見られるようにしました.
アップロードに伴い,別の場所で解説する時に使用したスライドを追加するなどし,一部アップデートしました.
speakerdeck.com/imai_eruel/cha…
87
ドラえもんのほんやくコンニャクに近い研究です.
なんと自分の声を維持したまま,自国語の音声を外国語の音声に変換できる手法VALL-E Xがマイクロソフトから発表されました.
vallex-demo.github.io
デモのページに変換の例が載せてあり,リアルほんやくコンニャク感があります.
88
Googleの研究者が大規模言語モデルのAI開発競争について言及した文書が出回っており,かなり興味深いことが書かれてます
semianalysis.com/p/google-we-ha…
・Google(Bard)やOpenAI(ChatGPT)も,競争上の優位はない
・オープンソース大規模言語モデルの性能上昇が凄すぎて追いつかれるのも時間の問題… twitter.com/i/web/status/1…
89
スタンフォード大学のNLP+深層学習の講義2021年度版が公開されています
youtube.com/playlist?list=…
この講義,2年前くらいはTransformerやAttentionを講義の最終版でやってましたが,研究の加速により,この辺は当たり前と言わんばかりに中盤で消化して,後半は最近話題の言語モデル等の話になってます
90
Googleの中の人が書いた機械学習製品開発のtips集
「機械学習を使わない手を恐れるな」というそもそもML以前のことから,特徴エンジニアリング,モデルのテスト,一度製品化した後に考えるべきことまで,色々載ってます
"Best Practices for ML Engineering"
martin.zinkevich.org/rules_of_ml/ru…
91
リクルートのエンジニア研修資料の2021年度版が公開されたようです
recruit-tech.co.jp/blog/2021/08/2…
最近色々な企業の研修資料が公開されて注目されてますが、例年話題になるリクルートの資料についても、ブラウザ周りやAWSを使ったクラウド開発の技術の解説が充実しています
92
先週の話ですが、永田町に行ってChatGPT、GPT-4の技術面の話をする機会がありました。
あくまでも個人的印象ですが、日本の政治家の方達、GPT周りの話題にかなり敏感で、知識も相当あるように思います。
93
これは面白い
GPT-4が「TenetLang」なる新しいプログラミング言語を作ってくれたという
GPT-4にソフトウェア開発のなんたるかを聞き,
重要な要素を満たす言語を設計してくれるように頼んだとのこと
既にgithubで実際に公開されている
lukebechtel.com/blog/gpt4-gene…
github: github.com/tenetlang/tene…
94
ツイッターの仕様変更,生成AI/大規模言語モデルの学習のエサとして大量のリクエストが飛んできてるのが背景かと思いきや,Twitter側のバグでTwitteからTwitter自身に大量のリクエストがループ的に投げられるバグが原因という説が
Twitter自身のやらかしで世界中に迷惑をかけている可能性... twitter.com/ImAI_Eruel/sta…
95
PRMLと並ぶ機械学習の入門書として名高いMurphy先生の本が,深層学習以降も含む進化版として出版されるようで,ドラフト版が公開
probml.github.io/pml-book/book1…
1600pの大作の前編で,続編のAdvanced Topicsもあるそう
Deep以前の最強のML本にDeepの話題も加わり,単体の網羅度では最強の教科書(鈍器)では
96
イーロンはTwitterを手に入れた段階でTwitterが保持するツイートデータの塊をいかにお金に変えるか・・・と色々考えてたと思うんですが,ここにChatGPT/生成AIブームがやってきたのが最悪のシナジーを生んでいる気がする… twitter.com/i/web/status/1…
97
研究者の中では、GPT-3が出た辺りから「こりゃGPT-10になるころにはGPTじゃなくて"Human"を名乗りそうだな」的なジョークがあったんですが、この調子だとGPT-6くらいでHumanになって、GPT-10くらいだともう新世界の神を称する何かになりそう
98
東大の計算論的神経科学の集中講義の講義動画が公開されているようです
youtube.com/playlist?list=…
Web上で公開されているこの分野の教材としてはもっとも網羅的でハイレベルな内容ですね
講義の途中で手元のノートで計算を実際に行ってくれたり,脳活動の実例動画が出てきたりするのも面白い
99
100
京都大学 数理解析学研究所の一般向け数学入門公開講座の講義ノートが公開されている
kurims.kyoto-u.ac.jp/ja/special-01.…
"入門"と付いていても大学までで習う数学とは一線を画すレベルの内容だが,最先端の数学に少しでも近づけるような工夫を凝らしたノートになっている
ABC予想の件で有名な望月教授の講義も