126
127
東大の講義で、以前資料を公開したことでAWSを学ぶ決定版とネットで広く話題になったものが、書籍化するようです
tomomano.github.io/learn-aws-by-c…
128
「GPT-3の学習には460万ドル(約4億9000万円)のコストがかかり、1台のGPUを使用した場合は計算に355年かかるとのこと」
_人人人人人人人人人人_
> 4億9000万円 <
 ̄Y^Y^Y^Y^Y^Y^Y^Y^Y ̄
_人人人人人人_
> 355年 <
 ̄Y^Y^Y^Y^Y ̄
gigazine.net/news/20200729-…
129
深層学習の金融応用についてまとめたサーベイ論文
かなりの大著で52ページからなり,引用文献数も200を超えていて非常に網羅的
応用状況の分析や,仮想通貨関連の話題も含み,この論文を起点に色々な知見を得られそう
"Deep Learning for Financial Applications : A Survey"
arxiv.org/abs/2002.05786
130
世界で一番人気のある深層学習の講義である、couseraのAndrew Ng先生によるDeep Learningコースが、最近流行りのTransformerなどのトピックを追加するなどのアップデートを行い、開講されるそうです
受講は無料で、深層学習の必須要素が身につくので是非
coursera.org/specialization…
131
みなさんお待たせしました!
我々が翻訳していた,強化学習のバイブルにして最大最高の教科書R・Sutton著『強化学習 (Reinforcement Learning) 第2版』の翻訳書がついに発売されます!
20年の時を経て,深層強化学習等の話題を加え大幅改訂です
AI, 強化学習に興味がある方は是非!
amazon.co.jp/dp/4627826621/…
132
OpenAIがChatGPTのiOSアプリを公開しました
apps.apple.com/app/openai-cha…
まずはUSユーザーに先行公開し,徐々に利用可能範囲を増やしていくとのこと
以前にOpenAIがiPhoneアプリ開発者の求人を出してたので,近いうちに出るのでは?と言われてましたが,ここにきて出してきました
133
東大の情報系の学科の進振りの難易度がおかしくなってるのと関連して,コンピュータサイエンスが学べる国内の主要大学の大学院入試の倍率が上がりすぎて,せっかく入試戦争が終わって入学しても,ある程度先を見ている人は行きたいところの院試対策を学部の早い段階で始めるとかも最近聞いたなぁ...
134
タンパク質の立体構造予測・バイオインフォマティクスの常識を変えるレベルの圧倒的性能を叩き出したDeepMindのAlphaFold v2の論文と実装がついに公開されたようです!
初代AlphaFoldの時と違い、今回は実装と学習済みの公開がされました!
nature.com/articles/s4158…
実装
github.com/deepmind/alpha…
135
スタンフォード大学とかは, ChatGPT, GPT-4みたいな大規模言語モデルの教育にも力を入れてて,授業で基礎知識の講義や論文レビュー,更に計算機リソースを与えて実際に言語モデルを作らせたりしてます
stanford-cs324.github.io/winter2022/
講義資料も講義サイトで公開されているため,GPT,LLMに興味がある人は是非!
136
深層学習のほとんどの分野を網羅したKerasの実装本の最新版が公開されています
(大学の講義で使うことを目的に書かれたようですが、500ページ超の実装本をやる講義とは一体...)
"Applications of Deep Neural Networks with Keras"
arxiv.org/pdf/2009.05673…
PyTorch版も欲しい内容ですね
137
Google→Google→Amazon→MS→Slack→Appleと毎日のように障害が発生して、次はFacebookでも落ちるのかと思ったら東京証券取引所で障害発生というオチだった twitter.com/nhk_news/statu…
138
スタンフォード大学でTransformerに関する講義が始まっています
youtube.com/playlist?list=…
元々,言語処理の手法だったところが,画像処理に強化学習にAlphaFoldを始めとした他分野応用などで革命を起こしすぎたせいで,自然言語の講義から独立して,Transformer単体で講義が作られるようになった模様
139
140
様々なTransformer論文が量産されて,もう何もかもAll You Needなのではと思われる中,まさかの"Attention is not all you need"論文が投下され,混沌の時代へ・・・
"Attention is not all you need: pure attention loses rank doubly exponentially with depth"
arxiv.org/abs/2103.03404
141
オープンソース界隈の本命Stability AIが,ついに予告していた独自の大規模言語モデル"StableLM"を公開しました!
github.com/Stability-AI/S…
現時点ではMAX650億Pのモデルが公開されており,今後1750億のモデル公開を予定している模様
Stable Diffusionに続き,オープンソース LLM界隈の主役になるか
142
Googleのテクニカルライティングの資料と,資料をまとめた日本語記事
技術者や,その他の人でも技術に関する文章を書く人なら必読の内容
"Technical Writing Courses"
developers.google.com/tech-writing
"Google社のテクニカルライティングの基礎教育資料がとても良かったので紹介したい"
qiita.com/yasuoyasuo/ite…
143
抽選だったGPT-4のAPIを全ユーザーに解放するとのこと.今後GPT APIを使った巷のアプリの性能が飛躍的に上がるかも
openai.com/blog/gpt-4-api…
で,この記事,中盤にさらっと重要なことが書かれているのですがChatGPT/GPT-4をファインチューニングする機能が予定されている模様,これは大きい.… twitter.com/i/web/status/1…
144
実は,ChatGPTみたいな超高性能対話AI(LLM)はOpenAIやその他GAFAMみたいなBig Techしか作れず,独占状態になるかと思っていたのですが,どうも最近の流れを見ているとそうでもなさそうです… twitter.com/i/web/status/1…
145
グラフニューラルネットワーク(GNN)などの、深層学習 for グラフに関する大型の書籍が公開されています
web.njit.edu/~ym329/dlg_boo…
この分野の資料としてはおそらく最大のもので,GNNの全体論のほか、言語処理,ヘルスケア,生化学その他への応用も幅広く紹介されています
146
東大の研究室でやっている深層学習の講義、演習教材にGoogle colabを使っているのですが、最近仕様が極端に悪化してきて(セッション数、GPUの制限)、ついに講義前の軽い確認作業でGPUの使用量限界に達してしまうレベルになったので、色々考える必要がありそうです
147
海外のそこそこ有名なテック企業の求人の要求に「BERTを使った機械学習・自然言語処理の経験を4年以上」(※BERTの論文公開は2018年)みたいのがあったらしく、盛大にネタにされているっぽい
148
Google, DeepMindの研究者らによる、分布型強化学習に関する教科書のドラフトが公開されています
distributional-rl.org
単なるスカラー値の期待収益ではなく,より情報が多い収益分布を使う手法で、深層強化学習以前から研究(金融応用等)されてきた分野ですが、まさか教科書が出るレベルになるとは
149
スタンフォード大学で使われている線形代数の応用に関する教科書の翻訳版が発売されるようです
既に海外では非常に評価が高い教科書で,AI・機械学習等,普通の線形代数の本では応用が見えにくい部分を学習できます
『スタンフォード ベクトル・行列からはじめる最適化数学』
amazon.co.jp/dp/4065161967/…
150
講義動画付きのコンピュータサイエンスの講義大全的なリポジトリがありました
github.com/Developer-Y/cs…
めちゃくちゃ量が多い。コンピュータサイエンス入門、数学、機械学習、Webからなんでもあり、最近の話題を反映してか量子コンピューティングやブロックチェーンの話やゲーム開発的な話まであります