1
東京大学で行った基盤モデルの講義資料を公開しました。
従来のAIとの違い、可能性とリスク、活用事例と留意点について実務家の視点で初学者向けにお話ししました。
技術の影響が広範囲に及ぶため、利用や制度設計に関する議論には多くの方に参加いただきたいと願っています。
speakerdeck.com/recruitenginee…
2
ChatGPTの下敷きになっている論文はInstructGPTの下記リンクですが、意見表明や価値判断をしないように強化学習されていて、「きのこの里vsたけのこの里」的な質問は対策済みのようです。
ここからどう回答を引き出すか、人間とAIののadversarial trainingが始まりました…！
arxiv.org/abs/2203.02155
3
DALL·Eを使った画像生成をもっと楽しむための美術（写真、絵画、彫刻など）の知識が詰まった『The DALL·E 2 Prompt Book』が公開されました。
紹介されている語彙を使うと、よりアーティスティックな作品が作れそうです。
AI時代の美術の教科書はこんな風になるのかも…？
dallery.gallery/the-dalle-2-pr…
4
GPT-3やDALL-Eなどで近年注目を集めている「基盤モデル」について、現時点でわかっている性質や代表的なモデル、課題と将来の展望をまとめました（@kaggle_araisan さんとの共同執筆）。
できる限り専門用語を排して書いたので、多くの人に届くと嬉しいです。
blog.recruit.co.jp/data/articles/…
5
Googleの最新の大規模言語モデル「PaLM」を紹介した記事。パラメータ数を5400億に増やすと、常識や因果関係の理解を必要するような難しいタスクで性能が向上し、BIG-benchで初めて人間の平均スコアを超えました。プロンプトに思考過程を含めると性能が上がるのもすごいです。
ai.googleblog.com/2022/04/pathwa…
6
昨年好評を博した東京大学の講義資料『AWSによるクラウド入門』が『コードで学ぶAWS入門』としてアップデートされたそうです！
今回は新たにハンズオン「AWS Batch を使って機械学習のハイパーパラメータサーチを並列化する」が追加されています。
tomomano.github.io/learn-aws-by-c… twitter.com/shion_honda/st…
7
Lightweight GANは確かにすごいですね。
140枚の画像で4時間くらい学習させるだけで、美味しそうな寿司🍣ができてきました！
github.com/lucidrains/lig…
8
結婚しました！
（現行法下では夫婦別姓を選ぶことができないので、公平を期すため名字をマリオカートで決めました。結果、相手方の名字をとることになりましたが、通名はこれまで通り「本田」を使います。今後もよろしくお願いいたします。）
9
出身研究室の先輩が東大計数工学科の講義の一部として担当した『AWSによるクラウド入門』の資料が公開されています。
クラウド入門者向けに簡潔かつ平易な言葉で書かれている貴重な資料です。5つのハンズオンで、最後は俳句を投稿するWebアプリを実装・デプロイします。
tomomano.gitlab.io/intro-aws/
10
良い論文の書き方
1. 研究と並行して書き進める
2. 最も重要なアイディアを定める
3. ホワイトボードで説明するような流れで
4. 1ページのイントロで問題設定と貢献を明確にする
5. 関連研究は最後
6. 例を使ってアイディアを素早く伝える
7. 他人に読んでもらって感想を聞く
microsoft.com/en-us/research…
11
「修士論文と学会論文はなぜ書き方が異なるのか」という観点から修論における各章の書き方の要点をまとめた記事。冒頭のリンク集もありがたいです。
これから執筆される方はぜひ。
itolab.is.ocha.ac.jp/~itot/message/…
12
今年はたくさん論文を読んだので、おもしろかった10本を厳選して振り返ってみました。
お正月休みにどうぞ！
2019年のおもしろかったDL/ML論文10選 qiita.com/shionhonda/ite…
13
オージス総研による自然言語処理の連載が素晴らしいです。
日本語の文書分類をテーマとして、BoW、TF-IDFなどの基礎からRasa NLUの使い方、BERT-jaのfine tuningなどを全3回で網羅しています。
はじめての自然言語処理 | オブジェクトの広場 ogis-ri.co.jp/otc/hiroba/tec… #オブジェクトの広場
14
DQN、A3Cなど強化学習の有名アルゴリズムのシンプルなPyTorch実装を集めたレポジトリ。
1アルゴリズムが1ファイル(最大150行！)で完結していて、勉強に役立ちそうです。
タスクはCartPole-v1で、CPUでも30秒で学習できるそうです。
github.com/seungeunrho/mi…
15
グラフでの深層学習について、全3部作の第1部を書きました！
最近出ていた複数のサーベイ論文を日本語でまとめたものです。
GNNまとめ(1): GCNの導入 qiita.com/shionhonda/ite… #Qiita
16
乱立する深層強化学習のアルゴリズムたちを、体系的に学べるようにまとめてみました。
深層強化学習アルゴリズムまとめ qiita.com/shionhonda/ite…
本田志温 / Machine Learning Engineer at Recruit Co., Ltd. / MSc in Computer Science / Tweets are my own