1
Google（本社）についてとても良いと思ったところとして、「どんだけ優秀な人でもハラスメントなどのヤバいことをするとあっさりクビになるし、むしろ地位が高い人ほど正しい行いが求められる」というところで、自分に関わりがある範囲内でも偉い人が二人くらいmisconductでクビになった気がする☺️
2
32歳高卒TOEFL14点で渡米し、高校数学から分からんのでチャート式から始めて、8年くらいかけてアメリカのトップスクールのCSの博士課程に入学した例のヤバい人、40代半ばで遂に博士とったらしいのだけれども、感想聞いてみたら「博士とっても何も分からんことだけ分かりました」で、最高にロック☺️
3
LLMの学習にRLHFが何故必要なのかは専門家も割と疑問に思ってる印象で、それに対するYoav Goldbergによる一つの回答。短くまとめると、「LLMが何を知っているかを知らない状態で『LLMに知らないことを知らないと答えるよう学習させる』のが教師あり学習では不可能だから」。 gist.github.com/yoavg/6bff0fec…
4
ChatGPTで実サービスを作ろうとしてみての現時点での感想：
- 0→80%を作るのは楽
- 80%以上を目指すなら専門性（ML＆ドメイン＆プロダクト）が必要
- モデルを評価する仕事は絶対に無くならない
- 3.5と4は結構違う
- 過度なプロンプトエンジニアリングはそのうち不要になる
- 人はやがて死ぬ
5
プロンプトエンジニアリング、訳の分からん人のポエムよりも公式の話を聞いた方が良いと思うので、公式のベストプラクティス集を貼っておく。ちょっと古いけど未だに有用そうなテクニックが多いのと、community forumのリンクもついてるので、それ見ると捗りそう。 help.openai.com/en/articles/66…
6
巨大言語モデルの凄さを一番実感してるのはNLPerの皆さんだと思うのだけれども、訳の分からん「ウェ〜〜〜イ☺️☺️☺️」みたいな人たちが世の中の期待値を上げるめちゃくちゃな発信ばかりするせいで、バランスをとるために保守的な発信以外しづらくなるみたいな不条理に直面してない？俺は直面してる。
7
RT、これ機械学習業界で誰でも知ってるレベルの強い人々は口を揃えて言ってる気がしていて、自分も大学院時代にクソ優秀な同級生に言われた「アイデアは安い。アイデア出す奴が偉いんじゃなくて、それをちゃんと動く形で実装した奴が偉い」というのはいつも心に留めつつ生きてる☺️
8
ChatGPTを様々なタスク、モダリティ、言語で定量的に評価した論文。ChatGPTがzero-shotで何がどの程度できるのか見えて面白いけれども、下のテーブルのように多くのタスクで教師あり学習のSotAには（当然ながら？）遠く及ばないので、使う際はちゃんと定量評価するのが重要。
arxiv.org/abs/2302.04023
9
Andrew Ngが「人間の経験のほとんどは非言語的で、元来言語だけから学べることはそんなに多くないと思われてきたが、巨大言語モデルは圧倒的な物量で学習することによって、言語だけでは学習しにくい非言語的経験もある程度学習している」的なことを書いてて、面白いですね☺ deeplearning.ai/the-batch/issu…
10
これミスリーディングというか、赤の破線はランダムな予測の精度なので「飽和していた精度が突然上がり始めた」という話ではなく、「データとモデルサイズを増やしたらある時点でランダムでない出力を出すようになった」という話。難しいタスクやる時の学習は大体こんな感じな気がする。 twitter.com/takuyakitagawa…
11
社会人何年かやって思うんですけど、「権力を持つ無能」と「上司へのアピールが上手くて仕事しない人」が自分の中での二大一緒に働きたくない人種で、一緒に仕事するとやる気がゴリゴリ削られていくので大変ではあるものの、こういう人々は世渡り上手いのでどうにも排除できないみたいな感があった。
12
いろんな国のエンジニアの給与見てたのだけれども、日本が低いというよりアメリカが高い印象で、イギリスとかシンガポールとか見ても日本とそんなに大差無いんだよな、という何となく思っていた話がこちらに数字も添えてまとまってた。アメリカの給与は日本の大体3倍。 codesubmit.io/blog/software-…
13
日本の会社のエンジニアの給与がまとまってるサイト見つけた。パッと見た感じ、GoogleとIndeedが高い。 opensalary.jp/companies
14
俺、新卒で入った会社では研究開発とかやりたかったのだけれども、「お前は優秀だからこのプロジェクトを何とかしてほしい」みたいなことを言われ研究要素何もない炎上プロジェクトにぶっこまれてブチ切れて辞めたみたいなところがあり、この記事にはとても共感できる☺ news.livedoor.com/article/detail…
15
最近、機械学習を独学できてない人に結構な数遭遇しているので、おすすめの勉強法を紹介（定期）しておくのだけれども、
1. CourseraのMachine Learningの講座 coursera.org/specialization…
2. StanfordのCS229 youtube.com/playlist?list=…
の2つはMLエンジニアになりたければ何が何でもやるべきだと思う。
16
大学院にいた頃、結構有名な微分幾何の先生に、「Wittenでもめちゃめちゃ手を動かしてちゃんと計算してるのに、Wittenより雑魚いお前ら全人類（意訳）が計算せずに何かを理解できると思うな」と言われたのがとても印象に残ってる。むしろ学期を通じて、そのコースでそれしか記憶に残ってない☺️
17
「ギフテッド」というのが話題になってて、ワイ割と「天才」に囲まれて育ったので書くんですけど、こういう人々は
1. 何かをやると決めた時のものすごい集中力
2. 興味がある分野への圧倒的に深い理解
3. 頭の中で考えるだけで終わらせずちゃんと手を動かす
という点で共通してる印象はある。
18
Stanfordの機械学習のシステムデザインの講義ノート＆スライドが公開されている。 stanford-cs329s.github.io/syllabus.html
19
何をやるにしてもまずは知識を身につけることが重要で、その分野で有名な本はとりあえず「全部」読めと思うし、自分が「強い」と思う人々は大体それをやっているし、みんな全然本を読んでないのでそれをやっただけでも割と抜きん出た存在になれるという印象を持っている。
20
三角関数不要論が話題になる度、高卒から34歳で高校数学をチャート式から始めて、今は40代半ばでアメリカのトップスクールの自然言語処理の博士課程にいるアイツを思い出してしまうので、高校で何を習うかなんて比較的些細な問題で、大切なのは学びを止めないことなんだと思ってしまったりするよね☺️
21
大学院留学界隈で割と多い考え方で「先人の時間を使うことを躊躇うな、そしてお前が先人となった時に同じ道を目指す人々のために時間を使ってやれ」というのがある気がしており、大学院留学に限らず難易度高いことに挑む時はとても重要な考え方な気がしていて、これ他界隈にも広まって欲しいと思う☺
22
地位が高い人ほど自分で意思決定を行わなければならないので知識が必要だと思うのだけれども、多くの人はどこかの段階で知識の更新を止め、サンプル数の少ない「自身の経験」で知識不足を補い始める印象があり、そうならないように気をつけたいと思う今日この頃。
23
人類、興味を持つ分野は変わりうるものなので、いつそれが起こっても対応出来るように数学と英語は勉強しておくべきと思っていたのだけれども、よく考えると30代半ばで数学と英語始めてアメリカの理系博士課程で何とかなってる人もいるので、より大事なのは"心の炎"を絶やさないことな気がしている☺️
24
前ツイートでAndrew Ngが「成果目標と同時にプロセス目標を立てると良い」と書いていて、成果目標は様々な要因で達成できないこともあるけど、「自分がやりさえすれば出来る」プロセス目標はモチベ保ちつつ成果に近づくのを助けてくれると思うので、新年の目標立てる際など参考にしてほしい☺
25
優秀なエンジニア、社内の禁止事項が一つ増えるたびに採用できる確率が半減し、離職する確率が倍になるということを皆さんもうちょっと認識してほしい☺
カミングフレーバー／チームS／9期／D3／自由人担当⚾
生成AIに興味があります☺
お仕事の相談や生成AIの話聞きたいみたいなやつはDMにお願いします。