51
LLMの学習にRLHFが何故必要なのかは専門家も割と疑問に思ってる印象で、それに対するYoav Goldbergによる一つの回答。短くまとめると、「LLMが何を知っているかを知らない状態で『LLMに知らないことを知らないと答えるよう学習させる』のが教師あり学習では不可能だから」。 gist.github.com/yoavg/6bff0fec…
52
日本社会ですげえ嫌だと思ってることとして、会社などで若手だったり特にインターンなどを「子」と呼ぶ人が結構いるということがあって、個人的にはめちゃくちゃ失礼だと思うし、「プロフェッショナルな場ではみんな等しくプロフェッショナルとして扱えよ☺」という思いが大変に強い。
53
大学院にいた頃、結構有名な微分幾何の先生に、「Wittenでもめちゃめちゃ手を動かしてちゃんと計算してるのに、Wittenより雑魚いお前ら全人類（意訳）が計算せずに何かを理解できると思うな」と言われたのがとても印象に残ってる。むしろ学期を通じて、そのコースでそれしか記憶に残ってない☺️
54
前ツイートでAndrew Ngが「成果目標と同時にプロセス目標を立てると良い」と書いていて、成果目標は様々な要因で達成できないこともあるけど、「自分がやりさえすれば出来る」プロセス目標はモチベ保ちつつ成果に近づくのを助けてくれると思うので、新年の目標立てる際など参考にしてほしい☺
55
自分が博士で学んだこと、
- 世の中、凄い奴がたくさんいる
- そんな凄い奴でも知らないこと、間違えることはあるので、専門を極めれば自分でも出来ることがある
- 知らないことも一年全力で勉強すれば何か出来る
- 頭よりもまずは手を動かすのが絶対的正義
あたりで、専門知識とは？って感はある。
56
日本の会社のエンジニアの給与がまとまってるサイト見つけた。パッと見た感じ、GoogleとIndeedが高い。 opensalary.jp/companies
カミングフレーバー／チームS／9期／D3／自由人担当⚾
生成AIに興味があります☺
お仕事の相談や生成AIの話聞きたいみたいなやつはDMにお願いします。