51
巨大言語モデルの凄さを一番実感してるのはNLPerの皆さんだと思うのだけれども、訳の分からん「ウェ〜〜〜イ☺️☺️☺️」みたいな人たちが世の中の期待値を上げるめちゃくちゃな発信ばかりするせいで、バランスをとるために保守的な発信以外しづらくなるみたいな不条理に直面してない？俺は直面してる。
52
プロンプトエンジニアリング、訳の分からん人のポエムよりも公式の話を聞いた方が良いと思うので、公式のベストプラクティス集を貼っておく。ちょっと古いけど未だに有用そうなテクニックが多いのと、community forumのリンクもついてるので、それ見ると捗りそう。 help.openai.com/en/articles/66…
53
ChatGPTで実サービスを作ろうとしてみての現時点での感想：
- 0→80%を作るのは楽
- 80%以上を目指すなら専門性（ML＆ドメイン＆プロダクト）が必要
- モデルを評価する仕事は絶対に無くならない
- 3.5と4は結構違う
- 過度なプロンプトエンジニアリングはそのうち不要になる
- 人はやがて死ぬ
54
LLMの学習にRLHFが何故必要なのかは専門家も割と疑問に思ってる印象で、それに対するYoav Goldbergによる一つの回答。短くまとめると、「LLMが何を知っているかを知らない状態で『LLMに知らないことを知らないと答えるよう学習させる』のが教師あり学習では不可能だから」。 gist.github.com/yoavg/6bff0fec…
55
32歳高卒TOEFL14点で渡米し、高校数学から分からんのでチャート式から始めて、8年くらいかけてアメリカのトップスクールのCSの博士課程に入学した例のヤバい人、40代半ばで遂に博士とったらしいのだけれども、感想聞いてみたら「博士とっても何も分からんことだけ分かりました」で、最高にロック☺️
56
Google（本社）についてとても良いと思ったところとして、「どんだけ優秀な人でもハラスメントなどのヤバいことをするとあっさりクビになるし、むしろ地位が高い人ほど正しい行いが求められる」というところで、自分に関わりがある範囲内でも偉い人が二人くらいmisconductでクビになった気がする☺️
カミングフレーバー／チームS／9期／D3／自由人担当⚾
生成AIに興味があります☺
お仕事の相談や生成AIの話聞きたいみたいなやつはDMにお願いします。