26
人類、興味を持つ分野は変わりうるものなので、いつそれが起こっても対応出来るように数学と英語は勉強しておくべきと思っていたのだけれども、よく考えると30代半ばで数学と英語始めてアメリカの理系博士課程で何とかなってる人もいるので、より大事なのは"心の炎"を絶やさないことな気がしている☺️
27
RT、これ機械学習業界で誰でも知ってるレベルの強い人々は口を揃えて言ってる気がしていて、自分も大学院時代にクソ優秀な同級生に言われた「アイデアは安い。アイデア出す奴が偉いんじゃなくて、それをちゃんと動く形で実装した奴が偉い」というのはいつも心に留めつつ生きてる☺️
28
GAFAの思い出を少しだけ語っておくと、本社の研究チームは一度見ておくと良いカルチャーショックを受けられるというか、日本にはほぼいないレベルのクソ強い人々が10人くらいで一つのプロジェクトに取り組んでたりするので、「あ、同じ土俵で戦ったら絶対勝てねえ☺」というのが実感できる気がする。
29
エンジニア、「日本での生活が好き」という以外で日本で働く理由が無い職業というか、給料安いし、「お前、舐めとんのか？☺」という扱いを受けることも多いので、日本からいつでも脱出出来るように英語力を身につけることがとても大事だと思っている。
30
俺、金を稼ぐのに最適化しようとすると「GAFAのうちの2社を渡り歩いたAIエンジニアが教える、最強AI講座！」みたいな講座開いて情弱から金を巻き上げるみたいなのが良いと思うのだけれども、俺がやりたいのはそういうんじゃないんだよな。
───直接貢献してえんだよ、人類の進歩によ☺
31
Andrew Ngが「人間の経験のほとんどは非言語的で、元来言語だけから学べることはそんなに多くないと思われてきたが、巨大言語モデルは圧倒的な物量で学習することによって、言語だけでは学習しにくい非言語的経験もある程度学習している」的なことを書いてて、面白いですね☺ deeplearning.ai/the-batch/issu…
32
大学院留学界隈で割と多い考え方で「先人の時間を使うことを躊躇うな、そしてお前が先人となった時に同じ道を目指す人々のために時間を使ってやれ」というのがある気がしており、大学院留学に限らず難易度高いことに挑む時はとても重要な考え方な気がしていて、これ他界隈にも広まって欲しいと思う☺
33
5年おきくらいに専門分野は変えた方が楽しい（個人の感想です）と思っていて、そして専門分野を変える時は「仕事での必要性に応じて知識を身に着けていけばいい」みたいな感覚だと永遠に素人のままなので、基本的な教科書やら文献を死ぬ気で読み込んで専門家にしか出せない価値を出すのが良いと思う。
34
年をとってから新しいことを始める際の最大の障害は、脳の衰えなんかじゃなくて、もう若くないからというのを言い訳にして挑戦しないお前の弱い心なんだよ☺
35
最近、ノイズが巷に溢れすぎていて有益な情報にたどり着くのが難しくなってる気がするのだけれども、自分が全力で推す機械学習ちゃんとやりたい人のおすすめルートは、
1. Andrew NgのCourseraのMLコース
2. Andrew NgのStanfordのMLコース
3. Kevin MurphyのMLaPP
なんだよな。
36
Google（本社）についてとても良いと思ったところとして、「どんだけ優秀な人でもハラスメントなどのヤバいことをするとあっさりクビになるし、むしろ地位が高い人ほど正しい行いが求められる」というところで、自分に関わりがある範囲内でも偉い人が二人くらいmisconductでクビになった気がする☺️
37
機械学習エンジニア、基礎が出来てないと死ぬ上にその基礎を学ぶ難易度が結構高いし、最新の知識のアップデートを止めた時点でも死ぬし、にも関わらずプロジェクトの博打性が大変に高く成果が出ない時は出ないので、めちゃ大変な職業じゃないですか？？？
38
緊急事態宣言でみんな病みそうなので、The Science of Well-Beingで学んだ「科学的に効果が示されている幸福度を上げる方法」を挙げておく。
・人と話す
・適度に運動する
・他人にお金を使う
・時間的余裕を持つ
・十分な睡眠をとる
・良い経験を掘り返す
・感謝の気持ちを持つ
・SNSの時間を減らす
39
俺、新卒で入った会社では研究開発とかやりたかったのだけれども、「お前は優秀だからこのプロジェクトを何とかしてほしい」みたいなことを言われ研究要素何もない炎上プロジェクトにぶっこまれてブチ切れて辞めたみたいなところがあり、この記事にはとても共感できる☺ news.livedoor.com/article/detail…
40
GAFAのエンジニア面接、コードが書けるかどうかよりとにかく面接準備をしたかどうかを問われている気がしていて、自分の大学院の同期で言うとTomとChrisが一番コード書けてコミュ力高いにも関わらず軒並み落ちたのに対し、只管にLeetCodeで練習してた人が内定貰っていて、なんだかなあと思った。
41
タリバンが博士号など無価値と言っているようだけれども、日本だと博士号はマイナスだし、俺の博士号取得後の日本での就活のアレなエピソード、聞きたい？☺️
42
Andrew Ngなど機械学習・AI業界の著名人が挙げる「絶対に読むべき13の機械学習・AI論文」がまとめられている。Andrew Ngが薦めてる、医療画像からの病気の検出で深層学習と人間のパフォーマンスの比較についてレビューしてるやつは俺も読みたい。 blog.re-work.co/ai-papers-sugg…
43
Stanfordの機械学習のシステムデザインの講義ノート＆スライドが公開されている。 stanford-cs329s.github.io/syllabus.html
44
日本社会ですげえ嫌だと思ってることとして、会社などで若手だったり特にインターンなどを「子」と呼ぶ人が結構いるということがあって、個人的にはめちゃくちゃ失礼だと思うし、「プロフェッショナルな場ではみんな等しくプロフェッショナルとして扱えよ☺」という思いが大変に強い。
45
GAFAのエンジニアの新卒採用で一番辛いのは面接まで辿り着くことで、基本的には内部推薦が無いと面接に呼ばれないので、中に「友達」がいない人種的マイノリティはここでとても苦戦することになる。内部推薦についてはモラル崩壊してる気がしていて、ただの「友達」を推薦する人が結構いる印象。
46
LLMの学習にRLHFが何故必要なのかは専門家も割と疑問に思ってる印象で、それに対するYoav Goldbergによる一つの回答。短くまとめると、「LLMが何を知っているかを知らない状態で『LLMに知らないことを知らないと答えるよう学習させる』のが教師あり学習では不可能だから」。 gist.github.com/yoavg/6bff0fec…
47
前ツイートでAndrew Ngが「成果目標と同時にプロセス目標を立てると良い」と書いていて、成果目標は様々な要因で達成できないこともあるけど、「自分がやりさえすれば出来る」プロセス目標はモチベ保ちつつ成果に近づくのを助けてくれると思うので、新年の目標立てる際など参考にしてほしい☺
48
自分が博士で学んだこと、
- 世の中、凄い奴がたくさんいる
- そんな凄い奴でも知らないこと、間違えることはあるので、専門を極めれば自分でも出来ることがある
- 知らないことも一年全力で勉強すれば何か出来る
- 頭よりもまずは手を動かすのが絶対的正義
あたりで、専門知識とは？って感はある。
49
日本の会社のエンジニアの給与がまとまってるサイト見つけた。パッと見た感じ、GoogleとIndeedが高い。 opensalary.jp/companies
50
ChatGPTを様々なタスク、モダリティ、言語で定量的に評価した論文。ChatGPTがzero-shotで何がどの程度できるのか見えて面白いけれども、下のテーブルのように多くのタスクで教師あり学習のSotAには（当然ながら？）遠く及ばないので、使う際はちゃんと定量評価するのが重要。
arxiv.org/abs/2302.04023
カミングフレーバー／チームS／9期／D3／自由人担当⚾
生成AIに興味があります☺
お仕事の相談や生成AIの話聞きたいみたいなやつはDMにお願いします。