26
RT、これ機械学習業界で誰でも知ってるレベルの強い人々は口を揃えて言ってる気がしていて、自分も大学院時代にクソ優秀な同級生に言われた「アイデアは安い。アイデア出す奴が偉いんじゃなくて、それをちゃんと動く形で実装した奴が偉い」というのはいつも心に留めつつ生きてる☺️
27
俺、新卒で入った会社では研究開発とかやりたかったのだけれども、「お前は優秀だからこのプロジェクトを何とかしてほしい」みたいなことを言われ研究要素何もない炎上プロジェクトにぶっこまれてブチ切れて辞めたみたいなところがあり、この記事にはとても共感できる☺ news.livedoor.com/article/detail…
28
GAFAの思い出を少しだけ語っておくと、本社の研究チームは一度見ておくと良いカルチャーショックを受けられるというか、日本にはほぼいないレベルのクソ強い人々が10人くらいで一つのプロジェクトに取り組んでたりするので、「あ、同じ土俵で戦ったら絶対勝てねえ☺」というのが実感できる気がする。
29
Andrew Ngが「人間の経験のほとんどは非言語的で、元来言語だけから学べることはそんなに多くないと思われてきたが、巨大言語モデルは圧倒的な物量で学習することによって、言語だけでは学習しにくい非言語的経験もある程度学習している」的なことを書いてて、面白いですね☺ deeplearning.ai/the-batch/issu…
30
ChatGPTで実サービスを作ろうとしてみての現時点での感想：
- 0→80%を作るのは楽
- 80%以上を目指すなら専門性（ML＆ドメイン＆プロダクト）が必要
- モデルを評価する仕事は絶対に無くならない
- 3.5と4は結構違う
- 過度なプロンプトエンジニアリングはそのうち不要になる
- 人はやがて死ぬ
31
最近、機械学習を独学できてない人に結構な数遭遇しているので、おすすめの勉強法を紹介（定期）しておくのだけれども、
1. CourseraのMachine Learningの講座 coursera.org/specialization…
2. StanfordのCS229 youtube.com/playlist?list=…
の2つはMLエンジニアになりたければ何が何でもやるべきだと思う。
32
タリバンが博士号など無価値と言っているようだけれども、日本だと博士号はマイナスだし、俺の博士号取得後の日本での就活のアレなエピソード、聞きたい？☺️
33
人類、興味を持つ分野は変わりうるものなので、いつそれが起こっても対応出来るように数学と英語は勉強しておくべきと思っていたのだけれども、よく考えると30代半ばで数学と英語始めてアメリカの理系博士課程で何とかなってる人もいるので、より大事なのは"心の炎"を絶やさないことな気がしている☺️
34
機械学習エンジニア、基礎が出来てないと死ぬ上にその基礎を学ぶ難易度が結構高いし、最新の知識のアップデートを止めた時点でも死ぬし、にも関わらずプロジェクトの博打性が大変に高く成果が出ない時は出ないので、めちゃ大変な職業じゃないですか？？？
35
エンジニア、「日本での生活が好き」という以外で日本で働く理由が無い職業というか、給料安いし、「お前、舐めとんのか？☺」という扱いを受けることも多いので、日本からいつでも脱出出来るように英語力を身につけることがとても大事だと思っている。
36
Andrew Ngなど機械学習・AI業界の著名人が挙げる「絶対に読むべき13の機械学習・AI論文」がまとめられている。Andrew Ngが薦めてる、医療画像からの病気の検出で深層学習と人間のパフォーマンスの比較についてレビューしてるやつは俺も読みたい。 blog.re-work.co/ai-papers-sugg…
37
5年おきくらいに専門分野は変えた方が楽しい（個人の感想です）と思っていて、そして専門分野を変える時は「仕事での必要性に応じて知識を身に着けていけばいい」みたいな感覚だと永遠に素人のままなので、基本的な教科書やら文献を死ぬ気で読み込んで専門家にしか出せない価値を出すのが良いと思う。
38
GAFAのエンジニア面接、コードが書けるかどうかよりとにかく面接準備をしたかどうかを問われている気がしていて、自分の大学院の同期で言うとTomとChrisが一番コード書けてコミュ力高いにも関わらず軒並み落ちたのに対し、只管にLeetCodeで練習してた人が内定貰っていて、なんだかなあと思った。
39
Uberがコストカットとコアビジネスに集中するためにAI研究所を閉じるとのこと。機械学習勢には世知辛い世の中や…😢 cnbc.com/2020/05/18/ube…
40
大学院留学界隈で割と多い考え方で「先人の時間を使うことを躊躇うな、そしてお前が先人となった時に同じ道を目指す人々のために時間を使ってやれ」というのがある気がしており、大学院留学に限らず難易度高いことに挑む時はとても重要な考え方な気がしていて、これ他界隈にも広まって欲しいと思う☺
41
社会には自信を持ったバ◯はウンザリするくらいたくさんいるし、自信無さげだけど良いこと言う人も同様にめちゃめちゃ多いので、自信みたいな驚くほど本質的でないものに流されるのは人生損してるんじゃないかと思いますね☺
42
巨大言語モデルの凄さを一番実感してるのはNLPerの皆さんだと思うのだけれども、訳の分からん「ウェ〜〜〜イ☺️☺️☺️」みたいな人たちが世の中の期待値を上げるめちゃくちゃな発信ばかりするせいで、バランスをとるために保守的な発信以外しづらくなるみたいな不条理に直面してない？俺は直面してる。
43
最近、ノイズが巷に溢れすぎていて有益な情報にたどり着くのが難しくなってる気がするのだけれども、自分が全力で推す機械学習ちゃんとやりたい人のおすすめルートは、
1. Andrew NgのCourseraのMLコース
2. Andrew NgのStanfordのMLコース
3. Kevin MurphyのMLaPP
なんだよな。
44
Google（本社）についてとても良いと思ったところとして、「どんだけ優秀な人でもハラスメントなどのヤバいことをするとあっさりクビになるし、むしろ地位が高い人ほど正しい行いが求められる」というところで、自分に関わりがある範囲内でも偉い人が二人くらいmisconductでクビになった気がする☺️
45
Stanfordの機械学習のシステムデザインの講義ノート＆スライドが公開されている。 stanford-cs329s.github.io/syllabus.html
46
いろんな国のエンジニアの給与見てたのだけれども、日本が低いというよりアメリカが高い印象で、イギリスとかシンガポールとか見ても日本とそんなに大差無いんだよな、という何となく思っていた話がこちらに数字も添えてまとまってた。アメリカの給与は日本の大体3倍。 codesubmit.io/blog/software-…
47
GAFAのエンジニアの新卒採用で一番辛いのは面接まで辿り着くことで、基本的には内部推薦が無いと面接に呼ばれないので、中に「友達」がいない人種的マイノリティはここでとても苦戦することになる。内部推薦についてはモラル崩壊してる気がしていて、ただの「友達」を推薦する人が結構いる印象。
48
ChatGPTを様々なタスク、モダリティ、言語で定量的に評価した論文。ChatGPTがzero-shotで何がどの程度できるのか見えて面白いけれども、下のテーブルのように多くのタスクで教師あり学習のSotAには（当然ながら？）遠く及ばないので、使う際はちゃんと定量評価するのが重要。
arxiv.org/abs/2302.04023
49
社会人何年かやって思うんですけど、「権力を持つ無能」と「上司へのアピールが上手くて仕事しない人」が自分の中での二大一緒に働きたくない人種で、一緒に仕事するとやる気がゴリゴリ削られていくので大変ではあるものの、こういう人々は世渡り上手いのでどうにも排除できないみたいな感があった。
50
俺、金を稼ぐのに最適化しようとすると「GAFAのうちの2社を渡り歩いたAIエンジニアが教える、最強AI講座！」みたいな講座開いて情弱から金を巻き上げるみたいなのが良いと思うのだけれども、俺がやりたいのはそういうんじゃないんだよな。
───直接貢献してえんだよ、人類の進歩によ☺
カミングフレーバー／チームS／9期／D3／自由人担当⚾
生成AIに興味があります☺
お仕事の相談や生成AIの話聞きたいみたいなやつはDMにお願いします。