1
I am the author of this game, well much younger version of me during high school, written entirely in 6502 assembly, fitting within the 8KB RAM of the original PET. You might be able to guess my age… twitter.com/andrew_randall…
2
ところでBERTからGPT4まで急速な進化を遂げたLLMの進化ですが、今後は少なくとも事前学習モデルの進化のスピードは周囲の期待に反して全般的には遅くなるでしょう。それは、学習に用いるスパコンが世界の汎用スパコンのトップレベルに急速に追いついてしまったからです。
3
これは我が国にとって大問題で憂慮します。分野の人気のバロメーターは入学者数であるべきで、倍率であるべきではない。UC Berkeleyを含む米国の大学は基本的にそう。定員を柔軟に変更できない現行制度は数年後に致命的な高度人材不足をもたらし、このままでは情報分野の日米差は拡大するばかり。 twitter.com/tonets/status/…
4
東京工業大学、東北大学、富士通株式会社、理化学研究所は、「富岳」政策対応枠において、スーパーコンピュータ「富岳」（以下、「富岳」という）を活用した大規模言語モデル（Large Language Model, LLM）[用語1]の分散並列学習手法の研究開発を2023年5月から実施します。titech.ac.jp/news/2023/0667…
5
懸念していた通りの巨大LLM学習に関する国際規制の動きが始まりました。このままでは日本は「持たざるもの」になる危険性が。理研や産総研などの国研のAIとスパコン能力が民間と結集していち早くその能力を獲得すべきでしょう。R-CCSではその準備は出来ています。 twitter.com/garymarcus/sta…
6
#Fugaku has become No.1 in all the supercomputer performance benchmarks, #Top500, #HPCG, HPL-AI, and the #Graph500 for the first time in history as a single machine simultaneously. Thanks for putting up the list! twitter.com/HPC_Guru/statu…
7
英語ではすでに呟いておりますが、この度スパコン界の最高峰賞である「スパコンの父」の名を冠したIEEE-CS シーモア・クレイ賞を受賞させていただきました。これも、長年の皆様のサポートがあってのことだと認識しており、大変感謝しております。 riken.jp/pr/news/2022/2…
8
立場上発言出来ない事は多々あるも、自分が予見してた中では日本にとっては最悪のシナリオが進みつつあります。因果推論の大家で2011年のチューリング賞受賞のPearl先生が「AIのマンハッタンプロジェクトを支持」と表明されました。これは80年前のアインシュタインらの書簡に匹敵します。… twitter.com/i/web/status/1…
9
私個人は、このような状況に対応する為「日本語に特化したLLM」を作るべしと言う反射的反応は意味が分かりませんが、日本が持つ知識アセットを活かしたLLMを生成する能力を日本が基本的には持っていない、つまりhave… twitter.com/i/web/status/1…
10
@umiyuki_ai 最適化の研究を進めていて、それが上手く行けば一年ぐらいになりますが、それでも一年です。富岳は演算よりHPC一般のボトルネックであるメモリ性能に資源を割いているので仕方がありません。GPT4を2-3ヶ月で学習させるには、(できれば富岳の隣に)それに特化したGPUスパコンを構築する必要があります。… twitter.com/i/web/status/1…
11
御意です。ただ、GPT4並のLLMの学習を半精度2エクサの性能の富岳で行うと、全てを占有しても半年から多分一年ぐらいかかると推定しています。OpenAI+MSは３ヶ月で行いました；これには8エクサ程のLLM専用スパコンが必要ですが、富岳やABCI並みの技術と経験をもつ施設や設計開発・運用チームが必要です twitter.com/sunakichiwide/…
12
という訳で、「富岳の横に今直ぐ大規模GPUスパコンを作って1-2年後に置いてもその頃にはxxxは遥かに先を行ってる」という事は、少なくとも学習基盤に関しては無いので、ご安心下さい。勿論他の部分もありますが、だからこそ今行動を起こすだけでなく、短期・中期・長期の正しい状況の予測と計画が必要… twitter.com/i/web/status/1…
13
今朝報道されましたが、この度紫綬褒章を拝受することとなりました。riken.jp/pr/news/2022/2… 大変光栄であると共に、長年共同でスパコン研究開発に携わってきて下さった多数の方々、所属機関の理研・東工大・産総研・東大、さらにはサポートを頂いた国民の皆様に深い感謝の意を表したい所存です。
14
The 'Myths' paper is out: Satoshi Matsuoka, Jens Domke, Mohamed Wahib, Aleksandr Drozd, Torsten Hoefler. "Myths and Legends in High-Performance Computing" arxiv.org/abs/2301.02432" undergoing peer review. Hopefully the community will be engaged in yes/no discussions on Twitter!
15
例えばGPT4学習のスパコンは一万GPU(一説には2万5千)構成と言われますが、これはTop500では世界三位のスパコンLUMIと同じです。一方GPT3からGPT4への計算規模は60倍で、仮にGPT5が同様の計算規模の進化が必要だとすると、60万GPUのマシンが必要ですが、400MWの電力が必要になります。
16
個人的には安全保障上Aを直ぐに、しかも先ずは100億ででも。計算資源は今直ぐ産総研ABCIを実質割当て、かつ拡張も同時に。理研でも富岳を用いつつ密結合したLLM学習マシンを横に構築しABCIとダークファイバで3.2Tbpsで直結しデータやモデルを共有。AIP, AIRC, NICT, 大学や民間の言語AIコミュ総動員 twitter.com/miitame/status…
17
Here is the answer why we don’t have logos on the center front panels of #Fugaku... we will have more display contents as we go.
18
We just announced the Fugaku config at a press briefing. The whole system is 158,976 A64FX nodes, and running at 2.2Ghz peak performances for 64bitFP/32bitFP/16bitFP/8bitINT are 537Peta/1.07Exa/2.15Exa/4.30Exa (FL)ops respectively, as well as the total memory BW 163 PetaByte/s.
19
「なぜ薬名を公開しないか」ですが、マスクのような買占め、製薬会社の特許権の喪失による治験の不実行などが危惧され、また、やはり薬は実験・治験を経て承認される必要があります。逆に、製薬会社が絞られた候補薬で早期に治験に入れるよう、理研の生命系ラボや医療関係者や役所と協力する所存です twitter.com/ProfMatsuoka/s…
20
仮にA100->H100で学習速度が三倍になっても、20万ノード130MWです。コストも一兆円近いです。そのようなスパコンを作って、数ヶ月も完璧に運用できる技術はありません。
21
実際我々は社会危機に対し行動変容し、それを経済的に低コストにする為のチューニングを繰り返して来た。9/11で飛行機のセキュリティは大混乱になったが、今の形で定着し、それは昔と比べると遥かに厳しい。交通戦争の影響で車ではシートベルトやABS、エアバッグが標準化した。今回も同様である twitter.com/ProfMatsuoka/s…
22
目標としては、GPT3.x並みの1700憶パラメタのモデルを富岳の1/5程度を使って一月程度で事前学習モデルを形成します。勿論、富岳ではその為に多くの高速化の技術を既に開発中で、それらの技術は今後の各機関の学習専用スパコンやFugakuNEXTなどに活かされるでしょう。
23
24
Here is what #Fugaku looks like from up front. Yes, the obvious motif of Mt. Fuji, impressionist style, or "Kasumi-Fuji" (Mt. Fuji fogged by mist). Notice, out of the 12 rows with a front panel each, the center four do not have the Fugaku logo--- can someone guess why?
25
70年台位迄はオフィスから公共交通機関まで喫煙は自由だった。その時代にタイムスリップし「基本公共の場は全て禁煙になり、吸えるのは自宅位」としたら袋叩きだったろう。それが今そのように行動変容出来たのは、受動喫煙の絶大な危険性が科学的に立証され、それを社会が受容したからである。 twitter.com/ProfMatsuoka/s…
理研計算科学研究センター長 Director RIKEN R-CCS, 東工大特定教授 Prof. Tokyo Tech. ACM/ISC/JSSST/IPSJ Fellows, IEEE Fernbach(2014)&Cray(2022) Awards, 令4紫綬褒章 Purple Ribbon Medal 2022