1
目標としては、GPT3.x並みの1700憶パラメタのモデルを富岳の1/5程度を使って一月程度で事前学習モデルを形成します。勿論、富岳ではその為に多くの高速化の技術を既に開発中で、それらの技術は今後の各機関の学習専用スパコンやFugakuNEXTなどに活かされるでしょう。
2
東京工業大学、東北大学、富士通株式会社、理化学研究所は、「富岳」政策対応枠において、スーパーコンピュータ「富岳」（以下、「富岳」という）を活用した大規模言語モデル（Large Language Model, LLM）[用語1]の分散並列学習手法の研究開発を2023年5月から実施します。titech.ac.jp/news/2023/0667…
3
という訳で、「富岳の横に今直ぐ大規模GPUスパコンを作って1-2年後に置いてもその頃にはxxxは遥かに先を行ってる」という事は、少なくとも学習基盤に関しては無いので、ご安心下さい。勿論他の部分もありますが、だからこそ今行動を起こすだけでなく、短期・中期・長期の正しい状況の予測と計画が必要… twitter.com/i/web/status/1…
4
仮にA100->H100で学習速度が三倍になっても、20万ノード130MWです。コストも一兆円近いです。そのようなスパコンを作って、数ヶ月も完璧に運用できる技術はありません。
5
例えばGPT4学習のスパコンは一万GPU(一説には2万5千)構成と言われますが、これはTop500では世界三位のスパコンLUMIと同じです。一方GPT3からGPT4への計算規模は60倍で、仮にGPT5が同様の計算規模の進化が必要だとすると、60万GPUのマシンが必要ですが、400MWの電力が必要になります。
6
ところでBERTからGPT4まで急速な進化を遂げたLLMの進化ですが、今後は少なくとも事前学習モデルの進化のスピードは周囲の期待に反して全般的には遅くなるでしょう。それは、学習に用いるスパコンが世界の汎用スパコンのトップレベルに急速に追いついてしまったからです。
7
@umiyuki_ai 最適化の研究を進めていて、それが上手く行けば一年ぐらいになりますが、それでも一年です。富岳は演算よりHPC一般のボトルネックであるメモリ性能に資源を割いているので仕方がありません。GPT4を2-3ヶ月で学習させるには、(できれば富岳の隣に)それに特化したGPUスパコンを構築する必要があります。… twitter.com/i/web/status/1…
8
立場上発言出来ない事は多々あるも、自分が予見してた中では日本にとっては最悪のシナリオが進みつつあります。因果推論の大家で2011年のチューリング賞受賞のPearl先生が「AIのマンハッタンプロジェクトを支持」と表明されました。これは80年前のアインシュタインらの書簡に匹敵します。… twitter.com/i/web/status/1…
9
おおっ、Time誌が報道してます。やはり件のOpen Letterホンモノかも。だとすると現代のラッセル-アインシュタイン宣言ですな。 twitter.com/masahirochaen/…
10
懸念していた通りの巨大LLM学習に関する国際規制の動きが始まりました。このままでは日本は「持たざるもの」になる危険性が。理研や産総研などの国研のAIとスパコン能力が民間と結集していち早くその能力を獲得すべきでしょう。R-CCSではその準備は出来ています。 twitter.com/garymarcus/sta…
11
御意です。ただ、GPT4並のLLMの学習を半精度2エクサの性能の富岳で行うと、全てを占有しても半年から多分一年ぐらいかかると推定しています。OpenAI+MSは３ヶ月で行いました；これには8エクサ程のLLM専用スパコンが必要ですが、富岳やABCI並みの技術と経験をもつ施設や設計開発・運用チームが必要です twitter.com/sunakichiwide/…
12
私個人は、このような状況に対応する為「日本語に特化したLLM」を作るべしと言う反射的反応は意味が分かりませんが、日本が持つ知識アセットを活かしたLLMを生成する能力を日本が基本的には持っていない、つまりhave… twitter.com/i/web/status/1…
13
個人的には安全保障上Aを直ぐに、しかも先ずは100億ででも。計算資源は今直ぐ産総研ABCIを実質割当て、かつ拡張も同時に。理研でも富岳を用いつつ密結合したLLM学習マシンを横に構築しABCIとダークファイバで3.2Tbpsで直結しデータやモデルを共有。AIP, AIRC, NICT, 大学や民間の言語AIコミュ総動員 twitter.com/miitame/status…
14
これは我が国にとって大問題で憂慮します。分野の人気のバロメーターは入学者数であるべきで、倍率であるべきではない。UC Berkeleyを含む米国の大学は基本的にそう。定員を柔軟に変更できない現行制度は数年後に致命的な高度人材不足をもたらし、このままでは情報分野の日米差は拡大するばかり。 twitter.com/tonets/status/…
15
The 'Myths' paper is out: Satoshi Matsuoka, Jens Domke, Mohamed Wahib, Aleksandr Drozd, Torsten Hoefler. "Myths and Legends in High-Performance Computing" arxiv.org/abs/2301.02432" undergoing peer review. Hopefully the community will be engaged in yes/no discussions on Twitter!
16
英語ではすでに呟いておりますが、この度スパコン界の最高峰賞である「スパコンの父」の名を冠したIEEE-CS シーモア・クレイ賞を受賞させていただきました。これも、長年の皆様のサポートがあってのことだと認識しており、大変感謝しております。 riken.jp/pr/news/2022/2…
17
今朝報道されましたが、この度紫綬褒章を拝受することとなりました。riken.jp/pr/news/2022/2… 大変光栄であると共に、長年共同でスパコン研究開発に携わってきて下さった多数の方々、所属機関の理研・東工大・産総研・東大、さらにはサポートを頂いた国民の皆様に深い感謝の意を表したい所存です。
18
I am the author of this game, well much younger version of me during high school, written entirely in 6502 assembly, fitting within the 8KB RAM of the original PET. You might be able to guess my age… twitter.com/andrew_randall…
19
私の長年の共同研究者であり、先輩・友人の兄弟の中島浩先生が昨晩事故で亡くなられたという新聞報道がありました。信じられません。sanspo.com/article/202110…
It is reported that, my longtime collaborator and friend, Prof. Hiroshi Nakashima of Kyoto U, passed away due to traffic accident.
20
そんなことはありません。治療薬探索など他5つのコロナ課題が動いていますし、それ以外にもこちらの成果創出プログラムが進んでいます。r-ccs.riken.jp/jp/fugaku/prom… ただ、COVID-19はエアロソル感染リスクが大なので、その防止を含めての研究結果を、国の要請もあり、いち早く皆様にお伝えしているのです twitter.com/Ja_bow/status/…
21
22
「なぜ薬名を公開しないか」ですが、マスクのような買占め、製薬会社の特許権の喪失による治験の不実行などが危惧され、また、やはり薬は実験・治験を経て承認される必要があります。逆に、製薬会社が絞られた候補薬で早期に治験に入れるよう、理研の生命系ラボや医療関係者や役所と協力する所存です twitter.com/ProfMatsuoka/s…
23
従来は高精度の分子動力学法での大規模創薬スクリーニングは計算量が多すぎて難しいとされて来ましたが、#富岳 の計算力と奥野研の新手法で#COVID19 のメインプロテアーゼへの全数適用が可能に。また、新たな科学的知見も得られており、今後本成果の創薬研究開発一般への画期的適用が期待されます。 twitter.com/ProfMatsuoka/s…
24
昨日発表の#富岳 の理研奥野チームの対新型コロナの治療薬研究の最新成果です。記事中のニクロサミドはサナダ虫の除虫薬で副作用が大変少なく海外治験も行われてますが、国内では未承認なるも、それを上回り有望な承認薬も見つかっており、今後早期の実験や治験を経て治療・予防への適用が期待されます twitter.com/kobeshinbun/st…
25
#Fugaku has become No.1 in all the supercomputer performance benchmarks, #Top500, #HPCG, HPL-AI, and the #Graph500 for the first time in history as a single machine simultaneously. Thanks for putting up the list! twitter.com/HPC_Guru/statu…
理研計算科学研究センター長 Director RIKEN R-CCS, 東工大特定教授 Prof. Tokyo Tech. ACM/ISC/JSSST/IPSJ Fellows, IEEE Fernbach(2014)&Cray(2022) Awards, 令4紫綬褒章 Purple Ribbon Medal 2022