1
日本がAIにAll inしてるのはShintoismだからとか全然関係なくて、1980年代後半の半導体関係の不平等協定からずっと新技術でイニシアチブ取れなかったトラウマからの反応でしかないと思ってる、国民的SFアニメに感化されて最新技術好きが多いとかはもっと寄与度低そう
2
arXivに上がってた自己教師あり学習のCookbookかなりすごい、データの前処理とかハイパラ選択とか学習の高速化手法とか、学習に際して知っておきたい（けど経験豊富なMLエンジニアしかあんま分かってないような）ことが全部書いてある、明日もっとちゃんと読む
arxiv.org/abs/2304.12210
3
個人的に使っていた論文翻訳のコードをGithubで公開しました。
ローカルにAPIサーバーを立てるようになっていて、PDF込みのリクエストを送れば画像みたく翻訳したものが出てきます。
現状NVIDIAのGPUが動作に必須ですが、良かったら使ってみてください！
github.com/discus0434/pdf…
4
珍しく日本から生成AIに冷静な見解出てる
elsi.osaka-u.ac.jp/research/2120
5
書いた！
めっちゃ早い画像生成モデルとして昨日OpenAIからも実装がリリースされた、Consistency Modelの解説を書きました。
Consistency Models: 1~4stepsで画像が生成できる、新しいスコアベース生成モデル｜なんか zenn.dev/discus0434/art…
7
大学のGPUサーバーの容量が500GBしか容量ない上に利用者のリテラシーが終わっててDockerコンテナ起動したまま卒業していったりするから他人のコンテナを勝手に削除したりして暴力的に秩序を守ってる
9
書いた！
[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる｜なんか zenn.dev/discus0434/art… #zenn
10
State of AIの2022年レポート読んでたら各組織ごとのA100保有数ランキング出てきた、21世紀版の核弾頭保有数ランキングみたいでおもしろい
docs.google.com/presentation/d…
11
今更論文読んだけどFlash Attentionめっちゃ凄かった
softmax(Q@K.T)のNxN行列を実体化させないことでメモリ占有量をごっそり減らしつつ、低速なDRAMに極力アクセスせずに高速なOn-chipの上でAttentionの計算を1度に行うことによって処理も高速になるっていう夢のような手法
arxiv.org/pdf/2205.14135…
12
脳はDNNと違って逆誤差伝播使って学習してないって話について、小さい頃から淡く思ってるのが、脳の求めることって対処すべき現実の課題を出来るだけ計算量の少ない処理系で上手く扱うことであって、真のデータ分布を極限まで近似しようとする機械学習とは根本的にゴールが違うよなと思う
13
この記事もう何回も見返してるんだけど、これ以上にDiffusion Modelを分かりやすく数式付きで解説してる記事ってないな
theaisummer.com/diffusion-mode…
14
@sekisonhatsumi 完全に自業自得なので同情の余地はありませんが、どこにでもいそうなヤンチャっぽい青年が10数年でここまで感情の無いAIのように変化するのはストレスの恐ろしさを感じますね（現在は笑顔になってもやはりAI感が抜けない）。
16
ザッカーバーグはOculus事業を買収してメタバースに未来を見出してからというもの、まずデフォルトで完全にNeutralな表情をとることで複雑な表情を実装する手間を省き、眼球に対するReflection、肌に対するSSSのクオリティを下げるなどして処理を軽くし、我々より一足先に向こう側に入ろうとしている
17
一番のお気に入りはこれです
米上院の公聴会でFBの疑惑について謝罪している場面で、状況から考えても死ぬほど憔悴しているときの顔
18
米社会にボコボコに叩かれて目に光が無くなったザッカーバーグの写真を1年ぐらい前からちょくちょく集めてるんですが、近影はいよいよヤバいな
B4 / 音楽と映画が好きです / Opinions are my own