5
Img2Imgした数枚のキーフレームから、スムーズな動画を生成できるFew-Shot-Patch-Based-Trainingのcolab notebookを書きました。いろいろ実験していただけると嬉しいです。(特にNovelAI)
左が生成されたもので、右が元動画になります。
github.com/IzumiSatoshi/C…
#stablediffusion
6
AIで実写動画から手書き風アニメに変換するテスト
Three D Pose Tracker → VRMに流し込む → 背景と合成 → Waifu Diffusion → Waifu2xでフレーム補完
全身が映ってるポーズ推定のやりやすい動画なら、一度3Dモデルを介することで高い精度を達成できることが分かった。
7
うおおおお!京アニ手描き風のセーラー服初音ミクがかわいい!そして「dreamboothで元動画を学習させ破綻を防ぎつつ、プロンプトで任意の絵柄を適応する」というやりたかったことが出来てる!!
プロンプトエンジニアリングを頑張れば伸びしろはまだまだあるだろうけど、いったんそれは後回し→
8
9
ABC280にChatGPTを参加させてみました。結果はC問題まで解くことができ、順位は7245人中5290位でした。
A問題→ノータイムで正解
B問題→ノータイムで正解
C問題→1度未知のテストケースについて不正解を出すも、可能性を独力で思考し、3度目の提出で正解
(続く)
#AtCoder
10
11
huggingfaceの拡散モデル講座めっちゃよかった!
pytorchの基本がちょっと(本当にちょっと)わかるという状態から、50時間くらいでdiffusersライブラリを何となく読めるようになった
拡散モデル初学者向けのまとまったリソースとしてかなりおすすめできる
そして無料!!!
github.com/huggingface/di…
12
リアルタイムなキーボード入力処理を実装したら、ついにGenerativeお散歩ゲームが形になった!!!
突然エッフェル塔が生えたりタイムリープしたり、そもそもfpsが0.3だったりで先は長いんだけど、Stable Diffusionが創る"世界"に触れさせてもらえた、というのが誠に感慨深い
夢の一つが叶った
13
ぶっ飛んだクオリティのAIアニメとその詳細なチュートリアル(100ページ超)がredditに投稿されてた。
使用モデルはNiji
Image promptとチェリーピックで素材を作って、PhotoshopとAfter Effects を駆使して動かしてるみたい。ハリウッドでVFXやってる人と聞いて納得した。
docs.google.com/document/d/e/2…
14
VOICEVOXのAPIを叩くときに、localhost->127.0.0.1にすると応答速度が4秒くらい短縮されるみたいなんだけど、これがなぜなのか分からない。
localhost == 127.0.0.1
じゃないの...? twitter.com/Mega_Gorilla_/…