1
LLaMA-Adapter🦙おもしろい！
けっこう優秀なんじゃ？🤭
llama-adapter.opengvlab.com
🦙がマルチモーダルLLMに生まれ変わった奴
twitter.com/Callimiya/stat…
2
Sketch-to-skybox！やてみた😺
擬似空間生成の #Skybox AIに描画パレットが搭載！
球体やキューブのグリッド見ながらブラシでガイドのスケッチ書ける♪それに従い生成してくれる！
空間認識能力が問われる😅
#sketchtoskybox 楽しい♪
呪文欄クリックで左に🎨🖌️ツール出るよ
skybox.blockadelabs.com
3
#MasaCtrl のwebui拡張来た！
一貫性の世界ｷﾀ？🫢東大+Tencent
📄MasaCtrl(4/17) arxiv.org/abs/2304.08465
🔧github.com/ashen-sensored…
つまり？同じキャラを異なるビューやポーズで一貫して生成できる奴！それも微調整学習無しでｗ
T2I-AdapterやCNに組み込むと◎だって
twitter.com/toyxyz3/status…
4
「reference-only」ControlNet 1.1.153で新preprocessorが爆誕！
SDのattention層を画像に直接リンクしたスタイル転送方法
つまり？
このプリプロ使うだけで入力画像と同スタイルの別画素が生成できるｗ
CN Shuffleとは別方法
[Major Update] Reference-only Control #1236 github.com/Mikubill/sd-we…
5
空間生成AI ｷﾀ━(ﾟ∀ﾟ)━!!
#skybox 360°の空間生成だよ♪
呪文いれてスタイル選ぶだけでVRな360°空間が生成される！めっちゃ楽しい！！
Blockade Labs「Skybox Lab」
skybox.blockadelabs.com
twitter.com/Callimiya/stat…
6
チャージング・ブルと恐れを知らぬ少女像※をControlNetにぶっこんだ人がいたｗ
これは面白いControlNetのネタ活用法🤭
※ブラックマンデー大暴落の時にゲリラ・アートで作られた雄牛の銅像(で、さらに一時、ブル像の前に少女像が置かれてたｗ)
reddit.com/r/StableDiffus…
7
ChatGPT開発のOpenAIのアルトマンCEOが岸田首相と面会へｗ🤭
サム・アルトマンCEOは日本マーケット重視という意向を伝え、ChatGPTを行政で活用する事の意義やルール整備のあり方等を巡り意見交換か
同CEOは午後、自民党本部でデジタル社会推進本部の会合に出席し、講演する
bloomberg.co.jp/news/articles/…
8
ControlNetMediaPipeFaceおもろい！
これで表情の制御能力を得た♪
表情一覧が欲しくなるね！
面白い変顔から喜怒哀楽のいろんなの😊
9
面白い☺️
↓
LLMの一種であるGPT4ALLの内部状態を可視化したサイトが公開された
atlas.nomic.ai/map/gpt4all_da…
可視化に使われたt-SNEは一細胞解析というゲノム科学の最先端の解析に多用される可視化ツール
生物学とLLMの親和性あるね
↓
LLMは生物学で捉えられるものかもしれない
moderntimes.tv/articles/20230…
10
今日のヤバいの…SAM！
Segment Anything Model (SAM)
segment-anything.com
Meta AIが"未知"の任意の物体をセグメントできるOSS公開ｗ
オブジェクトとは何か一般的な概念を学習した🧑🎓
256 A100 GPUで5日間学習
11億物体をマスクしたdatasetも公開
ラベルはついてない
twitter.com/DrJimFan/statu…
11
きょうのゲームチェンジャーです🎙
so-vits-svcより早くて旨い音声変換だと⁉
RVCの時代くるのか…
🤗のRVC-beta.7zか、githubなら以下
Retrieval-based-Voice-Conversion-WebUI
🔧github.com/liujing04/Retr…
英語版ない？
なんとなく分かるけど説明まで中国語だｗ
twitter.com/yasyune1023/st…
12
今日の論文。これもヤバいｗ
HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace
arxiv.org/abs/2303.17580
音声呪文からタスクこなせるJARVIS🤖
github.com/microsoft/JARV…
ChatGPTでタスクプランニングして
🤗のAI機能を組合せ実行…
動画は日本語にしたけどコレを全自動よｗ
13
1.5兆のパラメーター数を持つ、GPTrillionきた！
モデル公開されてるやん！よし動かすか
🤗huggingface.co/banana-dev/GPT…
→おっ多数に分割されてるニャ
先頭37.4GB＋後続39.5GBの98個＋末尾21GB…
→3929.4GBのファイル群
≒3.84 TB 🦣
\( 'ω' )/動くかーいっｗ
A100何台いる？
twitter.com/BananaDev_/sta…
14
3500万枚以上のAIアートとプロンプトが探せる
検索エンジン？
#unprompt
unprompt.ai
Search 35+ Million AI Art Prompts
niji,midが多め？SDくんもある
日本語も通るｗ
画像クリックで呪文も見れる！
Lexica(最近偏りすぎ)に無いようなの多くて参考になるかも
twitter.com/kajikent/statu…
15
リャマ食べてビクーニャ🦙でた笑
🔧github.com/lm-sys/FastChat
Vicuna-13Bは、ShareGPTで集めた70kのジピった会話をLLaMAで微調整した蒸留トレーニング版のオープンソースのチャットボット！
LLaMAやStanford Alpacaを凌駕し、ChatGPTに90%超も迫る質!?
vicuna.lmsys.org
16
webuiに凄い拡張くるｗ
単一の画像とオーディオからの
トーキングヘッド🧑🎤
うちの子口パク生成器
😭#SadTalker : Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation
🔧github.com/Winfredy/SadTa…
これまたCVPR2023笑
twitter.com/shadocun/statu…
17
アニメキャラのイラストから、3Dキャラとして頭部を再構成してくれる面白いやつがｗ
イラストは線画が多いからVroid 3Dモデルと関係学習の邪魔になるんで、大量のVtuberイラストも使い線を除去するテクを使い3D化
原神とホロライブのMMD使ってるけど大丈夫か？しらんけど🫢
twitter.com/_akhaliq/statu…
18
#CharFramework すごい❤
キャラ作りをしくみ化したキャラフレームワーク！
うちの子を色んなバリエーションで爆増できる！？
github.com/Zuntan03/CharF…
①顔LoRAを作る
②顔LoRAと服をあわせた体LoRAを作る
③複数キャラのグループLoRAを作る
まずキャラ1人の②までやりたい
twitter.com/Zuntan03/statu…
19
PFG※っていうキャラの特徴を覚える手法のwebui拡張でた♪
🔧github.com/laksjdjf/pfg-w…
🤗huggingface.co/furusu/PFG
既存のイラストを参考にして新しい画像を生成するwebui拡張
note.com/gcem156/n/nd8c…
※PFG (Prompt Free Generation)の詳細は以下
note.com/gcem156/n/ne33…
twitter.com/gcem156/status…
20
今月の主なAI界隈の進捗表です
→ほぼ毎日なんか出てるｗ
「2023年は、既にどの年よりもAI の進歩が見られる。 この速度は増加するだけです💦」エグいｗ
知り合い研究者が悲鳴あげてる（今までのペースでやると、成果発表する頃には陳腐化してオワッテルｗ）
twitter.com/dustinvtran/st…
21
#心の理論(ToM)が大規模言語モデル向上の
副産物で自然発生した可能性ｗ
って草→Colabもある
GPT-4 🧑🎓95％のToM誤信念課題タスクを解決ｗ
GPT-3.5 "davinci-003" 7歳児レベル🧒(90%)
InstructGPT "davinci-002" 6歳児に匹敵(70%)
GPT-3 "davinci-001" 3.5歳児と同等👶(40%)
arxiv.org/abs/2302.02083
22
ControlNetPosesいいわ！
ControlNetに使えるポーズ画像を集めたサイト
controlnetposes.com
各画像もOpen PoseとかDepthとかControlNetで生成されてるの凄いｗ
画像をクリックするとControlNetのプリプロセッサ画像と生成した時の呪文が見れる！
いいポーズできたらUploadから投稿もできる！
23
webuiに「背景を削除する」拡張が追加されたｗ
あの #Rembg がwebuiさん拡張になった
github.com/AUTOMATIC1111/…
u2net_human_seg (人間のセグメ向けに事前訓練されたモデル)も使える♪
レイヤー加工、背景抜いた絵でDepth作ったりとか生成時に色々重宝？
完璧じゃないけどね
twitter.com/DiffusionPics/…
24
Online 3D Openpose Editorが
webuiで動く拡張になってるｗ
sd-webui-3d-open-pose-editor
🔧github.com/nonnonstop/sd-…
「Send to ControlNet」でCNに遅れちゃう
twitter.com/forasteran/sta…
25
ブラウザでOpenposeの棒人間つくれるGUI！
指も動かせる♪
Blender不要ｗ
Online 3D Openpose Editor
💀zhuyu1997.github.io/open-pose-edit…
スケルトンマップ/デプス～てボタン押すと右下にスクショ出てpng保存できる
↓ TypeScriptで実装されてる
[GitHub] github.com/ZhUyU1997/open…
twitter.com/Yamkaz/status/…
a cat generating sth with AI