1
ControlNetのボーン動画を入力するとアニメーションを生成できるAutomatic1111の拡張機能を作りました！
もう少しテストして今日か明日にgitに公開します！
#ControlNet #AUTOMATIC1111 #AIイラスト #AIArt
2
動画からControlNetを通してAI動画を生成する機能を作成したので公開します！
Multi ControlNetにも対応してます！
Extensionから以下のURLを使ってインストールできます！
github.com/mattyamonaca/s…
#AUTOMATIC1111 #ControlNet #AIArt #AIイラスト
3
こちら、本家sd-webui-controlnetに取り込んでいただけたので、controlnetをお使いの方は更新だけで利用可能になりました！
今後はsd-webui-controlnetの方を利用いただければと思います！
#AUTOMATIC1111 #ControlNet twitter.com/GianMattya/sta…
5
一枚絵を色情報に基づいて分離するツールを作成しました
処理の仕組みや使い方などは以下のリンク先に記載しています
github.com/mattyamonaca/l…
また、以下のColabからWeb UIを起動できます
colab.research.google.com/github/mattyam…
6
取り上げていただいてる…！
(GPU化による高速化とwebuiへの実装進めてるのでもう少しお待ちを…) twitter.com/8co28/status/1…
7
AIイラスト特有の塗りについて調べてる
画像生成時にノイズが除去しきれず、同じような色でも微妙に異なるRGB値で表現された結果があの独特な塗り感を出してるんじゃないかなーと
ということでRGB空間を100クラスタに分類して可視化してみた
8
クラスタに分けた時点でかなりノイズっぽい塗りになっているのがわかった（2枚目）のと、同じクラスタ内でもRGB値が微妙に異なってるのがわかる（3枚目）
このブレを消してあげて、統一したRGB値で塗りなおしてあげればあのノイズっぽい塗りを抑えられるんじゃなかろうか
9
人の絵だとどうなるのか？というのが結構来ているので自分の過去絵で同じことをやってみた
どっちも仕上げに上からノイズ系のテクスチャをかけていたはずです
（解像度や背景の有無、クオリティの差…とかいろいろ条件は違うので単純比較していいのかは微妙ですが参考までに）
10
既存ツールよりも高い精度で背景の切り抜きができるWebuiの拡張ツールを公開しました！
WebUIのExtensionタブからインストールできます
github.com/mattyamonaca/P…
画像生成とは独立した拡張となるため、nijijourneyなどで生成した一枚絵も切り抜きが可能となります！
#stablediffusion #AUTOMATIC1111
11
以前公開した背景除去機能（PBRemTools）に新しい機能を追加しました！
背景だけでなく、テキストで指定した要素を切り抜く事ができます。
（MetaのSegment AnythingとCLIPを利用）
利用にはSAのモデルを手動で配置する必要があるため、READMEにて手順をご確認ください
github.com/mattyamonaca/P…
12
一枚絵を色情報に基づいてレイヤーを分けPSD形式で出力するツール（layerdivider）がSDWebUIで利用でできるようになりました！
ExtensionsからgitのURLを張り付けてインストールしてください！
github.com/mattyamonaca/l…
またこのVerから背景と人物を分けて出力できるようになります！
#AUTOMATIC1111
13
Controlnet M2M、正式にReference onlyに対応しました！
今後は入力に動画だけでなく、画像も利用できます！
すでに本家webui controlnetにも反映されているので、以下リンク先のリポジトリから、拡張機能を更新することで利用する事が可能です！
#ControlNet #AUTOMATIC1111
github.com/Mikubill/sd-we…
14
Layerdividerをアップデートしました！
このバージョンからSAMによる領域情報に基づいたレイヤー分けが可能になります！
WebUIご利用の方は以下のURLから拡張機能として取り込むことが可能です！
github.com/mattyamonaca/l…
15
入力した線画を自動で下塗りして領域ごとにレイヤー分割するツールの進捗
線画は入力されたものをそのまま使うため改変や解像度の劣化等は発生しません
また、プロンプトを用いた塗る色の制御も可能です
将来的には参考画像に沿った下塗り等も対応予定です
こちらのツールもOSSとして近日公開します！
16
AIによる自動下塗り＆レイヤー分けツールのβ版を公開しました！
線画を入力するとその線画に合わせて下塗りを行い、塗った領域ごとにレイヤー分けしてPSDファイルを出力します。
以下のGithubリンクから利用可能です！
github.com/mattyamonaca/a…
使用方法などはREADMEに記載してあります
イラスト垢 AIの技術検証にも手を出し中
Pixiv: pixiv.net/users/43933525
GitHub: github.com/mattyamonaca