1
スケッチ1枚からイラストやアニメーション、3Dモデルをリアルタイムに自動生成する実験をしています。
UIのスライダーでパーツの形状や色、質感を変更でき、ランダムな選択も可能です。
クリエイターさんから絵を描いたことがない方まで、創作活動を行う方々をアシストするシステムを目指しています。
2
スケッチからイラストをリアルタイムに自動生成する実験の続きです。
パラメータスライダーの影響範囲を「髪や目の色」「影やハイライト」「目や口の形状」などで指定できるようにしました。
ランダム選択機能も付けたので、好みの質感に近いパラメータから微調整を始めることも可能になっています。
3
↑は趣味の個人開発の内容です。
お仕事ではVRoid Studioという3Dキャラクター制作ソフトを作ってます。こっちもよろしくね。
vroid.com/studio
4
スケッチからイラストと3Dモデルをリアルタイムで自動生成する実験です。
右上がワイヤフレーム、左下が法線、右下がテスクチャを貼り付けた3Dモデルになります(イラストと区別が付きにくいため軽く回転させています)。
パラメータスライダーでの画風や形状、落ち影、顔向きの変更も反映しています。
5
お仕事ではVRoid Studioという3Dキャラクター制作ソフトを作ってます。こっちもよろしくね。
vroid.com/studio
6
スケッチからイラストをリアルタイムに自動生成する実験の続きです。
パラメータスライダーを追加して、描いた後に画風や形状、落ち影、顔向きなどを変更できるようにしてみました。パラメータは512種類(詳細に設定すると8192種類)あります。
次は3Dモデルの自動生成と組み合わせる予定です。
7
お仕事ではVRoid Studioという3Dキャラクター制作ソフトを作ってます。こっちもよろしくね。
vroid.com/studio
8
スケッチからイラストをリアルタイムで自動生成する実験をしています。
これまで全く絵を描いたことがない人でも、それなりのクオリティのイラストを短時間で描けるようになればいいなと考えています。
次はパラメータスライダーを追加して、描いた後に画風や形状を変更できるようにする予定です。
9
2Dイラストから3Dモデルを自動生成する実験の続きです。
目パチや口パクをパラメータで指定できるようにしました。今回追加した形状の合成処理は表情以外にも色々応用できそうです。
次は髪の生成を考えてますが、その前に頭部全体のランドマークを追加したデータセットを作る必要がありそうですね。
10
2Dイラストから3Dモデルを自動生成する実験の続きです。
目のランドマークを増やし、素体の変更を試してみました。今回は @YAN3dcg さんの「ゴトウ(の顔)」をお借りしています。
booth.pm/ja/items/23447…
アニメ調の素体を使うとだいぶ精度が上がりますね。
次は表情の変更を試してみる予定です。
11
2Dイラストから3Dモデルを自動生成する実験をしています。
まだ課題は多々ありますがひとまず方向性は見えてきたところ。漫画的な誇張表現をそのまま3Dに反映できるのでアニメーション用の機能と組み合わせると面白そうな印象です。
素体はICT FaceKitをお借りしましたがそのうち差し替えるかも?
12
VRMをVNectで動かすサンプルを作成してみました。
ウェブカメラや動画ファイルに映った人物の動作をリアルタイムで三次元姿勢推定してモデルに反映できます。
VRoidなどからエクスポートしたモデルを動かすことができます
コードは以下で公開しています
github.com/t-takasaka/VNe…
#VRM #VRoid #VNect
13
VRMをUnityとPoseNetで動かしてみました。
@mb_otsu さんのリポジトリからフォークさせてもらっています
github.com/t-takasaka/Pos…
※TensorflowSharpとUniVRMが必要です。libtensorflow.dllはGPU用に差し替えると高速化できます(DLLは下記にあります)
github.com/fo40225/tensor…
#VRM #VRoid #PoseNet
14
VRMをARKitとPFNNで動かすサンプルを作成してみました。
ARKitが検出した地形に対してAI(PFNN)が自動生成したモーションをVRMに反映しています。
VRoidなどからエクスポートしたモデルを動かすことができます。
コードは以下で公開しています。
github.com/t-takasaka/AI4…
#VRM #VRoid #ARKit #PFNN
15
VRMをOpenCV.jsで動かすサンプルを作成してみました。
ウェブカメラの付いたPCから以下のURLにアクセスするとデモが試せます。
(wasmのコンパイルに若干時間がかかります)
t-takasaka.github.io/vrm-opencvjs-f…
コードは以下で公開しています
github.com/t-takasaka/vrm…
#VRM #VRoid #OpenCV #WebAssembly #Caffe
16
VRMをPoseNetで動かすサンプルを作成してみました。
VRoidなどからエクスポートしたモデルを動かすことができます。
ウェブカメラの付いたPCから以下のURLにアクセスするとデモが試せます。
t-takasaka.github.io/vrm-three-pose…
コードは以下で公開しています。
github.com/t-takasaka/vrm…
#VRM #VRoid #PoseNet
17