1
#Kinect の販売中止が発表されて早2ヶ月。その後色々検討を重ね、ついに!
Kinectに頼らずAI(人工知能)を使用しWEBカメラだけで人間の骨格を検出することができるシステム、名付けて・・・
『VisionPose(ビジョンポーズ)』を自社開発してしまいました!
youtu.be/3q7DH3X3eh0
2
3
開発中のVisionPose、まだ調整が必要ですが複数人の深度が測れるようになったので実験ᕙ( ˙-˙ )ᕗ
※動画の数字はカメラからの距離を表しています(m単位)
#DeepLearning
4
スマホでもVRChatしたかったので作ってみました(^ p ^)
【デモ動画】スマホ版VRチャットルーム youtu.be/oO8U5r8Fuo4 @YouTubeさんから
#VRChat #VTUBER
5
『NuiTrack』という深度センサー用SDKが出現したそうで早速トライアル版を社内でお試してみました。デプスカメラが必要ですが、弊社のエンジニア曰く安くてかなり軽いそう。※動画はトラッキング数を2人で制限してます
6
スマートフォンから参加できるVRなChatアプリを目指す『52Chat』をGoogle PlayにてAndroid版を配信開始しました。皆様のご反応次第で今後の展開(VR対応など)が決まるので、たくさん遊んでいただけたら嬉しいです。
#52Chat #VRChat
next-system.com/topics/release…
7
ARを使って仮想的にネイルを試せる「WANNA NAILS」というアプリに仕込まれた、爪を認識するためのAI技術がすごいと社内で話題になってます。
精度が高くて早いです。
8
以前ご紹介した深度センサー用SDK『Nuitrack』が新たに顔認識に対応したということで26歳女性で試しました。RealSense D415で動かしてます。
surpriseは目か口のどちらかを大きく開けたとき、angryは口だけでなく目も細くすると高確率で認識されるようです。
9
先程VisionPoseとKinectでリアルタイム検出の比較してみました。#ノーカット
10
WEBカメラだけで人間のボーン情報を取得するシステム『VisionPose(ビジョンポーズ)』で、かかとの高い靴をはいていても検出できるか試しました。
#VisionPose
11
【速報】VisionPoseがスマホにのったということでさっそく撮影してみました。
iPhoneXRの上で動いてます。
#VisionPose
12
3つの骨格検出システムでリアルタイム検出の精度を比較してみました。
NuiTrackは調整したらもっと精度が上がるかもしれません。
※精度比較のため、性能差による遅延をなくしてます。
#VisionPose
13
深度センサつきカメラは赤外線の関係で屋外での骨格検出が苦手といわれていますが、どの程度精度がでるのか晴れた日に試してみました。
#VisionPose
14
スマホカメラだけで全身をモーションキャプチャして3Dキャラクターに反映するデモアプリを作ってみました。
モーキャプには開発中の「VisionPose Single3D」を使ってます。カメラ1つで骨格座標を3D解析できるようになりました。お楽しみに!
#VisionPose #VTuber
15
以前デモとしてお見せした、
スマホで全身をモーションキャプチャし3Dキャラクターにリアルタイムで反映できるアプリを「ミチコン-VisionPose Single3D-」としてApp Storeで公開しました!ぜひお試しください。
推奨端末はiPhone XR、iPhone XS/XS MAXです
■DLはコチラ↓
itunes.apple.com/jp/app/id14614…
16
試しにVisionPoseを時系列データに対応して特定動作を検出させてみました。
例えば、拾う動作と置く動作は同じような姿勢なので、1フレームから判別するのは難しいです。
対して時系列データとして扱うと、拾う動作と置く動作の識別が可能になります。
万引きの検出とかに使えそう。#DeepLearning
17
スマホで全身をモーキャプして、動きをリアルタイムで3Dキャラクターに反映できるiOSアプリ「ミチコン」に、
・キャラクター変更機能
・モーションデータ書き出し機能
など搭載した「ミチコンPlus」をApp Storeで公開しました!
■DLはコチラ↓
itunes.apple.com/jp/app/id14688…
#VTuber #ミチコンPlus
18
【リリース情報】
カメラ1つで骨格を3D検出できるシステム「VisionPose Single3D」が新登場!
Windows Unityに対応しました。※iOS版は後日公開予定
next-system.com/topics/release…
19
20
カメラ映像や動画・静止画から人間の骨格を検出するAIエンジン「VisionPose」で赤ちゃんを解析してみました。
弊社エンジニア曰く、追加学習でもう少し精度あげられそうとのこと。
#VisionPose #見守りシステム
21
VMTという仮想トラッカードライバーを公開いただいていたので、弊社のAI姿勢推定エンジンVisionPoseを使ってカメラ画像から骨格推定した腰と両足の座標を仮想トラッカーに送り、VIVEトラッカーを使わずにフルトラでVRChatに入ってみました。
github.com/gpsnmeajp/Virt…
#visionpose #ミチコンPlus
22
完全ワイヤレスで、ベースステーション不要のフルトラモーキャプシステム「Uni-motion」のベータ版を試用中の社員。
23
フジテレビのバラエティー番組「JO1CX-TV」 (9月2日深夜放送)で、グローバルボーイズグループ「JO1」が当社のVisionPose技術を使ったダンス採点AIに挑戦します。
「JO1」メンバーのダンスに、当社のダンス採点AIがどんな点数を出すか!? ぜひお楽しみください。
next-system.com/topics/info/po…
24
フジテレビ「JO1CX-TV」9月9日(金)深夜放送で、当社のダンス・シンクロ度判定AI「VP Synchro Checker」が再度登場します。
前回9月2日の放送に引き続き、ダンスのシンクロ度を「VP Synchro Checker」がどう判定するか、どうぞお楽しみください。#JO1CXTV #JO1
next-system.com/topics/post=27…