276
リアルな眼球の動きをVRアバターで再現 Facebookが開発 itmedia.co.jp/news/articles/… 寄稿:VRヘッドセット内部カメラで追跡した眼球の動きをアバターに写実的な動きで反映させる深層学習を用いた手法。眼球の動きと同時に動く眼の周辺領域を含む顔の動きとの一致に注力している。
277
動画から手の動きを3Dデータ化、ハンドジェスチャーも認識 英ICLなどが開発 itmedia.co.jp/news/articles/… 寄稿:1台の単眼カメラで撮影した動画内の手を3Dモデルとして深層学習で推定、手の指先まで動的3次元メッシュを生成する。ARアプリのリアルタイムハンドジェスチャー入力も実証済。
278
マスク装着時に話したテキストを翻訳、字幕表示 KAIST「MAScreen」開発 itmedia.co.jp/news/articles/… 寄稿:マスク内のマイクで声を収録しテキスト化、他言語に翻訳しマスク前面LEDディスプレイに字幕表示(右から左へ流れるテロップ)表情と唇の動きも機械学習で分類しリアルタイム表示。
279
混ざった楽器の音を演奏者の動きで分離 米MITなど研究 itmedia.co.jp/news/articles/… 寄稿:複数人が同時演奏する映像から各演奏者の動き(上半身や指のキーポイント)を取得し深層学習で分析、各楽器のメロディーを抜き出す。ピアノやギター等は指の動き、チェロやバイオリン等は肘の動きを重視。
280
複数人隠れていても検出できるポーズ推定 Amazonが開発 itmedia.co.jp/news/articles/… 寄稿:人が重なりあって少ししか見えない人物も検出。フレーム前後で隠れている人がほぼ同じ位置に存在するだろうと仮定し、見えていない姿勢も推定し繋ぎ合わせる。
281
安い3Dプリンタで多色印刷したいなら、多色フィラメントを作ればいいじゃない 明治大学など「Programmable Filament」開発 itmedia.co.jp/news/articles/… 寄稿:3Dプリント前に完成モデルから逆算し材料段階で多色材料(多色ワイヤー1本)を3Dプリントしておく.その材料で普通に3Dプリントし多色造形品の完成
282
落書きを即3Dモデル化、つまんで動かし即アニメーションに Googleなど「Monster Mash」開発 itmedia.co.jp/news/articles/… 寄稿:大ざっぱに描いた2D線画から3Dモデルを自動作成、一部をつまんで移動させるだけでリアルタイムに動きを付けられる。動きの軌道は記録され他の部位の動きも同時に付けれる。
283
ヒトのAIモデルからチンパンジーの姿勢と3次元構造を推定 Facebookなどが開発 itmedia.co.jp/news/articles/… 寄稿:深層学習で人体姿勢や3次元形状を認識するための膨大なラベル付き人物データセットから学習したモデルをデータが少ない何百万の動物種に転用する転移学習。今回チンパンジーへの転移に成功
284
「恋人つなぎ」で歩けるハンドロボット 手汗、匂いもある「お散歩彼女」 岐阜大学が開発 itmedia.co.jp/news/articles/… 寄稿:柔らか人肌の温かさを持つ手だけロボット.握り返してくれ緊張の手汗をかき歩く呼吸や服の擦れる音,相手のシャンプーの匂い,腕を振る,歩幅ズレによる引っ張る動作で疑似体験を提供
285
使徒がそこにいるような、空と調和した巨大ARオブジェが出現 スマートフォンアプリ「Fakeye」、ベトナム研究チームが開発 itmedia.co.jp/news/articles/… 寄稿:空に巨大ARを鎮座させる方法。木や建物など手前の物体の後ろに表示する事はもちろん、雲の透明度を部分的に変更し雲に包み込まれるように表現。
286
「レイトレ」応用、動く物体にぴったり貼り付くプロジェクションマッピング 東工大開発 itmedia.co.jp/news/articles/… 寄稿:ダイナミックプロジェクションマッピングとレイトレーシングを統合しリアルで質感ある画像を動く物体に追従し投影し続ける技術。動画では青いプラスチックやガラスを投影している
287
手描きキャラクターに深層学習で影 カラーでも itmedia.co.jp/news/articles/… 寄稿:手描きの線画スケッチに3次元の影をGANで自動生成する技術。リムライティングやバックライティング含め任意の光源位置からの影も自由自在。背景を除き人だけに影を付与も可能。ライブデモあり。
288
耳から顔を深層学習で生成 生体認証にも有用? 独研究 itmedia.co.jp/news/articles/… 寄稿:顔と同じく耳も全員が違う形をしている事を利用し耳画像から正面顔画像をGANで生成。元顔画像と比べ定量的に似ている事を実証。訓練データセットにいない人にも有効(画像右3列)画像中央が出力結果で右が元画像
289
音楽からダンスを自動生成、J-POPも踊れる「Dance Revolution」 Microsoftなど開発 itmedia.co.jp/news/articles/… 寄稿:深層学習で入力音楽に合うダンスの動きを生成,全身骨格ダンスシーケンスを出力する技術。YouTube155本のソロダンスからデータセット化。動画最初は人物画像に転移し躍らせた様子.音あり
290
カメラなしでも全行動を文章で記録する「RF-Diary」 RF信号でライフログ技術、MITが開発 itmedia.co.jp/news/articles/… 寄稿:家庭内に設置した1台の小型無線機から全部屋で動く人の骨格の動きを捉え文章に変換し行動を記録する。壁や物体が邪魔しても暗くてもOK。日常生活の失念防止。遠隔介護の可能性も
291
ロボットが家具を再配置してバーチャル空間をリアルに演出 コロラド大「RoomShift」発表 itmedia.co.jp/news/articles/… 寄稿:改造ルンバで机や椅子等の家具の下に潜り込み持ち上げ移動。配置場所やタイミングをバーチャルシーンに合わせ動的に行い、ロボットが先回りして家具の存在をユーザに触覚提供する
292
深層学習で着せ替えも簡単に 画像の一部だけを入れ替え合成する技術「SMIS」 itmedia.co.jp/news/articles/… 寄稿:画像をオブジェクト毎にセマンティックセグメンテーションを用いクラス分けし部分的に同時入替できる技術。何もない所に他の物体挿入、 画像から別の画像へ徐々に変化するモーフィングも可能
293
“内なる感情”をARで可視化する「Neo-Noumena」 itmedia.co.jp/news/articles/… 寄稿:電極キャップで脳波を収集感情を学習分類HoloLensに伝送.ARと音声で周囲に出力.相手のイライラを事前知覚,人に感情がある事,感謝の気持ちを再認識.自身の感情にも興味,挑戦時に客観視が可能,落ち込む中にもポジティブ発見.
294
熱線を両手で操るロボット彫刻家、動物を彫り上げる itmedia.co.jp/news/articles/… 寄稿:2本のロボットアーム間のワイヤーを発熱させ制御することで、曲線含む複雑な形状に切削する自動彫刻システム。デザインが入力されると両アームが衝突しない安全な運動経路及び最小限の動作を生成し切削する。
295
皮膚に電子回路を直接印刷する「BodyPrinter」 KAISTとMITが開発 itmedia.co.jp/news/articles/… 寄稿: 皮膚に貼付ではなく直接導電性インクをCNCプロッタで任意の身体に印刷。回路はCADで設計。インクは10分未満で乾燥。活用例:背中で姿勢の曲がりを測定、指や手首のジェスチャ入力、額に赤色LED搭載など
296
読書中にマーカー引くだけでダイヤグラム作成 ミシガン大学「texSketch」発表 itmedia.co.jp/news/articles/… 寄稿:電子書籍内の重要な箇所をマーカーと線で選択,抜き出された文字や自動生成された絵を繋げグラフィカルに図表整理. 内容を効率的に理解できる関係性や考えを整理した視覚的俯瞰メモが作れる
297
グランツーリスモSPORT最速完走をAIで 達人を凌駕する技術、ソニーなどが開発 itmedia.co.jp/news/articles/… 寄稿:人の運転より速い自律走行車。
人間のトップドライバーの経路を参考にコースを早く完走するための運動ポリシーを強化学習で訓練。結果70カ国5万人以上のベストラップタイムで全てを凌駕。
298
Webカメラ1台で多人数モーションキャプチャーする「XNect」 深度センサーも専用スーツも使わずリアルタイムで itmedia.co.jp/news/articles/… 寄稿:Webカメラのみで複数人同時に3D姿勢推定をリアルタイムで行う。人や物で重なって見えない身体部分も復元。深層学習で処理し15fps以上で動作。
299
最適なタイミングでボールを放してくれるデバイス 東大が開発 itmedia.co.jp/news/articles/… 寄稿:人間が投げる動作に応じて的に当たる(箱に入る)タイミングで球を放つ手持ち機器。投球中に発射物の軌道をリアルタイム予測、結果が希望する軌道と一致したタイミングで放出。人為的エラー修正の活用にも
300
深層学習で卓球サーブの球筋を予測 打つ姿勢から着地点が分かる「FuturePong」、東工大が開発 itmedia.co.jp/news/articles/… 寄稿:サーブの姿勢推定から打つ前に球の着地点をリアルタイム予測.プロジェクタで卓球台に着地点を投影.卓球経験10年と素人で実験した結果,反応速度0.2秒向上,打つ成功率2.5%上昇