研究内容
ロボットのための3Dアバター再構築
本研究は，ロボットシステム向けの動的なデジタルツインの実現を目指し，マルチビュー画像とコンピュータグラフィックスを用いて普遍的な形状と個人特有の非言語特徴を分離することにより，写実的な3Dアバターと顔面の動きを再構築することに取り組んでいます．本フレームワークでは，複雑な社会的ニュアンスを捉えつつ非言語的な顔の動きをモデル化するために，多様な表情プロファイルを含む二者間インタラクションデータセットを用いてニューラルネットワークを学習させています．これらのデジタルツイン技術は，次世代ロボットの顔インターフェースにおける基盤アーキテクチャとして機能します．例えば，これらのモデルをVR（仮想現実）やMR（複合現実）環境に統合して医療訓練シミュレーションのリアリティと臨床効果を高めることで，医療従事者に対して，緊張感や現実感をより強く実感できる患者とのインタラクション体験を提供できます．
ロボット患者シミュレータの自然な痛み表情の生成
本研究では，ロボット患者シミュレータにおいて，患者の痛みを自然に表現する顔表情生成技術を開発しています．医療教育では，学生が患者の表情や反応を観察し，状態を判断しながら適切な対応を学ぶことが重要です．そのため，ロボット患者が痛みの程度や状況に応じた表情を示せれば，より実践的な訓練環境の構築につながります．本研究では，顔の動きを表すAction Units（AUs）に着目し，眉間，目元，口元の動きが痛み表情の自然さに与える影響を分析します．さらに，生成した表情に対する印象評価を行い，どのような変化が痛そうで自然に見えるかを検討します．最終的には，医療教育や看護訓練に活用できる，分かりやすく自然な痛み表情生成システムの実現を目指します．