研究内容
マルチモーダル環境認識による生活支援システムの開発
本研究では，知能化空間においてユーザの状態や行動を理解し，日常生活を適切に支援するシステムの実現を目指しています．室内カメラや環境センサ，ウェアラブル端末から，ユーザの位置や行動，室内の温度，照度，心拍数，体温などを取得します．これらの情報を統合することで，ユーザが置かれている状況を推定し，その状況に応じた家電制御や生活支援を行います．例えば，室温が高く，体温や心拍数にも変化が見られる場合には，扇風機を稼働させるなど，環境情報と生体情報の両方を考慮した支援を提供します．さらに，カメラで取得した動作情報と組み合わせることで，画像だけでは判別しにくい疲労や暑さなどの内的状態も推察できます．これにより，ユーザにとって自然で使いやすい生活支援環境の構築を目指します．
複数カメラによる時系列シーングラフを用いた状況認識
本研究では，知能化空間においてロボットが室内で発生する出来事を理解するため，複数カメラによる時系列シーングラフを用いた状況認識手法を開発しています．知能化空間では，人，物体，行動の関係を正確に把握することが重要です．しかし，単一カメラでは物陰による遮蔽の影響を受けやすく，人物や物体を十分に観測できない場合があります．また，映像をそのままAIに入力する方法では，時間的な変化や出来事の流れを扱いにくいという課題があります．そこで本研究では，複数のカメラで室内を観測し，人物，物体，行動の関係をシーングラフとして表現します．さらに，それらを時間方向につなげた時系列シーングラフを構築し，LLMに入力することで，状況説明，質問応答，行動支援への応用を目指します．
人と物体の関係を記録する空間ログ生成
本研究では，ユーザに適切なサービスを提供する知能化空間の実現を目的として，空間内で発生する人物行動や物体変化を記録する空間ログシステムの研究を行っています．空間内には複数のセンサを設置しており，RGB-DカメラとYOLOを用いて人物の検出を行っています．また，人物の行動に伴って移動した物体を認識し，誰がどの物体を動かしたかを把握できるようにしています．さらに，対象物体に関するより詳細な情報を取得するために，移動ロボットKachakaとアーム付きカメラを活用し，対象物体の位置まで移動して近距離から観測を行います．これにより，空間内での人と物体の関係性を詳細に理解し，行動履歴を活用した支援システムへの応用を目指しています．
複数カメラを用いた顔認識付きマルチトラッキングシステムの開発
本研究では，知能化空間において，特定の場所に依存しない人物識別システムの構築を目指しています．従来手法では，入口などの特定地点で顔認識を行い，名前と位置を対応付けていたため，ユーザがカメラを意識して行動する必要がありました．また，顔認識と人物追跡，ReID，が独立して動作するため，遮蔽物や長時間の追跡によってIDの切り替わりが発生する課題があります．そこで本研究では，人物追跡中に適切なタイミングで顔認識を再実行し，複数のDIND（カメラやセンサを備えた分散知能デバイス）から得られる情報を統合します．これにより，空間全体で一貫した個人識別を実現し，ユーザが特別な操作を行わなくても自然に利用できる知能化空間の構築を目指します．