Ritsumei Real-World Robotic Metaverse (R-Metaverse)
3つの特徴
R-Metaverseには3つの特徴があります。
-
遠隔操作
遠隔の参加者(ロボットユーザ)がHMDを被り、テレプレゼンスロボットの遠隔操作が可能です。
-
現実とCGの融合表現(MR)
MRにより、遠隔地の映像を確認できるだけでなく、3DCGが映り、現実とCGの融合表現が体験可能です。
-
現地で交流
テレプレゼンスロボットを操作しているユーザが体験しているMRを現地の人間(モバイルユーザ)がスマートフォンを用いて確認することができ、現地の参加者も遠隔の参加者との交流が可能です。
研究背景
近年、メタバースと呼ばれるコンピュータ上に構築された仮想空間を用いたコンテンツが注目されています。メタバースはHMDを用いることで、仮想のアバタによって自身が仮想空間の中に存在しているかのような臨場感とともに空間内の体験が可能です。さらに、この空間がネットワークと繋がることで、物理的な制約を無視し、離れている人とその場で話しているかのように交流することが可能です。
新型コロナウイルス感染拡大の影響により企業の業務形態のリモート化が促進されたことで、今後メタバースを利用したサービスが増加することが予想されます。 しかし、メタバースに用いる3次元仮想空間を体験するには大きなコストが必要となります。ここで述べるコストとは、空間の制作にかかる手間や、空間の描画に必要な計算、空間を体験する際に必要な当たり判定の計算などを指します。また、VRゴーグルの普及率は 1 割未満であり、体験がHMDを付けているユーザの間で完結してしまうといった欠点があります。そこで我々は問題解決のため遠隔操作ロボットと現実空間を利用した新しいメタバースの形である「Ritsumei Real-World Robotic Metaverse(R-Metaverse)」を提案します。
システム構成
R-Metaverseでは、ROS2を使用して各デバイスのデータの送信や処理を行っています。また、Unityを使用してMRを実装しています。
Visual SLAMであるORBSLAM2により、スマートフォン、またロボットから得られた画像をリアルタイムで処理し、それぞれのカメラが現実空間のどの位置・姿勢であるかを推定しています。ORBSLAM2から得られた位置・姿勢を活用してMRを実装しています。
テレプレゼンスロボット
テレプレゼンスロボットは幅80mm、奥行125mm、高さ72mm、重さ450gの手のひらサイズの小さなロボットです。そのためロボットのスケールに縮小された体で現実世界を移動する感覚を体験でき、床下や天井裏など、普段立ち入ることができない空間を用いた体験を楽しむことができます。
システム
オンラインでのコミュニケーションにおいて、「相手がそこにいる、相手が近くにいる」と感じる度合いをソーシャルプレゼンスといいます。ソーシャルプレゼンスは、表情や仕草などの非言語情報を伝えられるメディアほど高く、良好なコミュニケーションに繋がります。そのため、近年のオンラインでのコミュニケーションの需要が増加する状況の中で、良好な関係を構築するためには、ソーシャルプレゼンスを意識し、非言語情報を伝えられるシステムを開発することが重要です。
モバイルユーザの表情確認システム
このシステムは、遠隔でロボットを操作するロボットユーザが、スマートフォンを用いて参加するモバイルユーザの表情を確認することが可能なシステムです。これによって、ロボットユーザは実際には遠隔にいるモバイルユーザをより近くにいると感じることができます。ロボットユーザの視点の画面上部に表情が映し出されます。
ロボットユーザのアバタ確認システム
このシステムは、スマートフォンを用いて参加するモバイルユーザが、遠隔でロボットを操作するロボットユーザの頭や両手の動きといったジェスチャーを確認することが可能なシステムです。これによって、モバイルユーザは実際には遠隔にいるロボットユーザをより近くにいると感じることができます。モバイルユーザがロボットにスマホを向けたとき、ロボットユーザの動きが同期したアバタが映し出されます。また、画面左下には自身の表情がどのように映っているか表示されています(モバイルユーザの表情確認システム)。
