Visual Localization and Mapping
背景
精密な位置推定技術は、AR、自律システムなど、多くのアプリケーションにおいて重要な役割を果たしています。一般的なアプローチとして、LIDARセンサ、GPS、WiFiまたはBluetoothなどの高価なハードウェアを用いたものがあります。しかしながら、このようなハードウェアセンサは、悪天候、屋内環境などのGPS信号が届かない環境では、効果が減少します。そこで、もう一つの一般的な解決策として、安価な視覚センサを用いる方法があげられます。しかし、単一画像に基づく堅牢な視覚的位置推定は、依然として課題があります。
そこで、深層学習を用いて、学習ベースの全てのステップまたは一部のステップを学習可能なモデルに置き換え、堅牢な視覚的位置推定の手法を提案します。
提案手法
FeatLoc
FeatLocは、室内用3次元自己位置推定のための手法です。2022年にISPRS Journal of Photogrammetry and Remote Sensingに記載されました。2Dカメラデータを用いて室内環境の3次元自己位置推定を行います。FeatLocは、既存の手法より高い精度と性能であることが証明されています。
D2S
これまでの最先端の自己位置推定手法は、複雑な手順を用いて推定しているため、推論、保存の際に、多大なコストを伴う可能性があります。そこで、D2Sは、シンプルなネットワークを用いて、単一のRGB画像から抽出したスパース記述子から3Dシーン座標を生成する手法であり、最先端のCNNベースの手法と比較して、より高い性能です。
PL2Map
近年、視覚的な位置推定と地図作成の手法として、画像内の点と線の特徴の統合をすることで、よりよい精度が期待されるが、位置推定フレームワークを拡張することで、マッチングタスクに必要なメモリと計算リソースが増加することがあります。PL2Mapは、軽量なニューラルネットワークが3Dの点と線の両方の特徴を表現することを学習し、複数の学習済みマッピングを活用することで、優れた姿勢精度を発揮する手法です。
D2S+NeRF
Neural Radiance Fields（NeRF）は、2020年に発表された技術で、ニューラルネットワークを使用して、複数の写真から3Dシーンを作成します。深層学習モデルが大量のデータに依存するため、データサンプルが限られている場合は、性能が下がる問題がある。そこで、D2S+NeRFは、NeRFを使用したキーポイント記述子合成のためのパイプラインを導入することで、この課題に対する解決します。