Facebookが鏡のある風景を正常に3Dスキャンできる技術を公開、「SIGGRAPH 2018」で発表へ

 2018年8月2日、Oculusは公式ブログを更新し、Facebook Reality Labsの開発した、3Dスキャンで障害となりやすい鏡の問題を解決する技術を公開した。

・Research Reflections: Facebook Reality Labs Unveils New Mirror Reconstruction Technology Ahead of SIGGRAPH 2018
https://www.oculus.com/blog/research-reflections-facebook-reality-labs-unveils-new-mirror-reconstruction-technology-ahead-of-siggraph-2018/

 これは、現実の空間をスキャンしてCGで再現する際に役立つ技術だ。これまではスキャン対象の風景に鏡があると、映った像を元に間違った座標情報を構築してしまっていた。そのため以前は鏡を無視してスキャンしていたが、鏡のように反射するものは至るとことに存在しているため、現実世界を再現するアプローチの障害になっていたという。

 課題としては、鏡を認識することと、鏡と鏡でない部分の境界を正しく検出することだった。解決のために作成した器具が以下のものだ。映像用カメラ、奥行き検出用の赤外線カメラと赤外線照射装置、SLAM(Simultaneous Localization and Mapping、いわゆるinside-out方式の位置トラッキング)用カメラを搭載。これに鏡を認識するために「April tag(二次元マーカー)」を取り付けた。

 映像にマーカーが映っていれば鏡があると分かる。しかしそれだけでは不十分で、鏡がどのような形なのかも検出する必要がある。そこで、マーカーの見え方とカメラから得られた色や奥行き情報など多数の要素を組み合わせ、鏡の端の部分を検出する仕組みを作った。これにより、形状によらず、枠のない鏡やガラスでも検出できるようになったという。

 鏡が正しく検出できるとCGでもそのまま鏡として扱えるため、より正確に現実の空間をスキャンできるようになる。研究の結果、撮影した生データからCGでの再現まで一連の作業を処理できるシステムの構築に成功したとしている。

 現在は平面の鏡にのみ対応するが、将来的には平面以外の鏡にも応用できるという。

 この研究は以下のWebページから論文をダウンロードできる。また2018年8月12日から16日までカナダのバンクーバー市で開催される「SIGGRAPH 2018」で発表する予定だ。

・Reconstructing Scenes with Mirror and Glass Surfaces
https://research.fb.com/publications/reconstructing-scenes-with-mirror-and-glass-surfaces/

Reported by 宮川泰明(SPOOL