Owlchemy LabsがスマホでVR内を覗く「Mobile Spectator」アプリを紹介、研究中のため製品化は未定

 ヒット作「Job Simulaotr」のメーカーとして有名なOwlchemy Labsが、研究の一環として開発したスマートフォン用アプリ「Mobile Spectator」を公式ブログで発表した。

・Owlchemy Lab Report: Mobile Spectator - AR Spectator Camera Experiment
https://owlchemylabs.com/owlchemy-mobile-spectator-ar-spectator-camera/

 Mobile Spectatorは、VR空間をスマートフォンで覗けるようにするアプリだ。通常、VRゴーグルを着けていない人はVR空間を見られないのだが、Mobile Spectatorを使うとスマートフォンの画面を通して見られるようになる。VRゴーグルの視点を複製するのではなく、スマートフォンからの独立した視点でVR空間を見られる。VRゴーグルを装着した人からは、VR空間内でスマートフォンが浮いているように見える。

 Mobile Spectatorは、パソコンとスマートフォンを連携させて動作する。PCがスマートフォン用の画面もレンダリングし、動画としてスマートフォンに送る仕組みだ。スマートフォン側はARCoreを使って位置トラッキングするため、VR内を移動可能。PCでレンダリングするので、描画品質はPCレベルとなる。

 見るだけでなく、VR内の様子のスクリーンショットを撮ったり、タップでVR内に干渉したりもできる。ブログでは、自分に向かって投げられたビーチボールを弾くというデモを行っている。

 VR空間で何が起こっているのかを伝えるため、VRゴーグルを装着している人をカメラで撮影して、クロマキー合成を利用してVR内の映像と合成するという手法はよく見るようになった。ただ、背景を緑一色にした撮影スペースを用意するなど、準備に手間がかかるのが難点だった。Mobile Spectatorなら、見せ方は異なるものの、VR内のことを伝えるという点では同じことがずっと手軽にできる。

 ただし、課題もある。PCがスマートフォン用の画面もレンダリングし、リアルタイムで動画エンコードもしなければならないため負荷がとても高い。さらにスマートフォン側でも受け取った動画をデコードしなければならないため、現時点では若干の遅延が避けられないという。

 VR内の様子を第三者視点で手軽に撮影できるというのはとても興味深い。実際のVRコンテンツにこの機能を搭載する予定はまだないようだが、デモ動画の制作が簡単になるだけでなく、ゲームでPCとスマートフォンの役割を分けた協力プレイを実装するなど、活用の幅は広いだろう。今後に期待できそうな技術だ。

Reported by 宮川泰明(SPOOL