Facebook Reality Labsが「DeepFocus」をオープンソース化、より自然な見え方を推進

 2018年12月19日、Facebook Technologies(Oculus)は公式ブログを更新し、リアルタイムで「ボケ」を作る技術「DeepFocus」を紹介した。さらに、これをオープンソースとして公開すると発表している。

・Introducing DeepFocus: The AI Rendering System Powering Half Dome
https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/

 DeepFocusは、Facebook Reality Labsの開発している、リアルタイムで映像の一部をぼかす技術だ。VRにおける映像のリアルさを追求するアプローチの一貫となる。9月に実施した独自イベント「Oculus Connect 5」でも紹介していた。同社の最終目標は、これをコンテンツのメーカーがプログラムを修正しなくとも利用できるようにすることだ。オープンソース化することで、より多くの人がボケに関する研究をできるようにする。

 人の目は、焦点の合っているものははっきりと見え、合っていないものはぼやけて見える。遠くのものを見ていると近くにあるものがよく見えない現象も同じだ。こうした切り替えは無意識に行っている。

 一方、VRゴーグルのディスプレイは平面なので、遠くと近くで見え方に差が生まれない。VRの映像がリアルになればなるほど、ぼやけるはずのものがはっきり見えるという現実とのずれが疲労感を生む。DeepFocusが目指すのは、このずれの解消だ。具体的にどのように見えるのかは、同社の公開している動画が分かりやすい。

 こうした「自然な見え方」へのアプローチは今回が初めてではない。同社は以前、「Half Dome」というVRゴーグルの試作品でディスプレイを前後に移動させるという方法を提示している。DeepFocusはソフトウェアによる方法だ。考え方としては簡単で、アイトラッキングにより画面内で目の焦点が合っている場所を特定し、そこをはっきり描画して周囲をぼかす。これにより目の本来の見え方を再現する。ただ、実現するのは簡単ではなかった。

 VRのディスプレイは顔の動きに追従するために高いリフレッシュレートが求められる。またレンズで拡大するため、きれいな映像を得るには高い画素密度(解像度)が必要になる。解像度が高いということは1画面の描画に必要な処理性能が高くなり、リフレッシュレートが高いということは1画面の描画に使える時間が短くなるということだ。VRゴーグルの描画にはもともとこうした高いハードルがある。ここに、さらにアイトラッキングの処理と、それに基いたボケの処理を加えなければならない。

 従来の方法では処理に時間がかかり過ぎ、PCでは実行できない。そこで、DeepFocusではAIとディープラーニングを利用し、処理速度を上げた。これにより、イベントでデモを実施できるまで軽量化できた。ただ、デモ用のPCは4台のGPUを使っており、動作させるには一般ユーザーのPC環境よりはるかに高い性能が必要だった。ここからさらに軽量化できなければ、一般利用には耐えられない。

 同社もまだDeepFocusの開発の途上段階にある。利用にはアイトラッキング機能が必要なうえ、PCの負荷が大きくなるのに映像の品質が上がるわけでもなく、ユーザーがメリットを感じにくいという面もある。ただ、快適なVR体験には重要な要素でもあるため、こうした研究はより注目されるようになっていくのではないだろうか。

Reported by 宮川泰明(SPOOL