「Oculus Rift S」のパススルー機能が「Turing」世代のGPUで強化可能に

 2019年5月23日、Oculusは開発者向けブログを更新し、NVIDIAの「Optical Flow」を利用した「Oculus Rift S」の「Passthrough+」機能の改善について紹介した。VRゴーグルを付けたまま周囲の様子を確認するための機能が強化される。

・ASW and Passthrough+ with NVIDIA Optical Flow
https://developer.oculus.com/blog/asw-and-passthrough-with-nvidia-optical-flow/

 Passthrough+は「Oculus Rift S」に搭載されたパススルー機能だ。カメラの視点ではなくユーザーの視点での映像が見られることと、立体視に対応していることが特徴だ。これはただカメラの映像を流すのではなく、2台のカメラからの映像を分析し、合成してユーザーに見せる映像を作るというプロセスで実現している。

 その際に使うのが「Asynchronous Spacewarp(ASW) 2.0」だ。ASW 2.0の本来の機能はPCの性能が足りずにフレームレートが落ちてしまう場合に、補完フレームを作って擬似的にフレームレートを上げるというもの。このフレーム生成機能を応用して、ユーザー視点の映像を作り出している。

 一方、Optical Flowは映像のフレーム間の違いから物の動きを検出する機能。もとは動画エンコードを補助する機能だったが、動き検出の機能として強化、独立させたものだ。ASW 2.0は直前の数フレームから動きを予測して補完フレームを作る。動きを予測するOptical Flowとは相性が良いのが分かるだろう。

 どのような効果があるかは、得られる深度情報を比較した下記動画を見ると分かりやすい。左が従来の手法で、右がOptical Flowを使った手法だ。両画面の中央にあるウインドウは深度情報をマッピングしたもので、左はところどろ抜けができるのに対し、右はほぼ全体の深度が取得できているのがわかる。従来の方法でも実用レベルではあるものの、Optical Flowを使えばさらに改善できるという。

 Optical Flowへの対応はもうすぐ適用されるという。利用するにはNVIDIAの「Turing」世代のグラフィックチップが必要だ。

Reported by 宮川泰明(SPOOL