GoogleがVRゴーグル着用者の表情を読み取る特許を出願、表情をアバターに反映

 2018年11月1日、Googleが米国で出願中の、VRゴーグル装着者の表情を読み取る特許が公開された。海外ニュースサイトの「UploadVR」が報じた。

・Google Patents Eye-Tracking System To Read Expressions For VR
https://uploadvr.com/google-patents-eye-tracking-system-to-read-expressions-for-vr/

 これはアイトラッキング用のセンサーを使って目の周囲の動きを検出し、VRゴーグルの装着者がどんな表情をしているかを推測する技術。VRゴーグル内の限られた情報で表情を推測するため、機械学習により構築する独自のアルゴリズムを利用する。

 VRはソーシャルアプリで遠方の人とコミュニケーションを取る用途でも使われているが、表情を伝える方法は乏しい。表情を読み取ってキャラクターに反映させる技術はスマートフォンで既に利用されているが、VRゴーグルを装着すると顔の大部分が隠れてしまうため、外部カメラでの表情認識は難しい。そこで、アイトラッキングで利用されるセンサーを応用して表情を読み取る技術を開発したという。

 表情をリアルタイムでキャラクター(アバター)に反映させる機能では、Appleの「アニ文字」が有名だろう。前面カメラで顔を映すと、画面内のキャラクターが同じ表情をする。同じようなことがVR内でできるようになる。

 アイトラッキングはディスプレイのどこを見ているかを検知する機能だ。視界の端にあたる部分の解像度を下げることで描画負荷を落とすフォービエイテッド・レンダリングや、焦点の当たっている部分をクリアに、それ以外をぼかすことで現実に近い見え方(被写界深度)を再現するといった用途で研究されている。

 今回公開された技術はアイトラッキングセンサーを使うものの、用途はアイトラッキングとは全く異なる。同じセンサーでアイトラッキング機能と併用できるのであれば、無理なくVRゴーグルに導入できるかもしれない。

 ただ、特許を取得したとしても、それが製品に利用されるかは別の話だ。そもそもアイトラッキングがまだ普及しているとは言い難く、この技術が製品レベルで活用できるようになるまでには時間がかかるだろう。しかし、期待する人は多いのではないだろうか。

Reported by 宮川泰明(SPOOL