Google、モバイル機器で使えるハンドトラッキング機能を発表

 2019年8月19日、GoogleはAI分野に関する公式ブログを更新し、新しいハンドトラッキング機能を紹介した。

・On-Device, Real-Time Hand Tracking with MediaPipe
https://ai.googleblog.com/2019/08/on-device-real-time-hand-tracking-with.html

 このハンドトラッキング機能は、6月に開催されたコンピュータービジョン分野のイベント「CVPR 2019」でプレビュー版を発表したもの。同社の提供している「MediaPipe」というフレームワークに追加する形で実装された。

 ハンドトラッキングは、手や指にセンサーを付ける、深度センサーとカメラ映像を組み合わせるといったアプローチが一般的だ。映像の情報だけを元にハンドトラッキングを行う場合、従来はデスクトップPCの高い処理能力を使う必要があった。今回の機能はモバイル機器でも扱えるよう軽量化したのが特徴だ。

 処理は3段階で行われる。まず、映像から手のひらを検知する。次にその周辺だけを切り取った映像に対して21ヶ所の測定ポイントを割り当てる。最後にその測定ポイントの動きをあらかじめ用意したハンドジェスチャーのパターンと照合し、機器への入力とする。

 このうち、測定ポイントを割り当てる処理に機械学習が使われている。約3万点の手のイメージに手動で測定ポイントを入力して学習データとし、様々な手の形のパターンを認識できるようにした。冒頭の画像のように、写真だけでなく3Dモデルを背景と合成したイメージも使用したという。ブログには3人でじゃんけんをする模様の動画も掲載されており、全員の手がきちんとトラッキングできているのが分かる。

 特殊なセンサー等を使わずに高精細なハンドトラッキングができれば、小型デバイスでの活用も見込める。ARグラスなどでの利用も期待できそうだ。

Reported by 宮川泰明(SPOOL