指が隠れても手の形を認識する。NECが開発した「立体形状推定技術」がスゴイ

  • 0
  • 0
5本指の指先5点を欠損させて形状推定する(イメージ=NEC提供)

NECバイオメトリクス研究所の石井遊哉研究員らは、物を持つなどして指が隠れても手の形を認識しやすい立体形状推定技術を開発した。指情報の欠損を前提に機械学習する。隠れて見えない指を推定した影響で、見えている指の推定精度が下がることを防ぐ。仮想現実(VR)や拡張現実(AR)のジェスチャー認識などへの応用を目指す。

手の立体形状推定技術はVRの入力などに使われる。コロナ禍でデジタル機器を非接触で操作する場面が増えたことで、ジェスチャー入力のニーズは増した。だが、指が重なって隠れたり、物を持つと裏側の指はカメラから見えなくなったりするため、推定精度が下がる問題があった。

そこで指情報が欠損する前提で複数の機械学習を走らせて推定精度を向上させた。手の形状推定では、5本指の指先から各関節など21点の特徴点を追跡する。このうち指先や第2関節などの5点を欠損させた16点の形状推定を4種類走らせる。4種類の機械学習の推定結果をまとめて再度、機械学習で21点の立体形状を推定する。

21点ある特徴点のうち、画像に映る点が10点以下になっても識別精度の低下を11%程度に抑えられた。現在は画像から立体形状の推定に2秒程度かかる。

VRなどの入力に使う場合は手のポーズを決めて止まる必要がある。手話練習ゲームなどクイズ形式の用途では正解発表までの一定の時間として処理できる。用途に合わせて精度と推定時間を調整する。従来の方法では映らない部分の無理な推定結果が、映っている部分の推定精度を下げる問題があった。

日刊工業新聞2021年8月4日

関連する記事はこちら

特集