ＮＥＣバイオメトリクス研究所の石井遊哉研究員らは、物を持つなどして指が隠れても手の形を認識しやすい立体形状推定技術を開発した。指情報の欠損を前提に機械学習する。隠れて見えない指を推定した影響で、見えている指の推定精度が下がることを防ぐ。仮想現実（ＶＲ）や拡張現実（ＡＲ）のジェスチャー認識などへの応用を目指す。

手の立体形状推定技術はＶＲの入力などに使われる。コロナ禍でデジタル機器を非接触で操作する場面が増えたことで、ジェスチャー入力のニーズは増した。だが、指が重なって隠れたり、物を持つと裏側の指はカメラから見えなくなったりするため、推定精度が下がる問題があった。

そこで指情報が欠損する前提で複数の機械学習を走らせて推定精度を向上させた。手の形状推定では、５本指の指先から各関節など２１点の特徴点を追跡する。このうち指先や第２関節などの５点を欠損させた１６点の形状推定を４種類走らせる。４種類の機械学習の推定結果をまとめて再度、機械学習で２１点の立体形状を推定する。

２１点ある特徴点のうち、画像に映る点が１０点以下になっても識別精度の低下を１１％程度に抑えられた。現在は画像から立体形状の推定に２秒程度かかる。

ＶＲなどの入力に使う場合は手のポーズを決めて止まる必要がある。手話練習ゲームなどクイズ形式の用途では正解発表までの一定の時間として処理できる。用途に合わせて精度と推定時間を調整する。従来の方法では映らない部分の無理な推定結果が、映っている部分の推定精度を下げる問題があった。