動く手への映像投影を実現、ずれを高速補正
大阪大学の岩井大輔准教授とイスラエル・テルアビブ大学のヨタム・エレル大学院生らは、手へのダイナミックプロジェクションマッピング技術を開発した。手を計測して形に合わせて映像を投影する。手は動きが速く、わずかな遅延でも気付かれてしまう。そこで知覚されない高速処理を構築した。ゲームやエンターテインメントに提案していく。
動いている手の位置と姿勢を3次元計測し、手の形に合わせて映像を変形させてから投影する。ただ3次元計測に処理時間がかかり、10ミリ秒程度の遅れであっても人はずれを知覚できてしまう。そこで高速な2次元処理でずれた分を補う。
手が動いて投影映像がずれた分を2次元画像から検出する。投影漏れに対しては投影済みの領域から色情報を取得して投影する。手の形が変わった部分にはシルエット情報を利用して移動最小二乗法で補う。これらは高速処理でき、3次元計測と並行して実行することで、ずれを知覚されないようにした。
手と指に文字を投影して対応する指を動かす実験では従来法よりも有意に早くなった。用途提案として手のひらや甲に投影するシューティングゲームを作製した。手を動かして宇宙船を操作しても投影映像はずれない。
投影で手をヘビやウサギなどの動物に見せるハンドアートも作製した。多様な表現ができエンタメ分野に提案する。12月3日から東京国際フォーラム(東京都千代田区)で開かれるコンピューターグラフィックスの国際学会「シーグラフアジア」で発表する。
日刊工業新聞 2024年12月4日