ニュースイッチ

日立が遠隔“お手本”システム開発、VRとARで手指の動きをアバター再現

日立が遠隔“お手本”システム開発、VRとARで手指の動きをアバター再現

遠隔地の熟練者はVR端末内に再現された映像空間の中で水をかくように手を動かすと、その動きをVR端末のカメラが捉え、VR空間を泳ぐように移動して視点を動かせる

日立製作所仮想現実(VR)拡張現実(AR)技術を活用して、遠隔地にいる熟練者が現場の作業者に設備の保守作業などのお手本を“やってみせる”ことができるシステムを開発した。設備の復旧が急を要する場合や慎重な作業が求められる場合でも、熟練者の手指の動きをアバター(分身)で再現し、現場にいるかのように作業方法を教示できる。技術者不足などの課題解決につながる仕組みとして実用化を目指す。(編集委員・錦織承平)

システムはまず、プラントなどの現場に設置した複数の3次元(3D)カメラで取得したデータを基に、現場の3DのVR映像をリアルタイムに生成する。空間の広さやシステムが処理できるデータ量によって画像の精細度は変わってくるが、カメラを増やせば理論上はどんな広さの空間でも3D映像として再現できる。この映像が遠隔地の熟練者が装着するVRゴーグル端末中に表示され、熟練者はその映像空間の中で保守対象の設備を観察できる。

遠隔地の熟練者がVR端末内に再現された空間の中で、水をかくように手を動かすと、その動きをVR端末のカメラが捉え、VR空間を泳ぐように移動して、視点を動かすことができる。「熟練者がVR空間に不慣れでも、自分で感覚的に視点を移動してプラントや鉄道車両など保守対象の設備を観察し、適切な対応を判断するのに役立つ」(研究開発グループの沼田崇志主任研究員)という。

次に、熟練者はVRで再現された設備に対して、自らの手指を動かすことで作業のお手本を教示することができる。例えば熟練者がVR映像に合わせて、手指を使って設備の部品を外す動きをしてみせると、その動きをVR端末のカメラが捉え、現場作業者の眼鏡型AR端末に手指型のアバターとして表示する。現場の作業者からは、実際の設備にアバターが重なって動くのを見る形になる。

現場の作業者のAR端末を通した視界。熟練者の手指の形をした黒いアバターが、リングの外し方を教示する

「言葉による説明では、現場作業者の位置や向きに合わせて設備の動かし方などを細かく説明するのは難しいが、手指のアバターを介することで、部品の外し方や手の置き方、使い方などを直感的に伝えられる」(同)。また、熟練者の視点の移動と教示動作を指のジェスチャーだけで切り替えられるため、手指だけでスムーズに操作を完結でき、操作用のコントローラーなども不要になる。

日立製作所は同システムについて、研究所での評価を終えており、今後は作業現場などでの実証に移行する計画。鉄道やプラントなどの大きな設備や現場を使って実証実験を行える事業がないか、社内で検討しているという。

データ通信量の抑制といった技術課題も解消しながら、遠隔地から熟練者や観察者など複数の人が参加できる、産業用メタバース(仮想空間)向けのシステムとして実用化したい考えだ。


【関連記事】 日立が絶対に売却しない子会社とは?
日刊工業新聞 2023年05月10日

編集部のおすすめ