カラフルな手袋で正しい手話を学ぶ!手や指識別する手話学習システム開発

神奈川工大など、1回の動作で6割以上を認識

  • 0
  • 0
カラー手袋を着用した学習者がウェブカメラに向かって手話を実演し、正しくできているかを評価する(神奈川工大提供)
 神奈川工科大学の西村広光教授は、システム開発のケイ・シー・シー(東京都江東区、阿部孝彦社長、03・5646・9121)と共同で、手話学習支援システムを開発した。カラー手袋を着用した学習者がウェブカメラに向かって手話を実演し、正しくできたかを調べたところ、1回の動作で6割以上を認識した。システムが予測した単語候補として上位三つに含まれたケースは、8割以上を実現。2018年度中の実用化を目指す。

 手袋はそれぞれの指に異なる色を彩色することで、色の種類から手・指を識別できるようにした。検出した色の重心位置を追跡することで、手・指の位置と動きの検出が可能。性能の評価は認識エンジンである「隠れマルコフモデル」(HMM)などを用いて測定した。

 ケイ・シー・シーでは、手話学習者向けに実写の動画を見ながら表情と動きを学べるアプリ(応用ソフト)「SmartDeaf」(スマートデフ)を実用化している。このアプリは学習者が映像を見ながら手話を学べるものの、正しい手や指の動きができているかなどを評価したいといったニーズがあった。
 
 手話の認識評価にかかるスピードを速めるなどした上で、手話学習支援システムの実用化を図る。このアプリと連動させることで、自習と評価の両方の達成も可能になる。

日刊工業新聞2017年5月10日

COMMENT

昆梓紗
デジタルメディア局
記者・編集者

実際の手話の会話は動きが速いため、スピードの向上は欠かせません。

関連する記事はこちら

特集