リズムに乗って手話ゲーム、ジェスチャー認識デバイスで採点

札幌市大が開発

  • 0
  • 0
サイニズムの利用シーン
 札幌市立大学デザイン学部の三上拓哉大学生と松永康佑講師らは、音楽に合わせて踊るように手話で遊べるリズムゲーム「サイニズム」を開発した。音楽の歌詞と手話が対応しており、手本となるキャラクターを身ぶり手ぶりでまねて覚えられる。手の形を赤外線カメラによって判定し、点数を付けてゲームとして成立させた。聴覚障害のある人と健常者が同時に楽しめ、手話を学ぶきっかけになることを期待する。

 ゲームでは「きらきら星」と「ふるさと」の2曲を作成した。「ウサギ」「追いし(追い掛ける)」「山」などの手話の形のマークが音楽に合わせて流れ、リズムと手の形が合うと点数がもらえる。手の形は赤外線式のジェスチャー認識デバイス「リープモーション」を採用。曲目選択を含め、ジェスチャー操作だけでゲームが完結する。

 CGのキャラクターが手話の見本を再現するため、音楽が聞こえなくても楽しめる。実際に手話の専門家に演じてもらい、演者の動きを取り込む「モーションキャプチャー」でキャラクターに移植した。

 リズムゲームとしての完成度が高いため、遊んでいるとその動きは手話だったと後から気が付くように演出可能。小学校などでの教育利用やアミューズメント施設などに提案していく。

日刊工業新聞2017年3月31日

COMMENT

明豊
執行役員 DX担当
デジタルメディア局長

聴覚障害のある人と健常者が同時に楽しめるとことがすばらしい。いろいろ広がりが期待できそうな技術。

関連する記事はこちら

特集