演奏指揮、振動で伝える…慶大が開発したシステムの仕組み
視覚障がい者参画しやすく
慶応義塾大学の上田雄斗大学院生と杉浦裕太准教授らは、触覚刺激で指揮者の動きを提示するシステムを開発した。目が見えない人もオーケストラや重奏に参加しやすくなる。実験では演奏の出だしのタイミング合わせが有意に改善した。楽団の多様性向上や視覚障がい者のアクセシビリティー(参画しやすさ)向上につながる。
16個の振動デバイスを4×4に並べて触覚ディスプレーを作成した。背もたれに配置し背中に当てて指揮者の動きを提示する。振動刺激の時間差をコントロールすると刺激位置が連続的に移動したように錯覚する現象を利用する。
指揮者の動きを計測して触覚ディスプレーに軌跡を提示し、振動でタイミングのみを提示した場合と軌跡を提示した場合を比較した。するとテンポが遅くなる場面や演奏開始のタイミング合わせが有意に改善した。特に出だしは指揮者が予備拍を一つしか置かないため、指揮が見えない場合においてはタイミングを合わせるのが難しかった。
システムでは指揮の計測から振動提示まで遅延が生じる。システムの遅延は一定なため演奏者が慣れれば合わせやすい。対して人間の指揮者の振れ幅は機械よりも大きい。演奏の出来栄えや一体感は毎回変わるため、練習時は情報が多い方がいいと考えられる。
触覚ディスプレーは軌跡として指揮者の動きの大きさを提示できる。演奏者自身が寄りかかる力加減で振動の大きさを調整できる。
指揮の大きさを強度で表現すると、強すぎると感じることがある。集中を妨げない工夫が必要だった。
日刊工業新聞 2024年02月08日