音の波、高精細に可視化

ＮＴＴは１７日、ＮＴＴ西日本クイントブリッジ・プリズム（大阪市都島区）で２４―２６日に開く「ＮＴＴコミュニケーション科学基礎研究所オープンハウス」の報道機関向け内覧会を都内で開いた。「語り会おう・未来のコミュニケーション」をテーマに、錯覚を利用して複数のモニターの枠を飛び越えた３次元（３Ｄ）映像を提示できるシステム、リアルタイムの音声変換など最新の研究開発技術２２点を紹介。視覚や聴覚を用いた技術革新の実用化を目指す。（編集委員・水嶋真人）

巨大３Ｄ空中像提示システムは、脳の映像補完の働きを誘発する透明視錯覚を用いた映像デザインにより飛び出す３Ｄ像を表示。種類やサイズの異なるモニターがふぞろいに設置され、モニター間の隙間によって映像が部分的に欠損する場合でも３Ｄ映像の欠損箇所が脳で補完される。

補完された映像の箇所の背後には映像を提示する画面がなく、隙間があることで逆に３Ｄ像がモニター群の配置場所から分離して空間内に存在するように感じられる体験を３Ｄ眼鏡を通じて可能にした。今後は液晶モニターだけでなく、プロジェクターなども用いた巨大３Ｄディスプレーの実現を目指す。

このほか、音の波をハイスピードカメラと人工知能（ＡＩ）で高精細に見える化する技術も世界で初めて開発した。目に見えない音を光の明るさに変換する特殊なイメージング装置と独自の深層学習モデルを活用。音を動画像として捉える光学的音場イメージングの大幅な高精度化に成功した。この結果、「従来技術では検出できなかった微弱な音の波を高精細にイメージングできるようにした」（担当者）という。

空気中を伝わる音の波を動画像として観測できるため、騒音の評価や音響機器の開発などに利用できる。空間に存在する音を完全にデジタル化する「音のデジタルツイン」技術への活用を見込む。

一般ユーザー向けでは、ウェブ会議で発話者の抑揚や声質を聞き取りやすい音声に変換できる「リアルタイム音声変換技術」を開発した。声質や抑揚、リズムなどを柔軟に変化できる技術と、音声の特徴から音声波形を生成する技術を融合。入力音声から抽出した中間特徴量に、変えたい音声の情報を付与することで変換音声の特徴量を生成する。

変換音声を生成する際に未来の入力音声フレームを一切使わず、現在と過去の音声フレームから変換音声を生成することでリアルタイム音声変換を実現した。発声機能に障がいを持つ人の声を聞き取りやすくするほか、流ちょうな英語の発音、緊張による声の震えの解消などへの利用につなげる。