４月末に幕張メッセ（千葉市美浜区）で開かれた「ニコニコ超会議２０１８」。１６万１２７７人が来場した会場では、ＮＴＴが最先端の映像や振動技術を用いた“五感”に関わる研究成果を紹介した。視覚や聴覚、触覚を通じて自宅でもコンサート会場などにいるような臨場感を楽しめる未来の可能性を示した。

　今年で３回目を迎えニコニコ超会議の目玉となった「超歌舞伎」。歌舞伎俳優の中村獅童さんとバーチャルシンガーの初音ミクが共演する、伝統芸能と最新技術が融合した新しい歌舞伎だ。

　「こんなに飲み込みが早い人はいない。大変な成長ぶりだ」―。初回公演を終えた獅童さんは、ＮＴＴの最新技術で演出が進化した初音ミクをこう評す。その一端が見られたのが冒頭の超所作事（舞踊劇）の初音ミクの登場シーン。縦２メートル×横１・６メートルの山車に乗った初音ミクが舞台を練り歩いた後、山車から降りて別のスクリーンに移動した。

　山車には、鏡の再帰反射によって光路長を制御する独自の光学構成と複数の表示装置を組み合わせることで３層の空中像を正面と背面から同時に視聴できる「両面透過型多層空中像表示装置」を採用した。ミクに加え、桜吹雪を散らした２層の背景を加えた３層の空中像を山車の正面と背面から同時に視聴できるようにしたという。

　舞台上で演じている獅童さんの姿だけを抜き出し、別の場所へ立体的に投影させる「被写体抽出技術」も進化した。被写体と背景の色情報を機械学習させることで、わずかな色の違いでも被写体と背景を識別できるようにした。

　従来は不可能だった背景に変化があるシーンでの被写体抽出を実現し、悪人役の惟喬親王を演じる中村さんと、白鷺の精霊になった初音ミクの立ちまわりに生かした。

　こうした技術の今後の活用例として、ＮＴＴ研究企画部門の薄井宗一郎サービスプロデュース担当課長は、テレビ会議システムのほか、音楽ライブやスポーツイベントのパブリックビューイングを挙げる。２０２０年には東京五輪・パラリンピックが開かれるだけに最新技術を用いて「昔の街頭テレビを再現させたい」（薄井課長）意向だ。

クッション振動

　「ＮＴＴ超未来大都会」と題したブースでは、家に居ながら熱気あふれるスポーツ試合を体感できる技術を公開した。「ハプティックＴＶ」は、映像コンテンツに触覚データを組み込んで、新しい鑑賞体験を提供する。

　テレビから流れるスポーツ試合や打ち上げ花火といった映像に合わせ、ソファやクッション、リモコンが振動。通常の映像や音に加えて触覚も体験できる。ソファで寝転びながら、まるで会場にいるかのようにスポーツ観戦できる新感覚のコンテンツだ。

ライブ演奏体感

　好きなアーティストのライブ。ギタリストの高度な指さばきで奏でられる演奏を、耳で聴くだけではなく、カラダでビリビリ感じる―。音楽のリズムや強弱に合わせて微弱電流を体に流すことで、リアルタイムに音楽コンテンツを体感できる技術も公開した。

　ＮＴＴと東レが共同開発した、脈拍や心拍数などを計測する機能素材「ｈｉｔｏｅ（ヒトエ）」を活用。ギターの演奏などを微弱な電流に変換し、手首に装着したリストバンド型のヒトエを通じて体に送る仕組みだ。切ないラブソングなら弱く、ハードロックなら強く、といったように流れる電流の強弱は手元のリモコンで自在に調整できる。

　従来は収録音源にあらかじめ触覚コンテンツを埋め込む必要があった。今回、音やリズムなどを即座に微弱電流へ変換して、ヒトエに出力する機能を搭載した。

　これによりリアルタイムの演奏にも対応でき、アーティストとユーザーとの一体感を演出した。ＮＴＴは今後、ライブイベントでの利用を中心に早期の実用化を目指す。

　ＮＴＴが目指すのは、視覚・聴覚に“触覚”を加えた新たなコンテンツの創造だ。コンピューターとハプティクス（触覚）を組み合わせて「コンプティクス」と名付けた。

　コンプティクスは、触覚専用の開発ソフトウエアは使わず、市販の音楽編集ソフト上で簡単に作成できることが特徴。触覚を与えるタイミングや強度、抑揚などを音楽や映像へ自由に組み込むことができる。ユーザーが普段聴いてる音楽や見ている映像に触覚を加えることで、自分仕様に作り込むことを可能とした。

　ＮＴＴは将来的に、触覚コンテンツを手持ちのスマートフォンやパソコン上でも作成、体験できるように簡易化する。このほか、作成コンテンツをインターネット上で共有できる仕組みを構築し、「触覚」をトリガーにした新たなコミュニティーを生み出すことが目標だ。