ニュースイッチ

リアルタイムで他人になりすます、驚きのCG技術

しゃべっているときの口の動きや表情、他人の顔でそのまま再現
リアルタイムで他人になりすます、驚きのCG技術

"Source"の口の動きが"Target"の顔に移植され、"Composite"の合成画像を作成

 映画『ミッション:インポッシブル』で、トム・クルーズ演じるイーサン・ハントが樹脂のマスクをかぶって変装し、他の登場人物になりすますシーンはちょっとした見どころの一つ。とはいえ、これはあくまでフィクションでの話。だが、そのデジタル版ともいうべき驚きの技術が登場した。コンピューターグラフィックス(CG)を使い、ある人の顔の表情やしゃべっている口の形をそのままリアルタイムで別の人の顔に移し替えてしまう、というものだ。

 この技術を共同開発したのは、ドイツのエアランゲン・ニュルンベルク大学とマックス・プランク情報研究所、それに米国のスタンフォード大学の研究者。米エヌビディアも研究を支援し、同社のグラフィックスプロセッサー(GPU)を搭載した画像処理装置を提供している。

 ユーチューブのデモ映像を見てもらえば一目瞭然だが、その仕組みはといえば、元の人物Aの顔をビデオカメラで撮影し、肌の色や顔の形、頭の動かし方、顔の深さ情報などを取り込む。それをもとにターゲットとなる人物Bの顔の立体モデルに、元の人物Aの口の動き、表情などのデータを合成。さらに肌の色や頭の形、頭の動かし方、照明や影などを調整する。

 こうすることで、実際に口を動かしてしゃべっているのは人物Aにもかかわらず、あたかもターゲットの人物Bがしゃべっているように見えるような映像を、リアルタイムで作り上げられる。ただし、今のところ目の表情は変えられず、声も元のまま。つまり、Aの声でBの顔がしゃべるということになる。

 成果については、11月2〜5日に神戸で開かれるCGの国際会議「ACMシーグラフアジア2015」でプレゼンが行われる予定。まだプロトタイプであり完成品ではないが、応用としては、多言語でのビデオ会議を行うとき、しゃべっている本人の顔に同時通訳者の口の形を重ね合わせ、あたかも本人がしゃべっているように見せるやり方などが考えられるという。

【デモ映像】
ニュースイッチオリジナル
藤元正
藤元正 Fujimoto Tadashi
合成された顔の表情があまりにリアルなので驚いてしまったが、元の顔がカメラから外れると合成した顔が化け物のように歪んでしまう。まだ改善の余地ありのようだ。さらに、想定される悪用事例として、すでに死亡した人物の映像をもとに、その人物がまだ生きているかのように見せかけるトリックに使える、といった指摘もある。

編集部のおすすめ