楽天モバイルが実証、スポーツ観戦を高度化するAR技術の全容
楽天モバイルは、第5世代通信(5G)と複合現実(AR)を用いたサッカー試合観戦の実証実験をノエビアスタジアム神戸(神戸市兵庫区)で11月に行った。ARコンテンツの表示には、映像を基に利用者の位置や向きを高精度に推定する「VPS」技術を活用。高頻度に画像をサーバーに送って位置合わせをする必要があり、5Gの高速大容量、超低遅延といった特徴を生かせる。
実証では、5Gスマートフォンやスマートグラスを用いて、試合情報や選手情報、広告などを現実の試合風景に重ね合わせてリアルタイムに表示できることを確認した。一般観戦客の利用を想定し、同社社員のほかに神戸大学の学生10人が参加した。
同社は2020年に座席に設置したARマーカーを読み取ってコンテンツを表示する方法で同様の実証を行った。この方法では、利用者が位置特定のためにマーカーを読み取る手間がかかるほか、読み取る角度によって狙った位置にコンテンツを表示できない場合があった。
今回の実証では、事前に作成したスタジアム内の3次元(3D)マップと、座席からスマホやスマートグラスのカメラで撮影した画像を照合。0・2秒に1回から3秒に1回までの間隔で画像を伝送した。3Dマップと座席から撮った画像の一致点を検出することで利用者の位置や向きを特定し、より正確な位置にコンテンツを表示できる。サービス提供側が座席にARマーカーを設置する労力を省けるのも利点だ。
5Gサービス創出に向けて企業や自治体などと連携する「楽天モバイルパートナープログラム」の参画企業であるイマーサル(フィンランド・ヘルシンキ)のVPS技術を活用した。
VPSの利用には事前に施設内で大量の写真を撮り、それを基に3Dマップを作成する必要がある。楽天モバイルは数千枚の画像を撮影し、数時間から1日かけて3Dマップを作成したという。
そこでパートナープログラムの参加企業に今回作成した3D点群データを提供する。益子宗5Gビジネス本部ビジネスソリューション企画部部長は「スタジアムのような広域の場所で、VPSと(高周波数の電波である)5Gミリ波を使える環境は少ない。スポーツやスタジアム(関連の事業者)に限らず、テストしたい企業は多いのでは」と期待する。
実証では楽天グループの電子商取引(EC)サイト「楽天市場」と連携し、ARで表示した選手のユニフォームを購入できる機能も検証した。このようなECや広告と連携したサービスの実用化も検討する。(苦瓜朋子)