ソニーグループは低遅延機能や正確な遠近法、オクルージョン（遮蔽（しゃへい））表現機能などを備えることで一段と没入感を得られる複合現実（ＭＲ）用のヘッド・マウント・ディスプレー（ＨＭＤ）を開発した。現実世界の物体を肉眼で見るのと同等の遠近法とサイズで画面上に再現でき、仮想と現実世界の物体とをより自然につないで見せることができる。精度をさらに高め、ゲームやスポーツエンターテインメント、ビジネス分野など、幅広い分野での応用を目指す。

ソニーＧのセンシングやビデオ、画像処理などの要素技術を組み合わせた。ＲＧＢ画像のデータと、赤外線プロジェクターによる強度データなどを独自の視点変換・オクルージョンアルゴリズムなどを用いて処理した。

オクルージョンは仮想の物体を現実の物体の前後に配置することにより、隠れているように見せるなど、自然で現実感のある映像にする機能。拡張現実（AR）やＭＲ技術において重要となる。

通常、画像の再構成とオクルージョンの生成には、３次元空間の奥行きを決める高密度で正確な深度マップが必要だった。そのためには多くの計算負荷がかかってしまうため、遅延が発生するのが課題だった。

開発したアルゴリズムは、空間の一貫性と低遅延のバランスを取るため、なめらかな輪郭表現の実現と死角をなくすことに主に焦点を当てるなどして、処理時間を短縮。迅速に深度マップを作製することに成功した。

テスト環境ではＨＭＤを装着した利用者の頭の動きで０・４ミリ秒以下の遅延と、サイズ０・１度未満、位置０・３度未満という高い空間精度を実現した。

没入感のあるＭＲ体験を提供するには、現実世界の物体と仮想空間の物体を同じ画面上で融合する際のオクルージョンや遠近法の精度、さらに利用者の頭の動きに応じた遅延の解決が重要となる。