HoloLens の SpectatorView

HoloLens にはDevice Portal のなかに Mixed Reality Capture という、HoloLens で見ている画面をLive Viewで見たり、保存する機能があります。ただこれは開発用途であり、画質や遅延などで若干問題があります。これは HoloLens のデバイスのパフォーマンスによるものだと思われます。

しかしより高画質な映像を作りたい、HoloLens 用に作ったアプリの実行画面を高画質な映像として記録したいという要望に応えて、Microsoft は Spectator View という技術を発表しました。

ただ、この技術はちょっと特殊な構成をしていて Device Portal の Mixed Reality Capture とはちょっと異なった方法で映像を作っています。

1. HoloLens をリグを使ってデジタルカメラと接続します
2. HoloLens をUSBでPCと接続し、ホロレンズの位置や向いている方向のデータをPCで取り込みます
3. HoloLens を固定しているデジタルカメラからHDMI出力で画面キャプチャをします
4. HoloLens のアプリをUnityで実行、再現しここにカメラの映像を重ね合わせます
5. 合成した画像を録画します

まぁなので、環境を作ることも面倒ですし、HoloLens の固定のための環境も作らなければなりません。アプリも当然条件が必要になります。ただ自分のアプリがきれいに撮れるのであればやっぱり環境作りたくなっていしまいますね。