Azure Media Services によるバーチャル リアリティ映像のライブ ストリーミング
執筆者: John Deutscher (Principal Program Manager, Azure Media Services)
このポストは、4 月 12 日に投稿された Virtual reality live streaming on Azure Media Services の翻訳です。
今回は、マイクロソフトの William Zhang と Cenk Dingiloglu、および VideoStitch 社の Lakshminarasimhan Sundararajan 氏と Claire Van de Voorde 氏が共同執筆した記事をご紹介します。
Azure Media Services ライブ ストリーミングおよびエンコーディング プラットフォームのリリース以降、お客様やパートナー様によってさまざまなユース ケースやシナリオが作成されています。中でも現在 Azure Media Services チームの間で大きな話題となっているのが、360° バーチャル リアリティ (VR) ストリーミングです。
Facebook (英語) や YouTube による 360° ライブ動画サービスの提供開始をはじめ、先日には Comcast からも NASCAR の VR ストリーミングに関する発表 (英語) がありました。また、GoPro も新しいビデオ キャプチャ ハードウェアをリリースするなど、VR ライブ ストリーミングは 4K HEVC/UHD に続く 2016 年の一大トレンドとなっています。
オリンピックなどの大規模なイベントのライブ ストリーミングは、Media Services チームにとっても無関係ではありません。今年ノルウェーのリレハンメルで開催されたユース オリンピックでは、オリンピック放送の歴史上初めて、VR ライブ ストリーミング (英語) を使用して開会式のようすや大会 10 日間の各日のハイライト (英語) などが配信されました。2016 年リオデジャネイロ夏季オリンピック大会では、このテクノロジのさらなる活用が見込まれます。オリンピック放送機構 (英語) は、大会期間中に VR 映像をライブ配信する予定であることを既に発表しています。
360° ライブ ストリーミングや VR のメリットを高く評価するお客様はどんどん増えています。具体的なメリットは以下のとおりです。
- テレビや映画のように単に視聴するだけでなく、ユーザーの参加や双方向のやり取りが促進される
- 臨場感あふれる映像体験を提供できる。これは、スポーツの試合やコンサートなどで特に重要です。
関心の高まりを受けて、一部のベンダーはこの分野に力を入れ始めており、Samsung や Facebook はヘッド ギアを、GoPro はカメラを、VideoStitch はソフトウェアを、といったようにさまざまな製品を提供しています。今回の記事では、Azure Media Services パートナーの VideoStitch が提供する Vahana VR を活用して、Azure Media Services で VR ライブ ストリーミングのワークフローを構築する方法をご紹介します。
360° ライブ ストリーミングのワークフロー
現在 Azure Media Services では、ライブ ストリーミング ワークフローを構築し、数回のクリック操作 (または数行のコード) によって、通常のカメラで撮影した映像を世界中の視聴者にストリーミングできるようになっています。この実証済みのプラットフォームと API、および VideoStitch などのパートナー製品を併用することで、完全な 360° VR 映像のライブ ストリーミングを実現できます。このワークフローの構成要素は以下のとおりです。
- VR 動画をキャプチャするには、360° 対応の VR ビデオ カメラ (英語) を使用する必要があります。こうしたカメラで魚眼レンズを使用するか、複数のレンズを組み合わせることで、以下の図のような 360° (θ) x 180° (φ) の球体を網羅できます。
- 複数のカメラ レンズで撮影した各ビデオ フィードは、キャリブレーション、トリミング、向きの再調整を経て、全天球動画と呼ばれる単一の動画に合成されます。全天球動画では、地球儀に見立てた球体の緯度と経度が平面直交座標系の X 座標と Y 座標にマッピングされます (正距円筒図法)。このとき、X 軸の長さは Y 軸の倍になります。
- このような動画合成製品とサービスは複数の Azure Media Services パートナーから提供されています。VideoStitch もその 1 社で、複数のカメラの映像をキャプチャ、合成する Vahana VR (英語) というオンプレミス ソフトウェアと GPU ベースのハードウェアを提供しています。Vahana VR では、RTMP プロトコルの 360° 全天球ライブ動画を単一の高ビットレートで出力できます。この動画は Azure Media Services の既存のライブ チャネルに簡単に取り込むことが可能です。これは、合成された動画が通常のワイド アスペクト比の映像として Azure Media Services に送信されるためです。
- インターネット経由のマルチビットレート ストリーミングを行えるように、RTMP 形式の 360° ライブ動画のストリームは Azure Media Services のライブ チャネルに取り込まれます。Azure Media Services のライブ エンコーダーを使用して、ライブ入力をマルチビットレートで再エンコードしてパッケージ化することにより、あらゆるデバイス (iOS、Android、ブラウザー、Windows、Mac など) でのアダプティブ ストリーミングに対応できます。
- 全天球動画はアダプティブ ビットレート方式で VR プレーヤー クライアントに配信されます。VR プレーヤーは、正距円筒図法の全天球動画を平面動画に変換します。一度に表示されるのは平面動画の一部のみで、ユーザーが見る方向を変えると、動画の別の部分が表示されます。これにより、臨場感あふれる 360° の映像を体験できます。現在、Azure Media Player ではこのレンダリングがサポートされていませんが、パートナーが提供するソリューションを使用することで、複数の種類のプレーヤーでレンダリングが可能になります。
パートナーが提供する VR プレーヤーには次の 2 種類があります。
- HMD (ヘッド マウント ディスプレイまたはヘルメット装着型ディスプレイ): 二眼レンズのものが一般的で、組み込みのアクセラレータにより、ユーザーの頭の動きに合わせて見える方向が変化します。この種類のプレーヤー製品には、Samsung Gear VR や Facebook Oculus Rift などがあります。eleVR Web プレーヤーでは、Oculus Rift を使用するか、Android デバイスと VR ヘッドセット (Cardboard や Durovis Dive など) を併用して、Web ブラウザーから 360° のステレオ平面動画を視聴することができます。このプレーヤーは JavaScript、HTML5、WebGL を使用して作成されています。サンプルについては、次のセクションをご覧ください。
- 通常のコンピューティング デバイス (スマートフォン、タブレット、ノート PC など): 表示にはプレーヤー ソフトウェアを使用し、見える方向の制御にはタッチ画面、マウス、キーボードのいずれかを使用します。現時点では、Azure Media Player で全天球動画の VR 再生がサポートされていませんが、全天球動画を直接再生することができます。
全体的なワークフローをまとめると、以下の図のようになります。
サンプル
VR ヘッドセットを用意しなくても、Azure Media Services による 360° VR ストリーミングを体験していただくことができます。Chrome または Edge ブラウザーで以下のリンク先にアクセスし、動画の画面上でマウスを 1 回クリックして動かすと、360° 好きな方向を見ることができます。なお、現在以下のリンクは Safari と iOS には対応していません。
360° ライブ ストリーミングや VR に関するご意見はページ下部のコメント欄までお寄せください。フィードバックは MSDN フォーラム (英語) へ、この機能やアイデアへの投票は UserVoice (<https://aka.ms/amsvoice、英語>) までお願いいたします。
4 月 18 日～ 21 日に開催される National Association of Broadcasters (NAB) Show (英語) にもぜひご来場ください。マイクロソフトは South Hall (Lower) SL6810 (英語)、パートナーの VideoStitch は South Hall (Upper) SU6418 (英語) にそれぞれブースを用意してお待ちしています。