フォード GT40 エクスペリエンスの作成
"MRTK 以前に、Unreal を使用して HoloLens 2 のための開発を行うことは、すべての空間操作を C++ で手動コーディングする必要があったため、少し面倒でした。 Unreal 用の MRTK により、これらの同じ作業の多くが簡単になりました。 最初のプロトタイプに必要な時間が半分に短縮されたように思います。" - Jose Rodriguez、ソフトウェア開発者
"フォード GT40 エクスペリエンスにより、忠実度の高い HoloLens 2 アプリを、わずかな予算で数か月だけで完成できることが実証されましたが、これは現在でもインパクトの高い結果です。" - Daniel Cheetham、最高イノベーション責任者、Happy Finish
クリエイティブな制作会社である Happy Finish は、Unreal 用の Mixed Reality Toolkit (MRTK) を使用して、フォード GT40 (ルマン 24 時間レースでフェラーリに勝った伝説のレーシング カー) を新たな視点で見ることができる HoloLens 2 エクスペリエンスを発表しました。
ユーザーは、一定範囲の自然で直感的な空間操作を使用して、GT40 の美しさ、性能、技術を調べることができます。これらはすべて、Unreal Engine によって提供される高い視覚的再現性を利用して実現されています。 プロジェクト全体のソフトウェア開発は 1 人の開発者が 3 か月未満で完了しましたが、これは、Unreal 用の MRTK のビジュアル スクリプティングと設計環境にって実現しました。
HoloLens 2 で Microsoft Store からアプリをダウンロードする
HoloLens 2 デバイスをお持ちの場合は、デバイスに直接アプリをダウンロードしてインストールできます。
説明
Happy Finish は、世界有数のクリエイティブな制作会社の 1 つであり、フォード、Microsoft、Nike、Netflix、Vodafone、その他の有名企業がクライアント基盤となっています。 この会社は、ハイエンド フォトレタッチの代理店として始まり、フィルムと CGI に手を広げ、その後に 3D 空間の設計と操作によるイマーシブなストーリーテリングで優秀さを発揮するようになりました。
2020 年の中ごろ、Microsoft は Happy Finish にアプローチしました。これは、Unreal 用の新しい Mixed Reality Toolkit (MRTK) が持つ可能性を示すことができるデモ アプリを作成するためです。この MRTK は、Unreal Engine での HoloLens 2 のサポートに基づき構築されています。 この時点で、この会社は、既に 2 つの Unreal-on-HoloLens 2 プロジェクトを成功させていました。 どちらもグローバルに認められたコンシューマー ブランド向けであり、クライアント独自のハイエンド製品を最もよく示すために必要な、高い視覚的忠実性を備えた内部 R&D/B2B 販売ツールのHoloLens 2で Unreal を選択しました。
ソリューション自体は Happy Finish に任されましたが、このソリューションでは、いくつかの主要なガイドラインを満たす必要がありました。 第 1 に、ゲーム業界の外部で Unreal on HoloLens 2 の有用性を示すために、エンタープライズ シナリオに重点を置く必要がありました。 第 2 に、デバイス単体にする必要がありました。つまり、ネットワーク接続と外部の処理能力を必要としないスタンドアロン デモとして機能でき、それにより、目標のフレーム レートとビジュアル品質を達成する必要がありました。 第 3 に、MRTK でサポートされる特定範囲の直感的操作を、シームレスで自然なエクスペリエンスに融合する必要がありました。 最後に、提案ソリューションで、固有の視覚的再現性と、Unreal Engine 自体のその他の利点 (シェーダーの効果など) を示す必要がありました。
Happy Finish は、これらのガイドラインを考慮して、空間操作を使用して有名ブランドの高価値製品の価値を伝える Mixed Reality エクスペリエンスについてアイデアを出し合いながら、可能性のブレーンストーミングを開始しました。 Happy Finish は、時計、カメラ、自動車、自家用ジェット機など、特定範囲の物を検討した後、最終的にフォード GT40 を使用することに決めました。これは、ルマン 24 時間レースでフォードがフェラーリに勝利した 1966 年に有名になった伝説の自動車です。この模様は 2019 年の大ヒット映画「フォード vs フェラーリ」で描かれています。
Happy Finish は、既存の Happy Finish のクライアントであるフォードから賛同を得た後、このクラシック自動車の象徴を新しい視点から見れるようにすることを目指しました。
解決策
作業は 2020 年 5 月 7 日に開始されました。 GT40 モデルのファイルを入手した後、3D アーティストは、ポリゴン モデルの最適化、UV マッピング、テクスチャ マップの再ペイント、それらのマップをできるだけ少ないテクスチャに凝縮することに 3 週間を費やしました。 技術アーティストは、並行して作業を行い、3D アーティストの制作物を基準に従って評価し、指定の目標フレーム レートで最適なテクスチャ サイズを決定し、Unreal でカスタム シェーダーを適用する最適な方法を判別しました。 この制作準備段階のすべての作業は、デバイスでのエクスペリエンスを最適化するために行われました。
制作準備段階の作業が完了した後、クリエイティブ ディレクターの Alex Lambert が作業を開始しました。 彼は、最初に「フォード vs フェラーリ」を鑑賞し、シナリオの物語性と操作性をどのように組み合わせるかについて考察しました。 彼は、UI アーティストのために視覚的参照物 (GT40 の計器盤の画像、ルマンのレースコースの視覚的情報など) も収集し、またサウンド デザイナーのために GT40 が動いているときのオーディオ録音も収集しました。
フリーランスのソフトウェア開発者である Jose Rodriguez が、物語風に定義され最適化された制作準備段階のアセットを手にして、すべてをひとつにまとめるために積極的に参加しました。 Rodriguez は、Unreal 用 MRTK がリリースされる前、Happy Finish が行った以前の 2 つの Unreal-on-HoloLens 2 プロジェクトの開発者でした。
Unreal 用 MRTK が提供する価値が早い段階で実証され、その支援により、Rodriguez は 1 週間で最初のプロトタイプを提供しました。 彼は、3 つの固有シナリオを実装しました。これらは、Lambert が特定した GT40 の重要な特徴それぞれに対応します。つまり、その美しさ、性能、技術です。 シナリオごとに、Rodriguez は MRTK を使用して、制作準備段階の最適化された 3D アセットを、特定範囲の空間操作に統合しました。
Unreal 用 MRTK により、Rodriguez は、視覚的な Unreal Motion Graphics (UMG) UI Designer を使用して各シナリオを構築できました。このため、C++ ですべてを実装する必要がありませんでした。 Unreal 用 UX Tools (MRTK 内の UX 構成要素とコンポーネントを含むプラグイン) により、彼は、入力シミュレーション、手操作の視覚的スクリプト作成、押しボタン、3D 画像操作、表面吸着などのための Unreal Blueprints を使用できるようになりました。これらはすべて、コード不要のドラッグ アンド ドロップ環境内で使用できます。
Rodriguez は次のように述べています。"MRTK 以前に、Unreal を使用して HoloLens 2 のための開発を行うことは、すべての空間操作を C++ で手動コーディングする必要があったため、少し面倒でした。" "Unreal 用の MRTK により、これらの同じ作業の多くが簡単になりました。 最初のプロトタイプに必要な時間が半分に短縮されたように思います。"
チームは、プロトタイプを手にして、エクスペリエンスを洗練させるために、毎週の繰り返し作業を開始しました。 Lambert は次のように述懐しています。"このときは Mixed Reality キャプチャ機能と Windows デバイス ポータルが本当に役に立ちました。" "私は、これらを使用して自分の設計のレビューをキャプチャし、自分のフィードバックを他のユーザーにブロードキャストし、変更に関して共同作業を行いました。 このようなツールがなかったら、そのように独立して作業することは不可能でした。"
Lambert が UI 要素の位置の変更やボタンの動作の変更などの変更を要求したため、Rodriguez がそれらを実施しました。 一部の変更では小規模なコードの調整が必要でしたが、ほとんどの変更は Unreal のビジュアル デザイナーで処理しました。 Rodriguez は次のように述べています。"繰り返しの作業を非常に速くできたことに驚いています。" "時間を浪費することはありませんでした。デザイナーで変更を行い、[play] (再生) を押して、ただちにそれをデバイスで確認できました。 MRTK により、作業が非常に効率的になりました。"
また、Rodriguez は、すべての開発ツールの生産性が非常に高いことが印象に残ったと述べています。 彼は次のように述べています。"私たちは、最初のプロトタイプから最終的な製品までスムーズに進みました。立ち戻って、コード内で何かを再実装することや、最適化することは必要ありませんでした。"
最終ビルド
Happy Finish は、伝説的なレーシング カーを新しい視点で見ることができる、HoloLens 2 用のフォード GT40 エクスペリエンスの製品を 2020 年 7 月 28 日に完成させました。 このエクスペリエンスは、ウェルカム画面から開始されます。その後、ユーザーは、ガイドに従い、フォードのロゴをつかんで、テーブルや机の上などの平面にそれを置くことで、アンカーを設定します。
美しさ
美しさの分野では、ユーザーは GT40 コンフィギュレーターを使用します。ここでは、本物の自動車がモーター ショーで展示される方法と同じ方法で、回転する台の上に GT40 が表示されます。 ユーザーは、さまざまなホイール オプションを適用すること、さまざまな配色を選択すること、ドアやトランク (英国では boot と呼ばれる) を開くことや閉じることができます。 ユーザーは、美しさのエクスペリエンスを通じて、自動車を持ち上げることや、近くで見るために自由に動かすことができます。
パフォーマンス
性能の分野では、GT40 の速度と耐久性が示されます。 音声が再生され、自動車の開発方法、アリゾナ州キングマンにあるフォードの性能試験場で速度が厳しくテストされたことが説明され、同時に 3D ビジュアルで、テスト コースを走行する GT40 が表示されます。性能分野への導入部が終わると、"[Le Mans] (ルマン) ボタンを押して、レーシング コースに触れてください" という内容の音声がユーザーに対して再生されます。
性能分野の 2 番目の部分では、ドライバーがルマン 24 時間レースで経験した特定範囲の条件下での GT40 が示されます。ルマン 24 時間レースは、フランスのルマン市近くのサルト サーキットで毎年開催されます。 3D ビューには、ルマンのコースを走行する自動車が表示され、自動車の速度を早くしたり遅くしたりできるボタンが表示されます。 GT40 のアナログ スピードメーターとタコメーターの画像が、レースコース ビューの上の空間に表示され、背景にはレースの詳しい測定情報が表示されます。 ユーザーは、日と夜のビュー、ドライとウェットの運転条件を切り替えることができ、Ken Miles やその他の GT40 ドライバーが実際のレースで経験したことを非常にリアルな視点で体験できます。
Engineering
フォード GT40 エクスペリエンスの技術分野では、フォードがレースに勝利するのを助けた技術的革新の 1 つが示されます。これは、ブレーキのローターとパッドを 1 分未満で交換できることです。これに比べて、他のすべてのチームは交換に 20 から 30 分必要とします。 ユーザーは、直感的なジェスチャを使用して、GT40 のホイールとブレーキの部品の詳細な 3D モデルを操作できます。 部品を展開するには、ユーザーは、ラグレンチを選択し、それをホイールのセンター ロックに配置し、反時計回りに回転させ、その部品をホイールから引き離します。 その他のジェスチャを使用して、磨耗したブレーキのローターとパッドを取り外し、それらを新しいものと交換し、部品を折りたたみ、センター ロックを再び取り付けることができます。 背景では、タイマーによって経過時間が示されます。これにより、ユーザーは、ルマンのピット クルーのように素早く作業を完了できるかどうか確認できます。
フォード GT40 エクスペリエンスは、Microsoft Store からダウンロードできます。これにより、HoloLens 2 を所有しているユーザーは誰でも、Happy Finish が、どのような方法で伝説的なレーシング カーを新しい視点で見ることができるようにしたかを確認できます。
優れた視覚的再現性を得る
フォード GT40 エクスペリエンスでサポートされる特定範囲の空間操作は、それ自体で優れていますが、エクスペリエンスによって実現される創造性と視覚的再現性によって、さらに輝きを増します。 Happy Finish は、3D モデルの最適化と Unreal カスタム シェーダーの使用を通じて、目標の 1 秒あたり 60 フレームを達成しました。これは、サイズが 315,000 ポリゴンに近いアプリの性能分野でも達成しています。
Lambert は次のように述べています。"一連の流れるような直感的操作を、明確で魅力的な物語に組み込むことができてとても満足しています。" "明らかに、Unreal Engine on HoloLens 2 の力によって、魅力的で驚きに満ちた Mixed Reality エクスペリエンスの新しい世界が開かれるでしょう。 妥協のない視覚的再現性が、必ずしも HoloLens 2 のエンタープライズ アプリケーションの最終目標となるわけではありませんが、これが最終目標の場合、Unreal on HoloLens 2 のサポートが真価を発揮します。"
迅速なソリューションの配布
エンド ユーザー用のフォード GT40 エクスペリエンスも優れていますが、Happy Finish がそれを配布するまでの迅速性も優れています。プロジェクト全体で、制作準備段階から最終的な配布まで、12 週間未満で完了しました。 手短に言うと、プロジェクトの作業時間は 1088 時間で、内訳は次のようになります: クリエイティブ ディレクター (80 時間)、UX デザイナー (56 時間)、UI デザイナー (40 時間)、サウンド デザイナー (40 時間)、3D/テクニカル アーティスト (328 時間)、ソフトウェア開発者 (408 時間)、テクニカル ディレクター (40 時間)、プロデューサー (56 時間)、品質保証 (40 時間)。
会社のインタラクティブ部門を統括する Daniel Cheetham (Happy Finish の最高イノベーション責任者) は次のように述べています。"全体的に、元のプロジェクトの予測に非常に近い結果となりました。" "フォード GT40 エクスペリエンスにより、忠実度の高い HoloLens 2 アプリを、わずかな予算で数か月だけで完成できることが実証されましたが、これは現在でもインパクトの高い結果です。"
Rodriguez は、Unreal on HoloLens 2 での前の経験に基づいた開発の視点から、Unreal 用 MRTK により、自分の担当部分で必要になる合計時間と労力が半分になると予測しています。 また彼は、HoloLens 2 を扱った経験のない開発者が作業を開始できるようにするために、MRTK でどのように支援できるかについても注目しています。 "他の開発者が Mixed Reality に関心があると言うと、私は彼らにすぐに HoloLens 2 開発スタックと MRTK をインストールして使用するように勧めます。 MRTK を使用すると、アプリを素早く簡単に構築できます。また Unreal ビジュアル エディターが適切に動作するため、HoloLens 2 デバイスを起動させる必要さえありません。 まったく複雑ではなく、すべてが適切に機能します。"
Azure サービス拡張の可能性
Lambert は、Azure Mixed Reality サービスを使用してフォード GT40 エクスペリエンスを拡張する方法をいくつか見つけました (Azure Spatial Anchors を使用して、実世界にアンカーを設定してマルチユーザー エクスペリエンスを提供するなど)。 彼は次のように述べています。"クリエイティブな視点から見ると、Azure Spatial Anchors が提供する、物理世界内の 3D コンテンツや対象ポイントをマップ、永続化、復元する機能を通じて、まったく新しい範囲の可能性が開かれます。"
また Lambert は、詳細で複雑な 3D モデルを操作する一方で、Azure Remote Rendering または Azure からのアプリのストリーミングを使用して、目的のフレーム レートを達成する方法を構想しています。 彼は次のように述べています。"デバイスで 1 秒あたり 60 フレームの目標を達成するために、Unreal で高度に最適化されたカスタム シェーダーを実装する必要がありました。" "Azure Remote Rendering を使用すると、より多くのことをより簡単に実行できます。このとき、ポリゴン モデルの最適化、テクスチャ マップの再ペイントなどを行うために必要な多くの処理は不要です。"
無限の新しい可能性
Happy Finish が次に行うことは何でしょうか。 フォード GT40 エクスペリエンスに関するフォードのフィードバックは非常に肯定的であり、今後の HoloLens 2 プロジェクトに関して Happy Finish とフォードの間でさらなる議論が行われることになりました。 Happy Finish は、フォードとの関係の外部では、HoloLens 2 に関する新しいプロジェクトを既に開始しています。このプロジェクトでは、Unreal 用 MRTK が、ほとんどのユーザー エクスペリエンスの基本構成要素となっています。
Cheetham は次のように述べています。"私たちは、新しいプロジェクトごとにテクノロジに依存しないアプローチを常に維持し、クライアントが望ましい結果を得られるよう支援する最適なツールセットを提案しています。" "とは言え、HoloLens 2 は、Mixed Reality の事実上の揺るぎない標準として登場し、特に企業においては、デバイスの機能とサポートされるエコシステムの普及という両方の観点から、他のすべてのオプションをはるかに凌ぐ位置にあります。"
Cheetham によると、世界的なパンデミックによって、潜在的な顧客の間でイマーシブな Mixed Reality への新たな関心が高まっているようです。 彼は次のように述べています。"潜在的なクライアントの 50 パーセントが Mixed Reality オプションについての議論に前向きであるため、私たちはこれまで以上に忙しくなっています。" "重要なのは、彼らがそれを試すように仕向けることです。 彼らに Mixed Reality について一日中話すこともできますが、HoloLens 2 を手渡して実際に体験してもらうと、彼らはそれが大きな影響を与える革新的な物であることをただちに理解します。 HoloLens 2 での Unreal Engine のサポートによって、私たちが提供できる価値が増えるだけでなく、最も要求の厳しいクライアントでさえ確実に満足させる視覚的に非常に魅力的なエクスペリエンスを私たちは提供できます。"
お試しください。
GitHub で HoloLens 2 での Mixed Reality 開発の概要に関するページ、またはUnreal 用の MRTK に関するページを参照してください。