Tworzenie środowiska Ford GT40
"Przed MRTK, opracowanie dla HoloLens 2 przy użyciu Unreal było nieco żmudne, ponieważ wszystkie interakcje przestrzenne musiały być zakodowane ręcznie, w języku C++. MRTK dla Unreal wykonane wiele z tych samych zadań trywialne. Oszacowałem, że skróci to czas wymagany do początkowego prototypu w połowie." - Jose Rodriguez, deweloper oprogramowania
"Ford GT40 Experience jest dowodem na to, że aplikacja HoloLens 2 wysokiej wierności może zostać ukończona w ciągu zaledwie kilku miesięcy, z skromnym budżetem, ale nadal dostarcza bardzo wpływowe wyniki." - Daniel Cheetham, dyrektor ds. innowacji, Happy Finish
Korzystając z Mixed Reality Toolkit (MRTK) dla Unreal, kreatywnej firmy produkcyjnej Happy Finish dostarczył HoloLens 2 doświadczenie, które zapewnia świeżą perspektywę na Ford GT40, legendarny samochód wyścigowy, który pokonał Ferrari na 24 Godziny Le Mans!
Korzystając z szeregu naturalnych i intuicyjnych interakcji przestrzennych, użytkownicy mogą eksplorować piękno, wydajność i inżynierię GT40 — wszystko to jest dostarczane w sposób, który korzysta z wysokiej wierności wizualnej zapewnianej przez Unreal Engine. Tworzenie oprogramowania dla całego projektu zostało ukończone przez jednego dewelopera w mniej niż trzy miesiące, co umożliwiło mrTK tworzenie skryptów wizualnych i środowiska projektowego Unreal.
Pobieranie aplikacji ze sklepu Microsoft Store w HoloLens 2
Jeśli masz urządzenie HoloLens 2, możesz bezpośrednio pobrać i zainstalować aplikację na urządzeniu.
Pytanie
Happy Finish jest jedną z wiodących na świecie firm kreatywnych produkcji, z bazą klientów, która obejmuje, Ford, Microsoft, Nike, Netflix, Vodafone i inne nazwy gospodarstw domowych. Firma dostała swój początek jako wysokiej klasy agencji photo-retouch, rozgałęziając się w filmie i CGI przed przedłużeniem swojego zaangażowania w doskonałość w immersyjne opowiadanie historii za pomocą projektowania przestrzennego 3D i interakcji.
W połowie 2020 r. firma Microsoft zwróciła się do firmy Happy Finish o utworzenie aplikacji demonstracyjnej, która może pomóc zaprezentować możliwości włączone przez nowy zestaw narzędzi Mixed Reality Toolkit (MRTK) for Unreal, który opiera się na obsłudze HoloLens 2 w Unreal Engine. W tym momencie firma miała już dwa udane projekty Unreal-on-HoloLens 2 pod pasem. Oba były dla globalnie uznanej marki konsumenckiej, która wybrała Unreal na HoloLens 2 dla wewnętrznego narzędzia sprzedaży R&D/B2B pod kątem wysokiej wierności wizualnej, zgodnie z potrzebami, aby najlepiej zaprezentować własne produkty wysokiej klasy klienta.
Chociaż samo rozwiązanie zostałoby pozostawione do Happy Finish, musiał spełnić kilka kluczowych wytycznych. Po pierwsze, musiał skupić się na scenariuszu przedsiębiorstwa, aby zilustrować użyteczność Unreal na HoloLens 2 poza branżą gier. Po drugie, musi być tylko urządzenie, co oznacza, że może służyć jako autonomiczny pokaz — bez konieczności połączenia sieciowego i zewnętrznej mocy obliczeniowej w celu uzyskania docelowych szybkości ramek i jakości wizualizacji. Po trzecie, należy połączyć zakres intuicyjnych interakcji obsługiwanych przez mrTK w bezproblemowe i naturalne środowisko. Na koniec proponowane rozwiązanie powinno przedstawiać wrodzoną wierność wizualną i inne korzyści z samego Unreal Engine, takie jak wydajność cieniowania.
Biorąc pod uwagę te wytyczne, Happy Finish zaczął burzy mózgów możliwości, wymyślając pomysł na środowisko rzeczywistości mieszanej, które wykorzystało interakcję przestrzenną do komunikowania się z wartością marki, wysokiej wartości produktu. Po rozważeniu szeregu obiektów, które obejmowały zegarki, kamery, samochody i prywatne odrzutowce, Happy Finish ostatecznie zdecydował się na Ford GT40, legendę motoryzacyjną, która osiągnęła rozgłos w 1966 roku, kiedy Ford pokonał Ferrari na 24 Godziny Le Mans - jak pokazano w filmie hitowym Forda vs Ferrari w 2019 roku.
Po uzyskaniu zakupu od Forda, istniejącego klienta Happy Finish, firma wyznaczyła nową perspektywę na klasyczną ikonę motoryzacyjną.
Rozwiązanie
Prace rozpoczęły się 7 maja 2020 r. Po uzyskaniu plików modelu GT40 artysta 3D spędził trzy tygodnie optymalizując modele wielokątów, mapowanie UV, przemalowanie map tekstur i kondensowanie tych map w jak najmniej tekstury. Artysta techniczny pracował równolegle, aby porównać dane wyjściowe artysty 3D, określić optymalne rozmiary tekstury, biorąc pod uwagę docelowe współczynniki klatek i ustalić najlepszy sposób stosowania niestandardowych cieniowania w Unreal. Wszystkie te prace przedprodukcyjne zostały wykonane, aby zoptymalizować środowisko pracy na urządzeniu.
Dyrektor kreatywny Alex Lambert wszedł na obraz po zakończeniu prac przedprodukcyjnych. Zaczął oglądać Forda vs Ferrari, myśląc o tym, jak splotać narrację wokół scenariuszy i interakcji. Zebrał również odwołania wizualne dla artysty interfejsu użytkownika, takie jak obrazy pulpitu nawigacyjnego GT40 i wizualizacji toru wyścigowego Le Mans oraz zebrane nagrania dźwiękowe GT40 w akcji dla projektanta dźwięku.
Dzięki zdefiniowanej i zoptymalizowanej zawartości przedprodukcyjnej w ręku, niezależny deweloper oprogramowania Jose Rodriguez został wymieniony, aby połączyć to wszystko. Rodriguez był deweloperem w dwóch poprzednich unreal-on-HoloLens 2 projektów, które Happy Finish zrobił, zanim MRTK for Unreal został wydany.
Wartość podana przez MRTK dla Unreal stała się widoczna na początku, pomagając Rodriguez dostarczyć początkowy prototyp w ciągu jednego tygodnia. Zaimplementował trzy unikatowe scenariusze, jeden dla każdego z kluczowych aspektów GT40, które Lambert zidentyfikował: jego piękno, wydajność i inżynierię. W każdym scenariuszu Rodriguez użył zestawu NARZĘDZI MRTK do zintegrowania zoptymalizowanych zasobów 3D z fazy przedprodukcyjnej w szereg interakcji przestrzennych.
W przypadku zestawu NARZĘDZI MRTK dla Unreal rodriguez zbudował każdy scenariusz przy użyciu wizualnego interfejsu użytkownika Unreal Motion Graphics (UMG) Projektant zamiast konieczności implementowania wszystkiego w języku C++. Narzędzia UX Tools for Unreal, wtyczka zawierająca bloki konstrukcyjne i składniki środowiska użytkownika w mrTK, dała mu Unreal Blueprints do symulacji danych wejściowych, wizualnie skrypty interakcji ręcznych, przyciski z możliwością naciśnięcia, manipulowanie obrazami 3D, magnetyzm powierzchni i nie tylko — wszystko w środowisku projektowym bez kodu, przeciągania i upuszczania.
"Pre-MRTK, rozwój dla HoloLens 2 przy użyciu Unreal był nieco żmudny, ponieważ wszystkie interakcje przestrzenne musiały być zakodowane ręcznie, w C++", mówi Rodriguez. "MRTK dla Unreal wykonane wiele z tych samych zadań trywialne. Oszacowałem, że skróci to czas wymagany do początkowego prototypu w połowie."
Wraz z prototypem w ręku zespół rozpoczął cotygodniową iterację, aby udoskonalić środowisko. "Dzieje się tak, gdy funkcja przechwytywania Mixed Reality i Portal urządzeń z systemem Windows stały się naprawdę pomocne", wspomina Lambert. "Użyłem ich do przechwytywania moich recenzji projektu, nadawania opinii innym i współpracy nad zmianami. Praca w izolacji jak to byłoby niemożliwe do zrobienia bez takich narzędzi."
Ponieważ Lambert zażądał zmian, takich jak zmiana położenia elementów interfejsu użytkownika lub zmiana zachowania przycisku, Rodriguez je zaimplementował. Podczas gdy niektóre zmiany wymagały drobnych poprawek kodu, większość z nich została obsłużona w projektancie wizualizacji Unreal. "Byłem zaskoczony, jak szybko mogę iterować", mówi Rodriguez. "Nie marnowano czasu; Chciałbym wprowadzić zmianę w projektancie, a następnie nacisnąć przycisk odtwarzania, aby natychmiast wyświetlić go na urządzeniu. MRTK naprawdę usprawnił moją pracę."
Rodriguez przypomina również, że jest pod wrażeniem tego, jak wszystko było gotowe do produkcji narzędzi programistycznych. "Postępowaliśmy płynnie od początkowego prototypu przez ostateczną produkcję, bez konieczności powrotu i ponownego wdrażania lub optymalizowania rzeczy w kodzie", mówi.
Ostatnia kompilacja
Happy Finish zakończył produkcję Ford GT40 Experience na HoloLens 2 28 lipca 2020 r., zapewniając nową perspektywę legendarnego samochodu wyścigowego. Środowisko rozpoczyna się od ekranu powitalnego, a następnie prowadzi użytkownika do skonfigurowania kotwicy, chwytając logo Forda i umieszczając go na płaskiej powierzchni, takiej jak tabela lub pulpit.
Piękno
Segment piękna przenosi użytkownika do konfiguratora GT40, który wyświetla GT40 na obracającym się pedesal, podobnie jak w jaki sposób samochód fizyczny może być wyświetlany na pokazie samochodowym. Użytkownik może zastosować różne opcje koła, wybrać z różnych schematów kolorów i otworzyć i zamknąć drzwi i bagażnik (lub rozruch, jak nazywają to w Wielkiej Brytanii). W całym doświadczeniu urody użytkownik może odebrać samochód i swobodnie manipulować nim, aby przyjrzeć się bliżej.
Wydajność
Segment wydajności przedstawia szybkość i trwałość GT40. Voiceover zaczyna się od opisywania, w jaki sposób samochód został opracowany i włożył swoje tempo w Kingman Ford w Arizonie, z wizualizacjami 3D pokazującymi GT40 w ruchu na torze testowym. Wprowadzenie do segmentu wydajności kończy się, voiceover monituje użytkownika o "Naciśnij przycisk Le Mans, aby trafić na tor wyścigowy".
Druga część segmentu wydajności prezentuje GT40 pod zakresem warunków kierowców może doświadczyć w 24 Hours of Le Mans, który odbywa się co roku w Circuit de la Sarthe w pobliżu Le Mans, Francja. Widok 3D pokazuje samochód w ruchu na torze Le Mans, z przyciskami dostarczonymi do tworzenia samochodu szybciej lub wolniej. Obrazy prędkościomierza analogowego i tachometru GT40 unoszą się nad widokiem toru wyścigowego, z większą ilością telemetrii wyścigu wyświetlanej w tle. Użytkownik może przełączać się między widokami dnia i nocy oraz między suchych i mokrych warunków jazdy, zapewniając realistyczną i realistyczną perspektywę tego, co Ken Miles i inni kierowcy GT40 doświadczeni w rzeczywistym wyścigu.
Inżynieria
Segment inżynieryjny Ford GT40 Experience prezentuje jedną z innowacji inżynieryjnych, które pomogły Fordowi wygrać wyścig: zdolność do zmiany wirników hamulcowych i padów w mniej niż minutę, w porównaniu do 20-30 minut potrzebnych przez wszystkie pozostałe zespoły. Za pomocą intuicyjnych gestów użytkownik może manipulować szczegółowym modelem 3D koła GT40 i zestawu hamulcowego. Aby rozwinąć zestaw, użytkownik podnosi klucz lug, wyrównuje go do środka blokady na kole, zamienia go w lewo, a następnie ściąga go z dala od koła. Inne gesty służą do usuwania noszonych wirników hamulcowych i podkładek, zastępowania ich nowymi, zwijania montażu i ponownego zabezpieczania blokady środka. W tle czasomierz wyświetla czas, który upłynął, pozwalając użytkownikowi sprawdzić, czy może ukończyć proces tak szybko, jak załoga pit w Le Mans.
Środowisko Forda GT40 można pobrać ze sklepu Microsoft, umożliwiając każdemu, kto ma HoloLens 2, aby dowiedzieć się, jak Happy Finish przyniósł nową perspektywę legendarnemu samochodowi wyścigowemu.
Uzyskiwanie imponującej wierności wizualnej
Chociaż zakres interakcji przestrzennych obsługiwanych przez środowisko Ford GT40 jest imponujący na własną rękę, kreatywność i wierność wizualna zapewnia to, co naprawdę sprawia, że świeci. Dzięki optymalizacji modeli 3D i używaniu niestandardowych cieniowania Unreal, Happy Finish osiągnął cel 60 klatek na sekundę, nawet z segmentem wydajności aplikacji zbliżającym się do 315 000 wielokątów.
"Jestem naprawdę zadowolony z tego, jak byliśmy w stanie zebrać zestaw płynnych, intuicyjnych interakcji w spójną i wciągającą narrację", mówi Lambert. "Oczywiście, moc Unreal Engine na HoloLens 2 otwiera nowy świat możliwości dla bardziej zaskakujących i ekscytujących środowisk rzeczywistości mieszanej. Niekompromizowana wierność wizualna nie zawsze jest celem końcowym dla aplikacji dla przedsiębiorstw w HoloLens 2, ale gdy jest, obsługa Unreal na HoloLens 2 staje się bezcenna.
Szybkie dostarczanie rozwiązań
Tak imponujące, jak użytkownik końcowy Ford GT40 Experience jest jak szybko Happy Finish dostarczył go, z całego projektu — od przedprodukcyjnego do końcowego dostarczania — ukończonego w ciągu zaledwie 12 tygodni. Podsumowując, projekt zużywał 1088 godzin pracy, podzielony w następujący sposób: dyrektor kreatywny (80 godzin), projektant środowiska użytkownika (56 godzin), projektant interfejsu użytkownika (40 godzin), projektant dźwięku (40 godzin), artysta 3D/techniczny (328 godzin), deweloper oprogramowania (408 godzin), dyrektor techniczny (40 godzin), producent (56 godzin) i zapewnienie jakości (40 godzin).
"Ogólnie rzecz biorąc, przyszliśmy całkiem blisko naszych pierwotnych szacunków projektu", mówi Daniel Cheetham, dyrektor innowacji w Happy Finish, który kieruje interaktywnym oddziałem firmy. "Ford GT40 Experience jest dowodem na to, że aplikacja HoloLens 2 wysokiej wierności może zostać ukończona w ciągu zaledwie kilku miesięcy, z skromnym budżetem, ale nadal dostarcza bardzo wpływowe wyniki."
Z perspektywy rozwoju, w oparciu o swoje poprzednie doświadczenie z Unreal na HoloLens 2, Rodriguez szacuje, że MRTK dla Unreal obniżyć całkowity czas i wysiłek wymagany przez jego część w połowie. Zauważa również, jak MRTK może pomóc deweloperom, którzy nigdy nie pracowali z HoloLens 2 rozpocząć pracę. "Kiedy inni deweloperzy mówią, że są zainteresowani rzeczywistością mieszaną, zachęcam ich do szybkiego skoku, zainstalowania stosu deweloperów HoloLens 2 i mrTK i pójścia na to. Zestaw NARZĘDZI MRTK sprawia, że tworzenie aplikacji jest szybkie i łatwe, a edytor wizualizacji Unreal działa tak dobrze, że nawet nie potrzebujesz HoloLens 2 urządzenia, aby rozpocząć pracę. To w ogóle nie jest skomplikowane — wszystko po prostu działa."
Potencjalne ulepszenia usługi platformy Azure
Lambert widzi kilka sposobów, że usługi rzeczywistości mieszanej platformy Azure mogą służyć do ulepszania środowiska Ford GT40, takiego jak korzystanie z usługi Azure Spatial Anchors w celu zapewnienia środowiska wieloużytkownikowego zakotwiczonego w świecie rzeczywistym. "Z kreatywnej perspektywy usługa Azure Spatial Anchors otwiera całkowicie nowy zakres możliwości dzięki możliwości mapowania, utrwalania i przywracania zawartości 3D lub punktów orientacyjnych w naszym świecie fizycznym", mówi.
Lambert przewiduje również, jak można użyć platformy Azure Remote Rendering lub przesyłania strumieniowego aplikacji z platformy Azure do osiągnięcia żądanych szybkości klatek podczas pracy z bardziej szczegółowymi i złożonymi modelami 3D. "Musieliśmy zaimplementować kilka wysoce zoptymalizowanych niestandardowych cieniowania w Unreal, aby trafić w nasz cel na urządzeniu 60 klatek na sekundę", wyjaśnia. "Dzięki usłudze Azure Remote Rendering możemy zrobić o wiele więcej — i zrobić to o wiele łatwiej, bez konieczności optymalizowania modeli wielokątów, przemalowania map tekstur itd.
Niekończące się nowe możliwości
Więc co dalej z Happy Finish? Opinie Forda na temat doświadczenia Forda GT40 były w przeważającej mierze pozytywne, co doprowadziło do dalszych dyskusji między Happy Finish i Fordem w sprawie przyszłych projektów HoloLens 2. Poza relacją z Fordem Happy Finish rozpoczyna już nowy projekt na HoloLens 2, gdzie MRTK for Unreal będzie podstawowym blokiem konstrukcyjnym dla większości użytkowników.
"Zawsze utrzymywaliśmy niezależne od technologii podejście do każdego nowego projektu, proponując, niezależnie od zestawu narzędzi najlepiej nadaje się do pomagania klientowi w osiągnięciu pożądanych wyników", mówi Cheetham. "To powiedziawszy, HoloLens 2 pojawiło się jako de facto złoty standard rzeczywistości mieszanej, zwłaszcza w przedsiębiorstwie, stojąc głową i ramionami przede wszystkim innymi opcjami pod względem możliwości zarówno urządzeń, jak i wszechobecności ekosystemu pomocniczego."
Według Cheetham, globalna pandemia podsycała ogromne nowe zainteresowanie immersywną rzeczywistością mieszaną wśród potencjalnych klientów. "Jesteśmy bardziej ruchliwi niż kiedykolwiek, z około 50 procent potencjalnych klientów jest otwartych do dyskusji na temat opcji rzeczywistości mieszanej", mówi. "Kluczem jest, aby ludzie próbowali go wypróbować. Możesz powiedzieć im o rzeczywistości mieszanej przez cały dzień, ale kiedy wręczysz im HoloLens 2 do doświadczenia dla siebie, natychmiast dostaną, jak to może być game-changer. Obsługa Unreal Engine w HoloLens 2 zwiększa tylko wartość, którą możemy zaoferować, umożliwiając nam dostarczanie wizualnie wspaniałych środowisk, które z pewnością spełniają nawet najbardziej wymagających klientów.
Czas wypróbować usługę.
Zapoznaj się z naszym wprowadzeniem do programowania Mixed Reality w HoloLens 2 lub MRTK for Unreal w usłudze GitHub.