Het maken van de Ford GT40-ervaring
"Pre-MRTK, ontwikkelen voor HoloLens 2 met behulp van Unreal was een beetje omslachtig omdat alle ruimtelijke interacties met de hand moesten worden gecodeerd, in C++. De MRTK voor Unreal maakte veel van diezelfde taken triviaal. Ik schat dat de tijd die nodig was voor het eerste prototype in tweeën werd gehalve." - Jose Rodriguez, softwareontwikkelaar
"De Ford GT40 Experience is het bewijs dat een hoogwaardige HoloLens 2 app in slechts een paar maanden kan worden voltooid, met een bescheiden budget, maar toch zeer impactvolle resultaten levert." - Daniel Cheetham, Chief Innovation Officer, Happy Finish
Met behulp van de Mixed Reality Toolkit (MRTK) voor Unreal heeft het creatieve productiebedrijf Happy Finish een HoloLens 2 ervaring geleverd die een nieuw perspectief biedt op de Ford GT40, de legendarische raceauto die Ferrari versloeg tijdens de 24 uur van Le Mans!
Met behulp van een scala aan natuurlijke en intuïtieve ruimtelijke interacties kunnen gebruikers de schoonheid, prestaties en engineering van de GT40 verkennen, allemaal op een manier die profiteert van de hoge visuele beeldkwaliteit van de Unreal Engine. Softwareontwikkeling voor het hele project werd in minder dan drie maanden voltooid door één ontwikkelaar, mogelijk gemaakt door MRTK voor de visuele script- en ontwerpomgeving van Unreal.
App downloaden uit de Microsoft Store in HoloLens 2
Als u HoloLens 2 apparaat hebt, kunt u de app rechtstreeks downloaden en installeren op uw apparaat.
De vraag
Happy Finish is een van 's werelds toonaangevende creatieve productiebedrijven, met klanten zoals Ford, Microsoft, Nike, Netflix, Vodafone en andere bekende namen. Het bedrijf begon als een high-end fotoretoucheerbureau, vertakt zich naar film en CGI voordat het zijn toewijding uitbreidt naar uitmuntendheid in meeslepende verhalen met ruimtelijk 3D-ontwerp en interactie.
Medio 2020 benaderde Microsoft Happy Finish om een demo-app te produceren die de mogelijkheden van de nieuwe MRTK (Mixed Reality Toolkit) voor Unreal kon laten zien, die voortbouwt op de ondersteuning voor HoloLens 2 in de Unreal Engine. Op dit moment had het bedrijf al twee succesvolle Unreal-on-HoloLens 2 projecten op de strook. Beide waren voor een wereldwijd erkend consumentenmerk, dat Unreal op HoloLens 2 koos voor een interne R&D/B2B-verkooptool voor zijn hoge visuele beeldkwaliteit, zoals vereist om de eigen high-end producten van die klant zo goed mogelijk te presenteren.
Hoewel de oplossing zelf aan Happy Finish zou worden overgelaten, moest deze voldoen aan een aantal belangrijke richtlijnen. Eerst moest het zich richten op een ondernemingsscenario om het nut van Unreal te illustreren op HoloLens 2 buiten de gaming-industrie. Ten tweede moest het alleen apparaat zijn, wat betekent dat het kon fungeren als een zelfstandige demo, zonder dat een netwerkverbinding en externe verwerkingskracht nodig waren om de doelframesnelheden en visuele kwaliteit te verkrijgen. Ten derde moet het scala aan intuïtieve interacties die door de MRTK worden ondersteund, combineren tot een naadloze en natuurlijke ervaring. Ten slotte moet de voorgestelde oplossing de inherente visuele kwaliteit en andere voordelen van de Unreal Engine zelf laten zien, zoals shader-efficiëntie.
Op basis van deze richtlijnen begon Happy Finish te brainstormen over de mogelijkheden en kwam met het idee voor een mixed reality-ervaring die gebruikmaakt van ruimtelijke interactie om de waarde van een merk, hoogwaardig product te communiceren. Na een reeks objecten te hebben overwogen, waaronder horloges, camera's, auto's en privéjets, koos Happy Finish uiteindelijk voor de Ford GT40, een autolegenda die bekendheid kreeg in 1966 toen Ford Ferrari versloeg tijdens de 24 uur van Le Mans, zoals te zien is in de blockbusterfilm Ford vs. Ferrari uit 2019.
Na het verkrijgen van buy-in van Ford, een bestaande Happy Finish-klant, wilde het bedrijf een nieuw perspectief bieden op het klassieke auto-pictogram.
De oplossing
De werkzaamheden begonnen op 7 mei 2020. Na het verkrijgen van de GT40-modelbestanden heeft een 3D-kunstenaar drie weken besteed aan het optimaliseren van polygoonmodellen, UV-toewijzing, het opnieuw verven van textuurkaarten en het condenseren van die kaarten in zo weinig mogelijk texturen. Een technische artiest werkte parallel aan het benchmarken van de uitvoer van de 3D-artiest, het bepalen van optimale textuurgrootten op basis van de beoogde framesnelheden en het bepalen van de beste manier om aangepaste shaders toe te passen in Unreal. Al deze preproductiewerkzaamheden zijn uitgevoerd om de ervaring op het apparaat te optimaliseren.
Creative Director Alex Lambert kwam in beeld nadat de preproductie was voltooid. Hij begon met het kijken naar Ford vs. Ferrari, denkend over hoe een verhaal over de scenario's en interacties samen te voegen. Hij verzamelde ook visuele verwijzingen voor de UI-artiest, zoals afbeeldingen van het GT40-dashboard en visuals van het circuit van Le Mans, en verzamelde audio-opnamen van de GT40 in actie voor de geluidsontwerper.
Met het verhaal gedefinieerde en geoptimaliseerde preproductieassets in de hand, werd freelance softwareontwikkelaar Jose Rodriguez ingeschakeld om alles samen te brengen. Rodriguez was de ontwikkelaar van de vorige twee Unreal-on-HoloLens 2 projecten die Happy Finish had gedaan, voordat de MRTK voor Unreal was uitgebracht.
De waarde van de MRTK voor Unreal werd al vroeg duidelijk en hielp Rodriguez bij het leveren van een eerste prototype in één week. Hij implementeerde drie unieke scenario's, één voor elk van de belangrijkste aspecten van de GT40 die Lambert had geïdentificeerd: de schoonheid, de prestaties en de engineering. Voor elk scenario gebruikte Rodriguez de MRTK om de geoptimaliseerde 3D-assets van de preproductiefase te integreren in een reeks ruimtelijke interacties.
Met de MRTK voor Unreal heeft Rodriguez elk scenario gebouwd met behulp van de visual Unreal Motion Graphics (UMG) UI Designer in plaats van alles in C++ te moeten implementeren. UX Tools for Unreal, de invoegtoepassing met UX-bouwstenen en -onderdelen binnen de MRTK, gaf hem Unreal Blueprints voor invoersimulatie, het visueel scripten van handinteracties, drukbare knoppen, 3D-afbeeldingsmanipulatie, oppervlak magnetisme en meer, allemaal binnen een ontwerpomgeving zonder code, slepen en neerzetten.
"Vóór MRTK was het ontwikkelen voor HoloLens 2 met Behulp van Unreal een beetje omslachtig omdat alle ruimtelijke interacties handmatig moesten worden gecodeerd, in C++", zegt Rodriguez. "De MRTK voor Unreal maakte veel van diezelfde taken triviaal. Ik schat dat de tijd die nodig was voor het eerste prototype in tweeën werd gehalve."
Met een prototype in de hand is het team begonnen met wekelijkse iteraties om de ervaring te verfijnen. "Dit is toen de functie Mixed Reality Capture en de Windows-apparaatportal echt nuttig werden", herinnert Lambert zich. "Ik heb ze gebruikt om mijn ontwerpbeoordelingen vast te leggen, mijn feedback naar anderen uit te zenden en samen te werken aan wijzigingen. Zo geïsoleerd werken zou onmogelijk zijn geweest zonder dergelijke tools."
Toen Lambert om wijzigingen vroeg, zoals het verplaatsen van UI-elementen of het wijzigen van het gedrag van een knop, implementeerde Rodriguez deze. Hoewel voor sommige wijzigingen kleine codeaanpassingen nodig waren, werden de meeste wijzigingen verwerkt in de Visual Designer van Unreal. "Ik was verbaasd over hoe snel ik kon herhalen", zegt Rodriguez. "Er is geen tijd verspild; Ik zou een wijziging aanbrengen in de ontwerpfunctie en vervolgens op Play drukken om deze onmiddellijk op het apparaat te bekijken. De MRTK heeft mijn werk echt gestroomlijnd."
Rodriguez herinnert zich ook dat hij onder de indruk was van hoe productieklaar alle ontwikkelhulpprogramma's waren. "We zijn soepel doorgegaan van het eerste prototype tot de uiteindelijke productie, zonder dat we terug hoeven te komen en dingen in code opnieuw te implementeren of te optimaliseren", zegt hij.
De uiteindelijke build
Happy Finish voltooide de productie van de Ford GT40 Experience voor HoloLens 2 op 28 juli 2020, met een nieuw perspectief op de legendarische raceauto. De ervaring begint met een welkomstscherm, waarna de gebruiker wordt begeleid bij het instellen van een anker door het Ford-logo te pakken en dit op een plat oppervlak zoals een tafel of bureaublad te plaatsen.
Schoonheid
Het schoonheidssegment brengt de gebruiker naar een GT40-configurator, die de GT40 weergeeft op een draaiend voetstuk, vergelijkbaar met hoe een fysieke auto wordt weergegeven op een autoshow. De gebruiker kan verschillende wielopties toepassen, kiezen uit verschillende kleurenschema's en de deuren en kofferbak openen en sluiten (of opstarten, zoals ze het in het Verenigd Koninkrijk noemen). Tijdens de schoonheidservaring kan de gebruiker de auto ophalen en vrij manipuleren voor een beter overzicht.
Prestaties
Het prestatiesegment laat de snelheid en duurzaamheid van de GT40 zien. De voice-over begint met het beschrijven van de ontwikkeling van de auto en het doorlopen van de stappen op ford's Kingman, Arizona bewezen terrein, met 3D-visuals die de GT40 in beweging laten zien op het testtraject. Als de inleiding tot het prestatiesegment wordt afgesloten, vraagt de voice-over de gebruiker om 'Druk op de knop Le Mans om het racecircuit te bereiken'.
Het tweede deel van het prestatiesegment toont de GT40 onder de reeks omstandigheden die bestuurders kunnen ervaren tijdens de 24 uur van Le Mans, die jaarlijks wordt gehouden op het Circuit de la Sarthe in de buurt van Le Mans, Frankrijk. Een 3D-weergave toont de auto in beweging op het Le Mans-circuit, met knoppen om de auto sneller of langzamer te laten rijden. Afbeeldingen van de analoge snelheidsmeter en tachometer van de GT40 zweven boven het racebaanbeeld, met meer racetelemetrie op de achtergrond. De gebruiker kan schakelen tussen dag- en nachtzichten en tussen droge en natte rijomstandigheden, waardoor een realistisch en levensecht perspectief wordt geboden van wat Ken Miles en de andere GT40-coureurs in de daadwerkelijke race hebben ervaren.
Engineering
Het technische segment van de Ford GT40 Experience toont een van de technische innovaties die Ford hebben geholpen de race te winnen: de mogelijkheid om remrotors en rempads in minder dan een minuut te wisselen, vergeleken met de 20-30 minuten die alle andere teams nodig hebben. Met intuïtieve gebaren kan de gebruiker een gedetailleerd 3D-model van de GT40-wiel- en remassemblage manipuleren. Om de montage uit te breiden, pakt de gebruiker een sleutel voor de nok op, lijnt deze uit op de middelste vergrendeling op het wiel, draait deze linksom en trekt deze vervolgens van het wiel af. Andere bewegingen worden gebruikt om de versleten remrotors en pads te verwijderen, ze te vervangen door nieuwe, de montage samen te vouwen en het middenslot opnieuw te vergrendelen. Op de achtergrond geeft een timer de verstreken tijd weer, zodat de gebruiker kan zien of hij of zij het proces net zo snel kan voltooien als de pitploeg in Le Mans.
De Ford GT40 Experience kan worden gedownload vanuit de Microsoft Store, zodat iedereen met een HoloLens 2 kan ontdekken hoe Happy Finish de legendarische raceauto een nieuw perspectief gaf.
Indrukwekkende visuele kwaliteit krijgen
Hoewel het scala aan ruimtelijke interacties dat wordt ondersteund door de Ford GT40 Experience op zichzelf indrukwekkend is, is de creativiteit en visuele kwaliteit die de ervaring levert, wat het echt laat schitteren. Door de optimalisatie van 3D-modellen en het gebruik van aangepaste Unreal-shaders, heeft Happy Finish het doel bereikt van 60 frames per seconde, zelfs met het prestatiesegment van de app die 315.000 veelhoeken in grootte nadert.
"Ik ben erg blij met hoe we een reeks vloeiende, intuïtieve interacties hebben samengebracht in een samenhangend en boeiend verhaal", zegt Lambert. "De kracht van Unreal Engine op HoloLens 2 opent duidelijk een nieuwe wereld van mogelijkheden voor meer verrassende en spannende mixed reality-ervaringen. Onnavolgbare visuele kwaliteit is niet altijd het einddoel voor bedrijfstoepassingen op HoloLens 2, maar als dat het wel is, wordt ondersteuning voor Unreal op HoloLens 2 van onschatbare waarde."
Snelle levering van oplossingen
Net zo indrukwekkend als de eindgebruiker Ford GT40 Experience is hoe snel Happy Finish het heeft geleverd, waarbij het hele project, van preproductie tot uiteindelijke levering, in iets minder dan 12 weken is voltooid. Samengevat kostte het project 1088 uur werk, onderverdeeld als volgt: creatief directeur (80 uur), UX-ontwerper (56 uur), UI-ontwerper (40 uur), geluidsontwerper (40 uur), 3D/technisch kunstenaar (328 uur), softwareontwikkelaar (408 uur), technisch directeur (40 uur), producent (56 uur) en kwaliteitsborging (40 uur).
"Over het algemeen kwamen we vrij dicht in de buurt van onze oorspronkelijke projectramingen", zegt Daniel Cheetham, Chief Innovation Officer bij Happy Finish, die de interactieve afdeling van het bedrijf leidt. "De Ford GT40 Experience is het bewijs dat een hoogwaardige HoloLens 2 app in slechts een paar maanden kan worden voltooid, met een bescheiden budget, maar toch zeer impactvolle resultaten levert."
Vanuit een ontwikkelingsperspectief, op basis van zijn eerdere ervaring met Unreal op HoloLens 2, schat Rodriguez dat de MRTK voor Unreal de totale tijd en inspanning van zijn kant in tweeën heeft gehalveerde. Hij ziet ook hoe de MRTK ontwikkelaars die nog nooit met HoloLens 2 aan de slag kunnen gaan. "Wanneer andere ontwikkelaars zeggen dat ze geïnteresseerd zijn in mixed reality, moedig ik ze aan om gewoon te beginnen, de HoloLens 2 ontwikkelstack en MRTK te installeren en ervoor te gaan. De MRTK maakt het bouwen van een app snel en eenvoudig en de Visual Editor van Unreal werkt zo goed dat u niet eens een HoloLens 2 apparaat nodig hebt om aan de slag te gaan. Het is helemaal niet ingewikkeld, alles werkt gewoon."
Mogelijke verbeteringen in De Azure-service
Lambert ziet verschillende manieren waarop Mixed Reality-services van Azure kunnen worden gebruikt om de Ford GT40 Experience te verbeteren, zoals het gebruik van Azure Spatial Anchors om een ervaring voor meerdere gebruikers te bieden die is verankerd in de echte wereld. "Vanuit een creatief perspectief opent Azure Spatial Anchors een geheel nieuw scala aan mogelijkheden door de mogelijkheid om 3D-inhoud of nuttige plaatsen in onze fysieke wereld in kaart te brengen, te behouden en te herstellen", zegt hij.
Lambert ziet ook hoe Azure Remote Rendering of streaming van de app vanuit Azure kan worden gebruikt om de gewenste framesnelheden te bereiken tijdens het werken met meer gedetailleerde en complexe 3D-modellen. "We moesten een aantal geoptimaliseerde aangepaste shaders in Unreal implementeren om ons doel op het apparaat van 60 frames per seconde te bereiken", legt hij uit. "Met Azure Remote Rendering kunnen we veel meer doen en veel eenvoudiger, zonder dat we zoveel werk hoeven te doen om veelhoekmodellen te optimaliseren, patroonkaarten opnieuw te plakken, enzovoort."
Eindeloze nieuwe mogelijkheden
Wat is de volgende stap voor Happy Finish? De feedback van Ford over de Ford GT40-ervaring was overweldigend positief, wat heeft geleid tot verdere discussies tussen Happy Finish en Ford over toekomstige HoloLens 2 projecten. Buiten de relatie met Ford start Happy Finish al een nieuw project op HoloLens 2, waarbij de MRTK voor Unreal een fundamentele bouwsteen zal zijn voor de meeste gebruikerservaring.
"We hebben altijd een technologie-agnostische benadering gehanteerd voor elk nieuw project, waarbij we de toolset voorstellen die het meest geschikt is om de klant te helpen de gewenste resultaten te bereiken", zegt Cheetham. "Dat gezegd hebbende, HoloLens 2 is ontpopt als de feitelijke gouden standaard voor mixed reality, met name in de onderneming, met kop en schouders boven alle andere opties in termen van zowel apparaatmogelijkheden als de alomtegrondigheid van het ondersteunende ecosysteem."
Volgens Cheetham heeft de wereldwijde pandemie een enorme nieuwe interesse in immersive mixed reality bij potentiële klanten aangestoken. "We zijn drukker dan ooit, met ongeveer 50 procent van de potentiële klanten die openstaan voor een mixed reality-optie", zegt hij. "De sleutel is om mensen het te laten proberen. Je kunt ze de hele dag over mixed reality vertellen, maar als je ze een HoloLens 2 geeft om zelf te ervaren, krijgen ze meteen door hoe het een game-changer kan zijn. Ondersteuning voor Unreal Engine in HoloLens 2 verhoogt alleen de waarde die we kunnen bieden, zodat we visueel verbluffende ervaringen kunnen leveren die zelfs de meest veeleisende klanten zeker tevreden zullen stellen."
Probeer het nu!
Bekijk onze inleiding tot Mixed Reality ontwikkeling op HoloLens 2 of MRTK voor Unreal op GitHub.