Udostępnij za pośrednictwem

Programowanie aparatu Unity dla urządzenia HoloLens

  • Artykuł

Logo transparentu aparatu Unity

Unity jest jedną z wiodących platform programistycznych w czasie rzeczywistym na rynku. Podstawowy kod środowiska uruchomieniowego jest napisany w języku C++, a wszystkie skrypty programistyczne są tworzone przy użyciu języka C#. Niezależnie od tego, czy chcesz tworzyć gry, filmy i animacje, a nawet renderować koncepcje architektoniczne lub inżynieryjne w świecie wirtualnym, aparat Unity ma infrastrukturę do obsługi. Gdy wszystko będzie gotowe do rozpoczęcia pracy, przejdź do poniższych punktów kontrolnych programowania.

Ważne

Zapoznaj się z naszymi przewodnikami dotyczącymi przenoszenia, jeśli masz istniejący projekt aparatu Unity, który chcesz przenieść do urządzenia HoloLens 2. Mamy przewodniki dotyczące projektów korzystających z bibliotek HTK, MRTK v1 lub SteamVR.

Punkty kontrolne programowania

Użyj następujących punktów kontrolnych, aby wprowadzić gry i aplikacje aparatu Unity do świata rzeczywistości mieszanej. Jeśli nie znasz jeszcze przykładowej aplikacji Projektowanie hologramów, zalecamy pobranie i użycie jej do zapoznania się z podstawami środowiska użytkownika rzeczywistości mieszanej.

1. Wprowadzenie

Najprostszym sposobem opracowywania w środowisku Unity jest zestaw narzędzi Mixed Reality Toolkit. Zestaw narzędzi MRTK pomoże Ci automatycznie skonfigurować projekt dla rzeczywistości mieszanej i udostępnić zestaw funkcji w celu przyspieszenia procesu programowania. Po zakończeniu tej sekcji będziesz mieć podstawową wiedzę na temat zestawu narzędzi Mixed Reality Toolkit, prawidłowo skonfigurowanego środowiska projektowego dla aplikacji rzeczywistości mieszanej oraz działającego projektu zestawu narzędzi MRTK w środowisku Unity, który został utworzony samodzielnie.

Punkt kontrolny Wynik
Wprowadzenie do zestawu narzędzi Mixed Reality Toolkit Rozpocznij swoją podróż, zapoznając się z zestawem narzędzi Mixed Reality Toolkit i tym, co ma do zaoferowania
Pobieranie narzędzia funkcji rzeczywistości mieszanej Nowe narzędzie deweloperskie do odnajdywania, aktualizowania i dodawania pakietów funkcji rzeczywistości mieszanej do projektów aparatu Unity
Konfigurowanie środowiska deweloperskiego Pobierz i zainstaluj najnowszy pakiet aparatu Unity i skonfiguruj projekt dla rzeczywistości mieszanej
Ukończ serię samouczków holoLens 2 Poznaj samouczki dotyczące zestawu narzędzi MRTK dla początkujących dla urządzenia HoloLens 2

Ważne

Jeśli chcesz utworzyć nowy projekt aparatu Unity bez importowania zestawu narzędzi Mixed Reality Toolkit, istnieje niewielki zestaw ustawień aparatu Unity, które należy ręcznie zmienić dla usługi Windows Mixed Reality. Aby uzyskać więcej informacji, zapoznaj się z naszym przewodnikiem konfiguracji.

Uwaga

Po skonfigurowaniu zestawu narzędzi MRTK w projekcie standardowe obiekty gier Aparatu Unity, takie jak aparat, będą od razu świecić w celu uzyskania doświadczenia w skali siedzenia. Instrukcje dotyczące zmiany skali środowiska aplikacji można znaleźć na stronie układów współrzędnych.

2. Podstawowe bloki konstrukcyjne

Wszystkie podstawowe bloki konstrukcyjne aplikacji rzeczywistości mieszanej są widoczne w sposób spójny z innymi interfejsami API aparatu Unity. Te bloki konstrukcyjne są dostępne jako funkcje autonomiczne i za pośrednictwem zestawu narzędzi Mixed Reality Toolkit. Być może nie potrzebujesz wszystkich z nich jednocześnie, ale zalecamy wcześniejsze eksplorowanie. Po zapoznaniu się z podstawowymi blokami konstrukcyjnymi wymienionymi poniżej będziesz mieć przybornik pełen funkcji, które można zintegrować z projektem rzeczywistości mieszanej przez siebie lub za pośrednictwem zestawu narzędzi MRTK.

Funkcja Możliwości
Aparat fotograficzny W pełni optymalizowanie jakości wizualnej i stabilności hologramu w aplikacjach rzeczywistości mieszanej
Światowe blokowanie i zakotwiczenia przestrzenne Rozwiązywanie problemów z stabilizacją, korektą kamery i integrowanie stabilnego rozwiązania układu współrzędnych
Środowiska udostępnione Wyświetlanie i interakcja zbiorczo z tym samym hologramem w stałym punkcie w przestrzeni przy użyciu współużytkowania zakotwiczenia przestrzennego
Spojrzenie Zezwalaj użytkownikom na hologramy, patrząc na nie
Kontrolery ruchu Dodawanie akcji przestrzennych do aplikacji rzeczywistości mieszanej
Gesty Używanie gestów ręcznych jako danych wejściowych w środowiskach rzeczywistości mieszanej
Śledzenie rąk i oczu Integrowanie przegubowych danych wejściowych śledzenia rąk i oczu w środowisku użytkownika
Mapowanie przestrzenne Mapuj przestrzeń fizyczną za pomocą nakładki siatki wirtualnej, aby oznaczyć granice środowiska
Dźwięk przestrzenny Ulepszanie aplikacji za pomocą immersyjnego dźwięku 3D
Tekst Uzyskiwanie ostrego, wysokiej jakości tekstu z możliwością zarządzania rozmiarem i renderowaniem jakości
Wprowadzanie głosu Przechwytywanie wypowiedzianych słów kluczowych, fraz i dyktowania od użytkowników

3. Funkcje zaawansowane

Inne kluczowe funkcje, które odgrywają rolę w aplikacjach rzeczywistości mieszanej, są dostępne za pośrednictwem interfejsów API aparatu Unity bez dodatkowych pakietów ani konfiguracji. Te funkcje można dodawać do projektów aparatu Unity z zainstalowanym zestawem NARZĘDZI MRTK lub bez nich. Po zapoznaniu się z bardziej zaawansowanymi możliwościami oferowanymi przez aparat Unity będziesz w stanie tworzyć bardziej złożone, złożone aplikacje rzeczywistości mieszanej.

Funkcja Możliwości
Zdjęcie kamery wideo Przechwytywanie zdjęć i zawartości wideo w aplikacji rzeczywistości mieszanej
Punkt koncentracji uwagi Podaj wskazówkę dotyczącą tego, jak najlepiej przeprowadzić stabilizację na aktualnie wyświetlanych hologramach
Śledzenie utraty Obsługa scenariuszy, w których urządzenie nie może zlokalizować się w świecie aplikacji
Klawiatury Uzyskiwanie danych wejściowych z klawiatur rzeczywistości rzeczywistej i mieszanej w aplikacjach

4. Wdrażanie na urządzeniu lub emulatorze

Po uzyskaniu gotowego projektu holograficznego aparatu Unity do testowania następnym krokiem jest wyeksportowanie i utworzenie rozwiązania Programu Visual Studio aparatu Unity. Za pomocą tego rozwiązania vs można uruchomić aplikację na jeden z trzech sposobów na rzeczywiste lub symulowane urządzenie. Po zakończeniu tej sekcji będzie można wdrożyć aplikację na dowolnym urządzeniu lub emulatorze zgodnym z potrzebami programistycznymi.

5. Dodawanie usług

Na tym etapie opracowywania możesz chcieć dodać usługi lub pomóc w wdrożeniu komercyjnym. Integracja usług Azure Cloud Services umożliwia wyrównanie projektów w główny sposób. Skompilowaliśmy kilka punktów wyjścia, aby eksplorować i rozszerzać swoją wiedzę na temat rzeczywistości mieszanej.

Azure Remote Rendering

Azure Remote Rendering (ARR) to usługa, która umożliwia renderowanie wysoce złożonych modeli 3D w czasie rzeczywistym. Usługa ARR jest obecnie w publicznej wersji zapoznawczej. Można go dodać do projektów Unity lub Native C++ przeznaczonych dla komputerów stacjonarnych HoloLens 2 lub Windows.

Mamy również kompleksową listę dokumentacji pomocy technicznej dla dodatkowych usług platformy Azure, które można dodać do projektów aparatu Unity na zasadzie samoobsługi.

6. Alternatywy z małą ilością kodu

Przewodniki usługi Microsoft Dynamics 365 to aplikacja rzeczywistości mieszanej dla urządzenia Microsoft HoloLens, która pozwala operatorom uczyć się podczas przepływu pracy, udostępniając instrukcje holograficzne, kiedy i gdzie są potrzebne. Te karty z instrukcjami są wizualnie związane z miejscem, w którym należy wykonać pracę, i mogą zawierać obrazy, wideo i holograficzne modele 3D.

Co dalej?

Praca deweloperów nigdy nie jest wykonywana, zwłaszcza w przypadku uczenia się nowego narzędzia lub zestawu SDK. Poniższe sekcje mogą zawierać obszary wykraczające poza już ukończony materiał na poziomie osoby początkującej oraz przydatne zasoby, jeśli utkniesz. Należy pamiętać, że te tematy i zasoby nie są w żadnej kolejności sekwencyjnej, więc możesz swobodnie poruszać się i eksplorować!

Przenoszenie

Jeśli masz istniejące aplikacje, za pośrednictwem których chcesz przeprowadzić przenoszenie, poniższe artykuły to następny przystanek:

Samouczki

Jeśli chcesz dodać określone funkcje rzeczywistości mieszanej do aplikacji, mamy kilka wyselekcjonowanych samouczków, które można uruchomić przez proces od końca do końca. Poniżej wymieniono naszą najbardziej popularną zawartość urządzeń HoloLens 2 i HoloLens (1. generacji), ale całą kolekcję można znaleźć, odwiedzając omówienie samouczków.

Dodatkowe zasoby

Przed wyjściem na własny świat rzeczywistości mieszanej zalecamy zapoznanie się z dokumentacją związaną z zestawem narzędzi MRTK wymienionymi poniżej. Te artykuły są doskonałymi punktami, które pozwalają zrozumieć, jak funkcja MRTK działa bardziej szczegółowo i daje wgląd w bardziej wydajne działanie aplikacji.

Temat opis
Omówienie architektury zestawu narzędzi MRTK Dowiedz się, jak działa zestaw SDK zestawu MRTK w projektach
Ustawienia i wydajność Profilowanie aplikacji, aktualizowanie ustawień aparatu Unity i uzyskiwanie najlepszej dostępnej wydajności stabilizacji hologramu
Wprowadzenie do zestawu narzędzi MRTK i XR Przenoszenie do alternatywnego potoku XR dostarczonego przez aparat Unity

Zasoby aparatu Unity

Oprócz tej dokumentacji aparat Unity instaluje dokumentację funkcji Windows Mixed Reality wraz z Edytorem aparatu Unity. Udostępniona dokumentacja aparatu Unity zawiera dwie oddzielne sekcje.

Zasób opis
Dokumentacja dotycząca skryptów Ta sekcja dokumentacji zawiera szczegółowe informacje o interfejsie API skryptów, który udostępnia aparat Unity i jest dostępny w trybie online w Edytorze aparatu Unity, klikając pozycję Dokumentacja skryptów Pomocy >
Ręczne Ten podręcznik jest przeznaczony do ułatwienia nauki korzystania z aparatu Unity, od podstawowych do zaawansowanych technik i jest dostępny w trybie online lub w Edytorze aparatu Unity, klikając pozycję Podręcznik pomocy >

Masz opinię?

Możesz znaleźć nas na forach aparatu Unity, tagując firmę Microsoft i kombinację następujących tagów, aby pomóc nam zrozumieć, dla której wtyczki przesyłasz opinię:

  • HoloLens 2
  • Windows Mixed Reality
  • OpenXR
  • XRSDK
  • Starsza wersja XR