HoloLens (1. generacja) Podstawy 100: Wprowadzenie do aparatu Unity
Ważne
Samouczki dotyczące akademii Mixed Reality zostały zaprojektowane z myślą o urządzeniach HoloLens (1. generacji), Unity 2017 i Mixed Reality immersywnych zestawów słuchawkowych. W związku z tym uważamy, że ważne jest pozostawienie tych samouczków w miejscu dla deweloperów, którzy nadal szukają wskazówek dotyczących opracowywania tych urządzeń. Te samouczki nie zostaną zaktualizowane przy użyciu najnowszych zestawów narzędzi ani interakcji używanych do HoloLens 2 i mogą nie być zgodne z nowszymi wersjami aparatu Unity. Będą one utrzymywane w celu kontynuowania pracy na obsługiwanych urządzeniach. Opublikowano nową serię samouczków dla HoloLens 2.
Ten samouczek przeprowadzi Cię przez proces tworzenia podstawowej aplikacji rzeczywistości mieszanej utworzonej przy użyciu aparatu Unity.
Obsługa urządzeń
| Kurs | HoloLens | Immersyjne zestawy słuchawkowe |
|---|---|---|
| Podstawy języka MR 100: Wprowadzenie do aparatu Unity | ✔️ | ✔️ |
Wymagania wstępne
- Komputer Windows 10 skonfigurowany z zainstalowanymi odpowiednimi narzędziami.
Rozdział 1 — Tworzenie nowego projektu
Aby utworzyć aplikację za pomocą aparatu Unity, należy najpierw utworzyć projekt. Ten projekt jest zorganizowany w kilka folderów, z których najważniejszy jest folder Assets. Jest to folder zawierający wszystkie zasoby importowane z narzędzi do tworzenia zawartości cyfrowej, takich jak Maya, Max Cinema 4D lub Photoshop, cały kod tworzony za pomocą programu Visual Studio lub ulubionego edytora kodu oraz dowolna liczba plików zawartości tworzonych przez aparat Unity podczas tworzenia scen, animacji i innych typów zasobów aparatu Unity w edytorze.
Aby tworzyć i wdrażać aplikacje platformy UWP, aparat Unity może wyeksportować projekt jako rozwiązanie visual studio, które będzie zawierać wszystkie niezbędne pliki zasobów i kodu.
- Uruchamianie aparatu Unity
- Wybierz pozycję Nowy
- Wprowadź nazwę projektu (np. "MixedRealityIntroduction")
- Wprowadź lokalizację do zapisania projektu
- Upewnij się, że wybrano przełącznik 3D
- Wybierz pozycję Utwórz projekt
Gratulacje, wszystko jest skonfigurowane, aby rozpocząć pracę z dostosowaniami rzeczywistości mieszanej teraz.
Rozdział 2 . Konfigurowanie aparatu
Aparat Główny aparatu Unity obsługuje śledzenie głowy i renderowanie steroskopowe. Istnieje kilka zmian, które należy wprowadzić do aparatu głównego, aby używać go z rzeczywistością mieszaną.
- Wybieranie nowej sceny pliku >
Najpierw łatwiej będzie rozłożyć aplikację, jeśli wyobrazisz sobie pozycję początkową użytkownika jako (X: 0, Y: 0, 0, Z: 0). Ponieważ aparat główny śledzi ruch głowy użytkownika, można ustawić pozycję początkową użytkownika, ustawiając pozycję początkową głównego aparatu.
- Wybierz pozycję Główny aparat w panelu Hierarchia
- Na panelu Inspector (Inspektor ) znajdź składnik Transform i zmień pozycję z (X: 0, Y: 1, Z: -10) na (X: 0, Y: 0, Z: 0)
Po drugie, domyślne tło aparatu wymaga pewnego przemyślenia.
W przypadku aplikacji HoloLens rzeczywisty świat powinien pojawić się za wszystkim, co renderuje aparat, a nie teksturą Skybox.
- Po wybraniu głównego aparatu w panelu Hierarchia znajdź składnik Aparat w panelu Inspektor i zmień listę rozwijaną Wyczyść flagi z Skybox na Solid Color.
- Wybierz selektor kolorów tła i zmień wartości RGBA na (0, 0, 0, 0, 0)
W przypadku aplikacji rzeczywistości mieszanej przeznaczonych do immersyjnych zestawów słuchawkowych możemy użyć domyślnej tekstury Skybox zapewnianej przez aparat Unity.
- Po wybraniu głównego aparatu w panelu Hierarchia znajdź składnik Aparat w panelu Inspector (Inspektor ) i pozostaw listę rozwijaną Clear Flags (Wyczyść flagi ) na Skybox.
Po trzecie, rozważmy blisko płaszczyzny klipu w środowisku Unity i uniemożliwimy renderowanie obiektów zbyt blisko oczu użytkowników, gdy użytkownik zbliża się do obiektu lub obiektu zbliża się do użytkownika.
W przypadku aplikacji HoloLens blisko płaszczyzny klipu można ustawić na urządzenie HoloLens zalecane 0,85 metra.
- Po wybraniu głównego aparatu w panelu Hierarchia znajdź składnik Aparat w panelu Inspector (Inspektor ) i zmień pole Near Clip Plane z domyślnej wartości 0.3 na urządzenie HoloLens zalecane 0,85.
W przypadku aplikacji rzeczywistości mieszanej przeznaczonych dla immersywnych zestawów słuchawkowych możemy użyć domyślnego ustawienia zapewnianego przez aparat Unity.
- Po wybraniu głównego aparatu w panelu Hierarchia znajdź składnik Aparat w panelu Inspector (Inspektor ) i pozostaw pole Blisko schowka do wartości domyślnej 0.3.
Na koniec zapiszmy nasze postępy do tej pory. Aby zapisać zmiany sceny, wybierz pozycję > Zapisz scenę jako, nadaj scenie nazwę Main, a następnie wybierz pozycję Zapisz.
Rozdział 3 . Konfigurowanie ustawień projektu
W tym rozdziale ustawimy niektóre ustawienia projektu aparatu Unity, które pomogą nam kierować zestaw Windows Holographic SDK do programowania. Ustawimy również pewne ustawienia jakości dla naszej aplikacji. Na koniec upewnimy się, że nasze cele kompilacji zostaną ustawione na platforma uniwersalna systemu Windows.
Ustawienia wydajności i jakości aparatu Unity
Ustawienia jakości aparatu Unity dla urządzenia HoloLens
Ponieważ utrzymywanie wysokiej szybkości klatek na urządzeniu HoloLens jest tak ważne, chcemy, aby ustawienia jakości dostosowane do najszybszej wydajności. Aby uzyskać bardziej szczegółowe informacje o wydajności, zalecenia dotyczące wydajności aparatu Unity.
- Wybierz pozycję Edytuj > jakość ustawień > projektu
- Wybierz listę rozwijaną pod logo platforma uniwersalna systemu Windows i wybierz pozycję Bardzo niska. Wiesz, że ustawienie jest prawidłowo stosowane, gdy pole w kolumnie platforma uniwersalna systemu Windows i bardzo niski wiersz jest zielony.
W przypadku aplikacji rzeczywistości mieszanej przeznaczonych do wyświetlania occluded można pozostawić ustawienia jakości do jego wartości domyślnych.
Zestaw SDK Windows 10 docelowego
Docelowy zestaw SDK systemu Windows Holographic
Musimy poinformować aparat Unity, że aplikacja, którą próbujemy wyeksportować, powinna utworzyć widok immersyjny zamiast widoku 2D. W tym celu włączymy obsługę rzeczywistości wirtualnej dla aparatu Unity przeznaczonego dla zestawu SDK Windows 10.
- Przejdź do pozycji Edytuj > odtwarzacz ustawień > projektu.
- W panelu inspektora ustawień odtwarzacza wybierz ikonę platforma uniwersalna systemu Windows.
- Rozwiń grupę Ustawienia XR .
- W sekcji Renderowanie zaznacz pole wyboru Obsługiwana rzeczywistość wirtualna , aby dodać nową listę zestawów SDK rzeczywistości wirtualnej .
- Sprawdź, czy Windows Mixed Reality jest wyświetlana na liście. Jeśli nie, wybierz + przycisk w dolnej części listy i wybierz pozycję Windows Mixed Reality.
Uwaga
Jeśli nie widzisz ikony platforma uniwersalna systemu Windows, sprawdź dwukrotnie, aby upewnić się, że podczas instalacji wybrano pozycję platforma uniwersalna systemu Windows Obsługa kompilacji. Jeśli nie, może być konieczne ponowne zainstalowanie aparatu Unity przy użyciu poprawnej instalacji systemu Windows.
Niesamowite zadanie dotyczące pobierania wszystkich zastosowanych ustawień projektu. Następnie dodajmy hologram!
Rozdział 4 . Tworzenie modułu
Tworzenie modułu w projekcie aparatu Unity przypomina tworzenie dowolnego innego obiektu w środowisku Unity. Umieszczenie modułu przed użytkownikiem jest łatwe, ponieważ układ współrzędnych aparatu Unity jest mapowany na świat rzeczywisty — gdzie jeden miernik w środowisku Unity jest około jednego miernika w świecie rzeczywistym.
- W lewym górnym rogu panelu Hierarchia wybierz listę rozwijaną Utwórz i wybierz pozycję Moduł obiektów > 3D.
- Wybierz nowo utworzony moduł w panelu Hierarchia
- W inspektorze znajdź składnik Transform i zmień pozycję na (X: 0, Y: 0, Z: 2). Spowoduje to położenie modułu 2 metrów przed pozycją początkową użytkownika.
- W składniku Transform zmień wartość Rotacja na (X: 45, Y: 45 , Z: 45) i zmień wartość Scale na (X: 0.25, Y: 0.25, Z: 0.25). Spowoduje to skalowanie modułu do 0,25 metra.
- Aby zapisać zmiany sceny, wybierz pozycję Zapisz scenę pliku>.
Rozdział 5 — Weryfikowanie na urządzeniu z poziomu edytora aparatu Unity
Teraz, gdy utworzyliśmy nasz moduł, nadszedł czas, aby szybko zaewidencjonować urządzenie. Można to zrobić bezpośrednio z poziomu edytora aparatu Unity.
Początkowa konfiguracja
- Na komputerze deweloperów w środowisku Unity otwórz okno Ustawienia kompilacji plików>.
- Zmień platformę na platforma uniwersalna systemu Windows i kliknij pozycję Przełącz platformę
W przypadku urządzenia HoloLens użyj komunikacji zdalnie aparatu Unity
- Na urządzeniu HoloLens zainstaluj i uruchom odtwarzacz Holographic Remoting Player dostępny w Sklepie Windows. Uruchom aplikację na urządzeniu i wprowadzi stan oczekiwania i wyświetli adres IP urządzenia. Zanotuj adres IP.
- Otwórz okno > XR > Holographic Emulation.
- Zmień tryb emulacji z None na Remote na Device.
- Na maszynie zdalnej wprowadź zanotowany wcześniej adres IP urządzenia HoloLens.
- Kliknij przycisk Połącz.
- Upewnij się, że stan połączenia zmieni się na zielony Połączony.
- Teraz możesz kliknąć pozycję Odtwórz w edytorze aparatu Unity.
Teraz będzie można zobaczyć moduł na urządzeniu i w edytorze. Możesz wstrzymać, sprawdzić obiekty i debugować tak, jak uruchamiasz aplikację w edytorze, ponieważ zasadniczo dzieje się tak, ale z danymi wejściowymi wideo, audio i urządzenia przesyłanymi tam iz powrotem przez sieć między maszyną hosta a urządzeniem.
W przypadku innych zestawów słuchawkowych obsługiwanych przez rzeczywistość mieszaną
- Podłącz zestaw słuchawkowy do komputera programistycznego przy użyciu kabla USB i kabla HDMI lub portu wyświetlacza.
- Uruchom Mixed Reality Portal i upewnij się, że ukończono pierwsze uruchomienie.
- Z poziomu aparatu Unity możesz teraz nacisnąć przycisk Odtwórz.
Teraz będzie można zobaczyć renderowanie modułu w zestawie słuchawkowym rzeczywistości mieszanej i w edytorze.
Rozdział 6 — Kompilowanie i wdrażanie na urządzeniu z poziomu programu Visual Studio
Teraz możemy skompilować projekt w programie Visual Studio i wdrożyć go na urządzeniu docelowym.
Eksportowanie do rozwiązania programu Visual Studio
- Otwórz okno Ustawienia kompilacji pliku>.
- Kliknij pozycję Dodaj otwarte sceny , aby dodać scenę.
- Zmień pozycję Platforma na platforma uniwersalna systemu Windows i kliknij pozycję Przełącz platformę.
- W ustawieniach platforma uniwersalna systemu Windows upewnij się, że zestaw SDK jest uniwersalny 10.
- W polu Urządzenie docelowe pozostaw wartość Dowolne urządzenie , aby wyświetlić lub przełączyć się na urządzenie HoloLens.
- Typ kompilacji platformy UWP powinien mieć wartość D3D.
- Zestaw SDK platformy UNIWERSALNEJ systemu Windows może pozostać zainstalowany w najnowszej wersji.
- Kliknij pozycję Kompiluj.
- W Eksploratorze plików kliknij pozycję Nowy folder i nadaj folderowi nazwę "Aplikacja".
- Po wybraniu folderu Aplikacja kliknij przycisk Wybierz folder .
- Po zakończeniu tworzenia aparatu Unity zostanie wyświetlone okno Eksplorator plików systemu Windows.
- Otwórz folder Aplikacja w Eksploratorze plików.
- Otwórz wygenerowane rozwiązanie programu Visual Studio (MixedRealityIntroduction.sln w tym przykładzie)
Kompilowanie rozwiązania programu Visual Studio
Na koniec skompilujemy wyeksportowane rozwiązanie programu Visual Studio, wdrożymy je i wypróbujemy na urządzeniu.
- Za pomocą górnego paska narzędzi w programie Visual Studio zmień element docelowy z Debuguj na Wydanie i z ARM na X86.
Instrukcje dotyczące wdrażania na urządzeniu różnią się w porównaniu z emulatorem. Postępuj zgodnie z instrukcjami zgodnymi z konfiguracją.
Wdrażanie na urządzeniu rzeczywistości mieszanej za pośrednictwem Wi-Fi
- Kliknij strzałkę obok przycisku Maszyna lokalna , a następnie zmień element docelowy wdrożenia na Maszyna zdalna.
- Wprowadź adres IP urządzenia rzeczywistości mieszanej i zmień tryb uwierzytelniania na uniwersalny (niezaszyfrowany protokół) dla urządzeń HoloLens i Windows dla innych urządzeń.
- Kliknij przycisk Rozpocznij debugowanie > bez debugowania.
W przypadku urządzenia HoloLens, jeśli jest to pierwsze wdrożenie na urządzeniu, należy sparować przy użyciu programu Visual Studio.
Wdrażanie na urządzeniu rzeczywistości mieszanej za pośrednictwem portu USB
Upewnij się, że urządzenie jest podłączone za pośrednictwem kabla USB.
- W przypadku urządzenia HoloLens kliknij strzałkę obok przycisku Maszyna lokalna , a następnie zmień element docelowy wdrożenia na Urządzenie.
- W przypadku urządzeń przeznaczonych dla occluded dołączonych do komputera należy zachować ustawienie komputera lokalnego. Upewnij się, że masz uruchomiony portal Mixed Reality.
- Kliknij przycisk Rozpocznij debugowanie > bez debugowania.
Wdrażanie w emulatorze
- Kliknij strzałkę obok przycisku Urządzenie , a następnie z listy rozwijanej wybierz pozycję Emulator urządzenia HoloLens.
- Kliknij przycisk Rozpocznij debugowanie > bez debugowania.
Wypróbowywanie aplikacji
Po wdrożeniu aplikacji spróbuj poruszać się po całym module i obserwuj, że pozostaje przed Tobą na świecie.