Przykłady i aplikacje funkcji rzeczywistości mieszanej
Każda podróż programistyczną zaczyna się od spojrzenia wstecz na to, co inni deweloperzy pomyślnie skompilowali — rzeczywistość mieszana nie różni się. Obecnie wszystkie nasze samouczki i przykładowe aplikacje są wbudowane w aparat Unity lub Unreal. Podczas opracowywania zawartości dla innych aparatów i platform znajdziesz je pod odpowiednim nagłówkiem w spisie treści.
Przykładowe analizy przypadków aplikacji
Przykładowe aplikacje typu open source zostały utworzone przez nasze zespoły, aby ułatwić sobie pracę nad tworzeniem rzeczywistości mieszanej. Udostępniliśmy projekty i pełny kod źródłowy jako dokumentację szkoleniową.
Przykładowe aplikacje typu open source dla urządzenia HoloLens 2
Te przykładowe aplikacje są tworzone za pomocą zestawu narzędzi Mixed Reality Toolkit for Unity.
Przykładowe aplikacje typu open source dla urządzenia HoloLens (pierwsza generacja)
Przykłady funkcji
W przypadku każdego z poniższych scenariuszy dla deweloperów istnieją przykłady funkcji, które odpowiadają konkretnym implementacjom, które zostały omówione w naszej dokumentacji i obejmują szereg platform programistycznych i urządzeń sprzętowych.
| Scenariusz | Przykład funkcji | Aparat | opis |
|---|---|---|---|
| Tworzenie podstawowych scenariuszy rzeczywistości mieszanej aparatu Unity | Przykłady openXR z aparatem Unity | Unity C# | Rozpocznij pracę z narzędziami deweloperskich dla wielu platform przy użyciu najnowszej wtyczki Unity 2020.LTS i OpenXR. |
| Strategie kotwiczenia | Kotwica lokalna | Utrwalanie i udostępnianie kotwic przestrzennych między sesjami aplikacji i urządzeniami. Zobacz artykuł Spatial anchors (Kotwice przestrzenne). | |
| Kody QR | Unity C# | Wykrywanie kodów QR w środowisku. | |
| Współpraca w rzeczywistości mieszanej | Tożsamość użytkownika | Unity C# | Skonfiguruj urządzenie HoloLens 2 przy użyciu poświadczeń usługi Azure Active Directory (AAD). |
| Interakcja przestrzenna | Podstawowy przykład hologramu | Windows 10 C++ | Renderowanie modułu wirującego w środowisku Windows Mixed Reality. |
| Informacje o scenie | Przykłady ze zrozumieniem sceny | Unity C# | Ułatwia projektowanie aplikacji rzeczywistości mieszanej z obsługą środowiska. |
| Nakładki danych kontekstowych | Kody QR | Unity C# | Wykrywanie kodów QR w środowisku. |
| Przykład monitora plakatów | Unity C# | Wyrównywanie hologramu z obiektem świata rzeczywistego. | |
| Tworzenie cyfrowych reprezentacji bliźniaczych rzeczywistości mieszanej | Unity C# | Dowiedz się, jak utworzyć aplikację rzeczywistości mieszanej przy użyciu usługi Azure Digital Twins i platformy Unity w czasie rzeczywistym. | |
| Przechwytywanie danych aparatu | Przykład przechwytywania rzeczywistości mieszanej | Windows 10 C++ | Uchwycić pierwsze doświadczenie mieszania rzeczywistych i cyfrowych światów jako zdjęcia lub wideo. |
| Przykłady trybu badań | Windows 10 C++ | Dostęp do kluczowych czujników na urządzeniu HoloLens na potrzeby aplikacji badawczych. | |
| Holographic Remoting | Odtwarzacz Holographic Remoting | Windows 10 C++ | Przesyłaj strumieniowo zawartość holograficzną z komputera do urządzenia Microsoft HoloLens w czasie rzeczywistym przy użyciu połączenia sieci Wi-Fi. |
| Przykłady usługi Azure Remote Rendering | Unity C# | Przetestuj usługę Azure Remote Rendering przy użyciu zasobów dla przykładowych danych wymienionych tutaj. | |
| Zarządzanie zadaniami i wskazówki | Dynamics 365 Remote Assist | Współpracuj wydajniej, współpracując ze sobą z różnych lokalizacji przy użyciu usługi Dynamics 365 Remote Assist na urządzeniach HoloLens, HoloLens 2, Android lub iOS. | |
| Przewodniki dotyczące usługi Dynamics 365 | Operatorzy pomocy uczą się podczas przepływu pracy, podając instrukcje holograficzne, kiedy i gdzie są potrzebne. | ||
| Hologramy blokujące świat | Przykład fizyki zablokowanej na świecie | Unity C# | Zapoznaj się z kilkoma środowiskami fizyki wirtualnej, które są włączone przez światowy system współrzędnych zablokowanych narzędzi do blokowania. |
| Przykład pinezki spacji | Unity C# | Przejdź bliżej do wewnętrznej pracy rzeczywistej aplikacji, która musi wyrównywać duży obiekt lub obiekty z funkcjami rzeczywistymi. Przykładowy numer Pin obszaru oferuje uproszczony i bardziej skoncentrowany widok funkcji Pinezki spacji. | |
| Przykład wyprowadzeń raya | Unity C# | Pokazano, jak skonfigurować pinezki spacji, ręcznie manipulując obiektami znacznika w pozycji przy użyciu cen zestawu narzędzi MRTK. | |
| Zarządzanie energią i temperaturą | Zarządzanie energią i temperaturą | Unity C#, Win32 C++ | Gdy urządzenie HoloLens 2 działa w ciepłych środowiskach lub z dużymi wymaganiami dotyczącymi wydajności (użycie procesora CPU/procesora GPU, użycie urządzeń peryferyjnych itp.), zestaw SDK PowerThermalNotification może służyć do subskrybowania zdarzeń powiadomień, co pozwala na dłuższe działanie urządzenia. Zobacz dokumentację interfejsu API PowerThermalNotification. |
Tworzenie podstawowych scenariuszy openXR
Jeśli dopiero zaczynasz tworzyć podstawowe scenariusze rzeczywistości mieszanej, te przykłady pomogą Ci rozpocząć pracę.
W przypadku deweloperów przeznaczonych dla aparatu Unity 2020 do tworzenia aplikacji holoLens 2 lub rzeczywistości mieszanej można użyć wtyczki OpenXR zamiast wtyczki XR systemu Windows w celu uzyskania lepszej zgodności międzyplatformowych. Wtyczka OpenXR rzeczywistości mieszanej działa również dobrze z najnowszą wersją zestawu narzędzi Mixed Reality Toolkit (2.7.x).
| Przykład | Artykuł referencyjny | Platforma | opis |
|---|---|---|---|
| Mixed Reality OpenXR z przykładami aparatu Unity | Korzystanie z wtyczki OpenXR | Unity C# | W tych przykładowych projektach pokazano, jak tworzyć aplikacje aparatu Unity dla zestawów słuchawkowych HoloLens 2 lub Mixed Reality przy użyciu wtyczki Mixed Reality OpenXR. Omówiono następujące przykładowe scenariusze:
|
| Projekt podstawowego aparatu Unity zestawu NARZĘDZI OPENXR | Zobacz przykładowy plik readme | Unity C# | To repozytorium zawiera projekt aparatu Unity skonfigurowany z pakietami Microsoft Mixed Reality Toolkit Foundations i Standard Assets oraz pakietem wtyczki Microsoft OpenXR. |
| Używanie aparatu Unity 2020.3 i zestawu MRTK 2.7.2 | Co to jest zestaw narzędzi MRTK | Unity C# | MRTK-Unity to projekt oparty na firmie Microsoft, który udostępnia zestaw składników i funkcji używanych do przyspieszania opracowywania aplikacji mr międzyplatformowych w środowisku Unity. |
| OpenXR Explorer | Zobacz przykładowy plik readme | C++, Windows, Linux, OpenXR | OpenXR Explorer to przydatne narzędzie do debugowania dla deweloperów openXR. Umożliwia łatwe przełączanie między środowiskami uruchomieniowymi OpenXR, wyświetlanie list obsługiwanych rozszerzeń środowiska uruchomieniowego i umożliwia inspekcję typowych właściwości i wyliczenia z bezpośrednimi linkami do odpowiednich części specyfikacji OpenXR! |
| Przykłady openXR dla deweloperów rzeczywistości mieszanej | Co to jest OpenXR | C++ | Te przykłady openXR używają języków C++17 i Direct3D 11. Ten sam kod źródłowy działa w aplikacjach platformy UWP działających na urządzeniach HoloLens 2 i Win32 działających na komputerze z systemem Windows Desktop z immersywnymi zestawami nagłownymi Windows Mixed Reality. |
Współpraca w rzeczywistości mieszanej
W rzeczywistości mieszanej ludzie spotykają się praktycznie, aby dzielić się doświadczeniami i współpracować. Przykłady wymienione tutaj przedstawiają niektóre funkcje, które umożliwiają taką współpracę.
Tożsamość użytkownika
W tym przykładzie skonfigurowano urządzenie HoloLens 2 przy użyciu poświadczeń usługi Azure Active Directory (AAD), a następnie skonfigurowano urządzenie do używania identyfikatora logowania iris.
| Przykład | Artykuł referencyjny |
|---|---|
| Logowanie do usługi AAD na urządzeniu HoloLens 2 | Omówienie Platforma tożsamości Microsoft |
Interakcja przestrzenna — podstawowy przykład hologramu
Ten przykład działa w środowisku Windows Mixed Reality i renderuje przędzenia modułu. Możesz wchodzić w interakcje z modułem, umieszczając go w nowej pozycji, a różne metody wejściowe są dozwolone. Ten przykład działa na komputerach z dołączonymi urządzeniami nagłownymi, a także na urządzeniach Microsoft HoloLens.
| Przykład | Artykuł referencyjny |
|---|---|
| Przykłady uniwersalne systemu Windows — podstawowy hologram | Zobacz przykładowy plik readme |
Informacje o scenie
Zrozumienie sceny zapewnia deweloperom rzeczywistości mieszanej ustrukturyzowaną reprezentację środowiska wysokiego poziomu. Opis sceny jest przeznaczony do tworzenia intuicyjnych i przyjaznych dla środowiska aplikacji przez połączenie możliwości istniejących środowisk uruchomieniowych rzeczywistości mieszanej. Te środowiska uruchomieniowe są bardzo dokładne, ale mniej ustrukturyzowane mapowanie przestrzenne i nowe środowiska uruchomieniowe oparte na sztucznej inteligencji.
| Przykład | Artykuł referencyjny | Platforma | opis |
|---|---|---|---|
| Przykłady usługi Mixed Reality Scene Understanding (zestaw SDK SU) | Informacje o scenie | Unity C# i SU SDK | Przykładowa aplikacja oparta na środowisku Unity, która prezentuje usługę Scene Understanding na urządzeniu HoloLens 2. |
| Przykład rozwiązania Scene Understanding (zestaw SDK zestawu NARZĘDZI MRTK i SU) | Obserwator zrozumienia sceny (MRTK) | Unity C#, MRTK + SU SDK | Przykład zestawu SDK zestawu MRTK + Scene Understanding. |
Nakładki danych kontekstowych
Dane kontekstowe to podstawowe informacje, które zapewniają szerszą wiedzę na temat zdarzenia, osoby lub elementu. Dzięki rzeczywistości rozszerzonej (AR) te informacje mogą być wyświetlane i precyzyjnie dopasowane do obiektów fizycznych w celu zapewnienia szczegółowych informacji, instrukcji, rekordów usług i innych ważnych danych.
Kody QR
Urządzenie HoloLens 2 może wykrywać kody QR w środowisku wokół zestawu nagłownego, ustanawiając układ współrzędnych w rzeczywistej lokalizacji każdego kodu.
| Przykład | Artykuł referencyjny |
|---|---|
| Śledzenie kodu QR w a środowisku Unity | Kody QR |
Przykład monitora plakatów
Często warto wyrównywać hologram do obiektu rzeczywistego lub wyrównywać wiele urządzeń HoloLens do wspólnego zestawu współrzędnych świata, aby wszyscy widzieli te same hologramy w tej samej lokalizacji. Na przykład w scenie aparatu Unity możesz dodać "plakat", w którym chcesz zakotwiczyć scenę (być może tablicę gry), a następnie dodać hologramy na nim lub wokół niej. Następnie można wydrukować plakat, położyć go na stole i uruchomić narzędzie kalibracji/wyrównania, które przeniesie holograficzną wersję plakatu, aby dopasować go do fizycznej wersji plakatu. Spowoduje to przeniesienie wszystkich połączonych hologramów do poprawnego wyrównania.
| Przykład | Artykuł referencyjny |
|---|---|
| Próbka kalibracji plakatu | Zobacz przykładowy plik readme |
Tworzenie cyfrowych reprezentacji bliźniaczych rzeczywistości mieszanej
W tym przykładzie dowiesz się, jak utworzyć aplikację holoLens 2 rzeczywistości mieszanej przy użyciu usługi Azure Digital Twins i aparatu Unity, platformy 3D w czasie rzeczywistym.
| Przykład | Artykuł referencyjny |
|---|---|
| Tworzenie cyfrowych reprezentacji bliźniaczych rzeczywistości mieszanej za pomocą usługi Azure Digital Twins i aparatu Unity | Pełna ścieżka szkoleniowa |
Przechwytywane aparaty
Dane czujników środowiska bez struktury przechwytywane przez urządzenie rzeczywistości mieszanej są konwertowane na zaawansowane abstrakcyjne lub holograficzne reprezentacje świata fizycznego wokół nas.
Holograficzne przechwytywanie rzeczywistości mieszanej
Przechwytywanie rzeczywistości mieszanej (MRC) przechwytuje doświadczenie pierwszej osoby w połączonych rzeczywistych i cyfrowych światach jako zdjęcie lub wideo i udostępnia to, co widzisz innym w czasie rzeczywistym.
| Przykład | Artykuł referencyjny |
|---|---|
| Przykłady przechwytywania rzeczywistości mieszanej | Przechwytywanie rzeczywistości mieszanej |
Tryb badań
Tryb badań został wprowadzony w urządzeniu HoloLens pierwszej generacji, aby zapewnić dostęp do kluczowych czujników na urządzeniu, w szczególności dla aplikacji badawczych, które nie są przeznaczone do wdrożenia. Poniższe przykładowe aplikacje to przykłady uzyskiwania dostępu do strumieni trybu badawczego i rejestrowania ich oraz korzystania z wewnętrznych i egztrynacji.
| Aplikacja przykładowa | Artykuł referencyjny |
|---|---|
| HoloLens (pierwsza generacja) | Tryb badań |
| HoloLens 2 | Tryb badań |
Holographic Remoting
Holographic Remoting Player jest aplikacją towarzyszącą, która łączy się z aplikacjami i grami komputerowymi, które obsługują holographic Remoting. Holographic Remoting strumieniuje zawartość holograficzną z komputera do urządzenia Microsoft HoloLens w czasie rzeczywistym przy użyciu połączenia Wi-Fi i jest obsługiwana na urządzeniach HoloLens (pierwsza generacja) i HoloLens 2.
| Przykład | Artykuł referencyjny |
|---|---|
| Holographic Remoting samples (Próbki komunikacji zdalnie holograficznej) | Holographic Remoting Overview |