Cvičení – Azure Cloud Services pro HoloLens 2

  • 9 min

S každou po sobě jdoucí kapitolou přidáte nové cloudové služby Azure, abyste rozšířili funkce aplikací a uživatelské prostředí a zároveň se naučili základy jednotlivých cloudových služeb Azure.

Poznámka

Tato série modulů se zaměří na HoloLens 2, ale vzhledem k multiplatformní povaze Unity se většina těchto lekcí uplatní i pro desktopové a mobilní aplikace.

Cíle aplikace

V této řadě modulů vytvoříte aplikaci HoloLens 2, která dokáže detekovat objekty z obrázků a najít jeho prostorové umístění. Na tyto objekty budeme odkazovat jako na sledované objekty.

Uživatel může vytvořit sledovaný objekt pro přidružení sady obrázků prostřednictvím počítačového zpracování obrazu, prostorového umístění nebo obojího. Všechna data musí být uložená v cloudu.

Vlastnosti

  • Základní správa dat a obrázků
  • Trénování a detekce obrázků
  • Uložení prostorové lokace a navigace k ní

Azure Cloud Services

K implementaci výše uvedených funkcí použijete následující cloudové služby Azure:

Azure Storage

K zachování dat použijete azure Storage. Azure Storage umožňuje ukládat data do tabulky a nahrávat velké binární soubory, jako jsou obrázky.

Azure Custom Vision

Pomocí služby Azure AI Custom Vision (součást služeb azure AI) můžete přidružit sadu obrázků ke sledovaným objektům, vytrénovat model strojového učení na sadě, kterou jste vytvořili, a detekovat sledované objekty.

Azure Spatial Anchors

Pokud chcete uložit umístění sledovaného objektu a poskytnout navádění k jeho nalezení, použijete Azure Spatial Anchors.

Vytvoření a příprava projektu Unity

V této části vytvoříte nový projekt Unity a připravíte ho na vývoj MRTK.

Nejprve postupujte podle kroků v studijní dráze HoloLens 2, s výjimkou pokynů k nasazení aplikace na vaše zařízení, které zahrnují následující kroky:

  1. Vytvoření projektu Unity a jeho vhodného pojmenování, například Azure Cloud Tutoriály
  2. Přepnutí platformy sestavení
  3. Importování základních zdrojů TextMeshPro
  4. Import sady nástrojů Mixed Reality
  5. Konfigurace projektu Unity
  6. Vytvoření a konfigurace scény a poskytnutí vhodného názvu scény, například azureCloudServices

Import výukové materiály

  1. Přidejte sadu SDK AzurespatialAnchors do projektu. Pokud chcete přidat balíček, postupujte podle tohoto kurzu.

  2. Stáhněte a naimportujte následující vlastní balíčky Unity v pořadí, ve kterém jsou uvedeny:

    Po importu assetů kurzu by mělo okno projektu vypadat nějak takto:

    snímek obrazovky oken hierarchie Unity, scény a projektu po importu výukových materiálů

Příprava scény

V této sekci připravíte scénu přidáním některých předpřipravených prvků tutoriálu.

  1. V okně Projekt přejděte na Prostředky>MRTK.Tutorials.AzureCloudServices>Prefabs>ve složce Manager. Podržte stisknutou klávesu CTRL a vyberte SceneController, RootMenu a DataManager, abyste vybrali tři prefaby:

    snímek obrazovky Unity s vybranými prefaby SceneController, RootMenu a DataManager

    SceneController (prefab) obsahuje dva skripty, SceneController (script) a UnityDispatcher (script). Komponenta skriptu SceneController obsahuje několik funkcí uživatelského rozhraní a usnadňuje funkci zachycení fotek, zatímco UnityDispatcher je pomocná třída umožňující provádění akcí v hlavním vlákně Unity.

    RootMenu (prefab) je primární prefab uživatelského rozhraní, který obsahuje všechna okna uživatelského rozhraní připojená k sobě navzájem prostřednictvím různých malých komponent skriptu a řídí obecný tok uživatelského rozhraní aplikace.

    DataManager (prefab) zodpovídá za komunikaci s úložištěm Azure a vysvětlíme si to v dalším kurzu.

  2. Nyní, když jsou stále vybrány tři prefabrikáty, přetáhněte je do okna Hierarchie, abyste je přidali do scény.

    Screenshot Unity s vybranými nově přidanými prefabrikáty SceneController, RootMenu a DataManager.

  3. Pokud se chcete zaměřit na objekty ve scéně, můžete poklikáním na objekt RootMenu a pak znovu mírně oddálit. Pokud je objekt RootMenu stále vybraný, změňte jeho hodnoty v komponentě Transform následujícím způsobem:

    Pozice: X = 0,0, Y = 1,6, Z = 0,6

    Snímek obrazovky Unity s vybraným objektem RootMenu

    Spropitné

    Pokud ve scéně najdete velké ikony, které ruší (například velké ikony s rámečkem T), můžete je skrýt přepnutím Gizmos na vypnutou pozici.

Konfigurace scény

V této části připojíte SceneManager, DataManagera RootMenu, abyste měli pracovní scénu pro další kurz integrace úložiště Azure.

Připojení objektů

  1. V okně Hierarchie vyberte objekt DataManager:

    Snímek obrazovky Unity s vybraným objektem DataManager

  2. V okně inspektoru vyhledejte DataManager (Script) komponentu. V události On Data Manager Ready () se zobrazí prázdný slot. Přetáhněte objekt SceneController z okna Hierarchie do události On Data Manager Ready ().

    snímek obrazovky Unity s přidaným DataManager posluchačem událostí

  3. Rozevírací nabídka události je nyní aktivní. Vyberte rozevírací nabídku, přejděte na SceneController a v podnabídce vyberte možnost Init ().

    snímek obrazovky Unity s přidanou akcí události DataManager

  4. V okně Hierarchie vyberte objekt SceneController. V inspektoru najdete komponentu SceneController (script).

    snímek obrazovky Unity s vybranou možností SceneController

  5. Nyní existuje několik nevyplněných polí; Změňme to. Přesuňte objekt DataManager z Hierarchie do pole Data Manager a poté přesuňte RootMenu>MainMenu GameObject z Hierarchie do pole Main Menu.

    snímek obrazovky Unity s nakonfigurovaným objektem SceneController

  6. V okně Hierarchie vyberte objekt MRTK XR Rig. Ujistěte se, že podřízený objekt MRTK Speech je povolený. Díky tomu můžete nabídku otevřít tak, že řeknete "Otevřít nabídku".

  7. Nyní je vaše scéna připravena na nadcházející návody. Nezapomeňte ho uložit do projektu.

Příprava kanálu sestavení projektu

Poznámka

Sestavování a testování na HoloLens 2 není povinné. Pokud zařízení HoloLens nemáte, můžete testovat na emulátoru HoloLens 2. Zařízení si můžete zakoupit v HoloLens.com.

Než dokončíme scénu, připravme projekt na sestavení pro HoloLens 2.

1. Přidání dalších požadovaných funkcí

  1. V nabídce Unity vyberte Upravit>Nastavení projektu..., otevřít okno Nastavení projektu.

    snímek obrazovky s otevřenými nastaveními projektu v Unity.

  2. V okně Nastavení projektu vyberte Přehrávač, a pak Nastavení publikování:

    snímek obrazovky s nastavením publikování Unity

  3. V Nastavení publikovánípřejděte dolů do části Schopnosti a pečlivě zkontrolujte, jestli jsou povolené možnosti InternetClient, Mikrofona SpatialPerception (které jste povolili při vytváření projektu na začátku kurzu). Potom povolte schopnosti InternetClientServer, PrivateNetworkClientServera Webcam:

    Snímek obrazovky s možnostmi Unity

2. Nasazení aplikace do HoloLens 2

Nebudete moct spouštět všechny funkce, které budete používat v této sérii kurzů v editoru Unity. Proto musíte být obeznámeni s nasazením aplikace do zařízení nebo emulátoru HoloLens 2.

Spropitné

Pokud potřebujete připomenutí, jak sestavit a nasadit projekt Unity do HoloLens 2, můžete se podívat na pokyny v tutoriálech Začínáme – Sestavení a nasazení aplikace.

3. Spusťte aplikaci na HoloLens 2 a postupujte podle pokynů v aplikaci.

Opatrnost

Všechny služby Azure používají internet, proto se ujistěte, že je vaše zařízení připojené k internetu.

Když je aplikace spuštěná na vašem zařízení, udělte přístup k následujícím požadovaným funkcím:

  • Mikrofon
  • Fotoaparát

Tyto funkce jsou potřeba pro správné fungování služeb, jako jsou Custom Vision.