Cvičení – integrace služby Azure Custom Vision

  • 4 min

V tomto modulu se dozvíte, jak používat Azure Custom Vision. Pořídíte sadu fotek sledovaného objektu, nahrajete je do služby Custom Vision a spustíte proces trénování. Pak použijete službu k detekci sledovaného objektu zachycením fotek z webové kamery.

Principy služby Azure AI Custom Vision

Azure AI Custom Vision je součástí řady služeb Cognitive Services a slouží k trénování klasifikátorů obrázků. Klasifikátor obrázků je služba AI, která používá natrénovaný model k použití odpovídajících značek. Naše aplikace použije tuto funkci klasifikace k detekci sledovaných objektů.

Přečtěte si další informace o custom vision.

Příprava služby Custom Vision

Než začnete, musíte vytvořit projekt Custom Vision. Nejrychlejší způsob, jak vytvořit projekt Custom Vision, je použití portálu Custom Vision.

Postupujte podle tohoto rychlého průvodce pro nastavení účtu a projektu. Postupujte podle pokynů v části Nahrání a označování obrázků. Měli byste vytvořit jednu značku s pěti obrázky.

Varování

Pokud chcete natrénovat model, musíte mít aspoň dva štítky a pět obrázků na štítek. Později prostřednictvím aplikace přidáme další obrázky. Pokud ale chcete tuto aplikaci použít, musíte alespoň vytvořit jednu značku s pěti obrázky, aby se proces trénování později nezveřel.

Příprava scény

  1. V okně Projektu přejděte do složky assets>MRTK.Tutorials.AzureCloudServices>Prefabs>Manager.

    snímek obrazovky Unity s oknem projektu zobrazujícím cestu k předfabu ObjectDetectionManager.

  2. Odtud přetáhněte objekt ObjectDetectionManager prefab do hierarchie scény.

    snímek obrazovky Unity s konfiguračními poli komponent skriptu ObjectDetectionManager zobrazenými v inspektoru

  3. V okně Hierarchie vyhledejte a vyberte objekt ObjectDetectionManager. Prefab ObjectDetectionManager obsahuje komponentu ObjectDetectionManager (script) a jak je vidět v okně inspektoru, závisí to na nastavení Azure a nastavení projektu.

Načtení přihlašovacích údajů k prostředkům rozhraní Azure API

Potřebné přihlašovací údaje pro ObjectDetectionManager (skript) můžete načíst z webu Azure Portal a portálu Custom Vision.

Načtení přihlašovacích údajů nastavení Azure

Najděte a umístěte prostředek Custom Vision Cognitive Services typu, který jste vytvořili v části Příprava scény tohoto kurzu. Tam vyberte Přehled nebo Klíče a koncový bod a načtěte potřebné přihlašovací údaje.

  • ID předplatného Azure Resource: Použijte ID předplatného z části Přehled.
  • název skupiny prostředků Azure: Použijte název skupiny prostředků z části Přehled.

Pro název skupiny služeb Cognitive Servicepoužijte název prostředku Custom Vision následovaný -Prediction.

  • koncový bod základní předpovědi prostředku: Použijte koncový bod z klíčů a koncového bodu v prostředku Custom Vision -Prediction.
  • klíč k předpovědím pro API: Použijte klíč 1 z klíčů a koncového bodu v prostředku Custom Vision -Prediction.

Načtení přihlašovacích údajů pro nastavení projektu

Na řídicím panelu Custom Vision otevřete projekt, který jste vytvořili pro tento kurz, a pak v pravém horním rohu stránky vyberte ikonu Nastavení (ozubené kolo) a otevřete stránku Nastavení. Potřebné přihlašovací údaje najdete v části Zdroje na pravé straně a v části Obecné na levé straně.

  • Koncový bod základního prostředku: Použijte koncový bod z části Zdroje. Měl by se shodovat s koncovým bodem v části Klíče a koncový bod v prostředku Custom Vision.
  • klíč rozhraní API: Použijte klíč z oddílu Prostředky. Tento klíč musí odpovídat klíči v části Klíče a koncový bod ve zdroji Custom Vision.
  • ID projektu: Použijte ID projektu z oddílu Obecné.

  1. Teď, když je ObjectDetectionManager (script) správně nastaven, najděte objekt SceneController v Hierarchii scény a vyberte ho.

    snímek obrazovky Unity s konfiguračními poli komponent skriptu SceneController zobrazenými v inspektoru

  2. Pole Správce detekce objektů v komponentě SceneController je prázdné. Přetáhněte ObjectDetectionManager z hierarchie do komponenty SceneController a uložte scénu.

    snímek obrazovky Unity s nakonfigurovanou komponentou skriptu SceneController

Pořízení a nahrání obrázků

  1. Spusťte scénu a vyberte Nastavit objekt. Zadejte název jednoho ze sledovaných objektů, které jste vytvořili v předchozí lekci. V dolní části karty objektu vyberte tlačítko počítačového zpracování obrazu.

  2. Otevře se nové okno. Vezmete šest fotografií pro trénink modelu na rozpoznávání obrázků. Vyberte tlačítko Kamera a proveďte AirTap, poté se podívejte na objekt, který chcete sledovat. Udělejte to šestkrát.

    Spropitné

    Pokud chcete zlepšit trénování modelu, zkuste každý obrázek pořídit z různých úhlů a světelných podmínek.

  3. Jakmile budete mít dostatek obrázků, vyberte tlačítko Trénovat a spusťte proces trénování modelu v cloudu. Tím se nahrají všechny obrázky a zahájí se trénování. Proces může trvat několik minut. Zpráva v nabídce označuje aktuální průběh. Po dokončení procesu můžete aplikaci zastavit.

    Spropitné

    Objekt ObjectDetectionManager (skript) přímo nahraje pořízené obrázky do služby Custom Vision. Jako alternativu rozhraní API služby Custom Vision přijímá adresy URL k obrázkům. Jako cvičení můžete upravit ObjectDetectionManager (skript) tak, abyste nahrávali obrázky do úložiště Blob.

Varování

Pokud se trénování nezdaří, zkontrolujte řídicí panel Služby Custom Vision a ujistěte se, že máte aspoň dvě značky a že každá značka má aspoň pět obrázků.

Detekce objektů

Trénovaný model teď můžete nasadit do testu. Spusťte aplikaci. V hlavní nabídce vyberte Objekt hledání a zadejte název sledovaného objektu. Zobrazí se karta objektu. Pak vyberte tlačítko Custom Vision. Objekt *ObjectDetectionManager začne na pozadí pořizovat snímky z kamery. Nabídka bude indikovat průběh aplikace. Nasměrujte fotoaparát na objekt, který jste použili k trénování modelu. Brzy by měl objekt rozpoznat.