Cvičení – nastavení záměru a porozumění přirozenému jazyku

Dokončeno

V tomto modulu prozkoumáte rozpoznávání záměru služby Azure Speech. Rozpoznávání záměru umožňuje aplikaci vybavit příkazy řeči využívajícími AI, kde uživatelé můžou říkat nespecifické příkazy řeči a systém stále rozumí jejich záměru.

Příprava scény

1. V okně Hierarchie vyberte objekt Lunarcom a pak v okně inspektoru pomocí tlačítka Přidat komponentu přidejte ke komponentě objektu Lunarcom Lunarcom Intent Recognizer (Script).

   

2. V okně Projekt přejděte na Prostředky>MRTK.Tutorials.GettingStarted>Prefabs>RocketLauncher složka, přetáhněte RocketLauncher_Complete prefab do okna Hierarchie a umístěte ho před kameru do vhodného umístění. Například:

   • Převést pozici X = 0, Y = 1, Z = 1.5
   • Transformace rotace X = 0, Y = 90, Z = 0

   

3. V okně Hierarchie znovu vyberte objekt Lunarcom, poté rozbalte objekt RocketLauncher_Complete>Tlačítka a přiřaďte každý z podřízených objektů Tlačítka k odpovídajícímu poli Tlačítka lunárního spouštěče.

   

Vytvoření prostředku služby jazyka Azure

V této části vytvoříte prostředek služby jazyka Azure pro aplikaci ClU (Conversational Language Understanding), kterou vytvoříte v další části.

1. Přihlaste se do Azure portálu a vyberte Vytvořit prostředek, poté vyhledejte a vyberte Language Service:

   

2. Vyberte tlačítko Vytvořit a vytvořte instanci této služby:

   

3. Na stránce Vytvořit jazyk zadejte následující hodnoty:

   • Pokud máte zkušební předplatné , propředplatné vyberte bezplatnou zkušební verzi. Pokud nemáte zkušební předplatné, vyberte jedno z dalších předplatných.
   • V skupiny prostředkůvyberte odkaz Vytvořit nový a zadejte vhodný název; například MRTK-Tutorials. Vyberte OK.

   

   Spropitné

   Pokud už máte ve svém účtu Azure jinou vhodnou skupinu prostředků, můžete tuto skupinu prostředků použít místo vytvoření nové skupiny prostředků.

4. Na stránce Vytvořit zadejte následující hodnoty:

   • Do pole Názevzadejte vhodný název služby; například MRTK-Tutorials-AzureSpeechServices
   • V oblastizvolte umístění blízko fyzické polohy uživatelů aplikace; Například USA – východ
   • Pro cenové úrovněv tomto návodu vyberte F0 (5 tisíc transakcí za 30 dnů).

   

5. Poté vyberte Zkontrolovat a vytvořit, zkontrolujte podrobnosti, a poté vyberte tlačítko Vytvořit v dolní části stránky k vytvoření prostředku (a nové skupiny prostředků, pokud jste nakonfigurovali její vytvoření).

   

6. Po dokončení procesu vytváření prostředků se zobrazí zpráva Dokončení nasazení:

   

Vytvoření konverzační aplikace pro rozpoznávání jazyka (CLU)

V této části vytvoříte aplikaci CLU, nakonfigurujete a vytrénujete její prediktivní model a připojíte ji k prostředku jazyka Azure, který jste vytvořili v předchozím kroku.

Konkrétně vytvoříte úmysl, který v případě, že uživatel řekne, že se má provést akce, aplikace aktivuje PressableButton.OnClicked() událost na jednom ze tří modrých tlačítek na obrazovce v závislosti na tom, na kterém tlačítku uživatel odkazuje.

Pokud například uživatel řekne, pokračujte a spusťteraketu, aplikace předpovídá, že pokračujte znamená, že by se měla provést nějaká akce a že PressableButton.OnClicked() akce pro zacílení je na tlačítku 'Start'.

Hlavními kroky, které provedete k dosažení těchto kroků, jsou:

1. Vytvoření aplikace CLU
2. Vytvořte záměry
3. Vytvoření ukázkových promluv
4. Vytváření entit
5. Přiřazení entit k ukázkovým promluvám
6. Trénování, testování a publikování aplikace

1. Vytvoření aplikace CLU

Pomocí stejného uživatelského účtu, který jste použili při vytváření prostředku Azure v předchozí části, se přihlaste k Language Studio.

1. Po přihlášení se zobrazí výzva k výběru prostředku Azure. Vyberte hodnoty, které jste použili při vytváření prostředku služby Azure Language, a pak vyberte Hotovo.

   

2. Po připojení prostředku Azure vyberte Vytvořit nový > Konverzační porozumění jazyku a do okna Vytvořit projekt zadejte následující hodnoty:

   • Jako Namezadejte vhodný název, například: MRTK-Tutorials-AzureSpeechServices. Poznamenejte si název, který jste vybrali, budete ho potřebovat později v kurzu.
   • Pro promluvy zvolte hlavní jazyk.
   • Pro Popisvolitelně zadejte vhodný popis.

   

3. Vyberte Další a zkontrolujte konfiguraci projektu. Vyberte Vytvořit pro vytvoření projektu.

   

4. Po vytvoření nové aplikace se přesměrujete na stránku definice schématu této aplikace.

   

2. Vytvoření záměrů

1. Na stránce definice schématu vyberte Přidat a do vyskakovacího okna Přidat záměr zadejte následující hodnotu:

   • Pro název záměru zadejte stiskněte tlačítko PressButton

2. Vyberte Přidat záměr a vytvořte nový záměr:

   

   Opatrnost

   Pro účely tohoto kurzu bude projekt Unity odkazovat na tento záměr podle názvu (PressButton). Je velmi důležité, abyste svůj záměr pojmenováli úplně stejně.

3. Po vytvoření nového záměru se vrátíte na stránku definice schématu. Záměr PressButton se zobrazí v seznamu záměrů.

   

3. Vytvoření ukázkových promluv

1. Na levém bočním panelu vyberte tlačítko popisků dat. Na obrazovce Popisky dat vyberte PressButton z rozevíracího seznamu Vyberte záměr.

   

2. Do seznamu promluv pro úmysl PressButton přidejte následující ukázkové výroky:Utterances.

   • aktivace spouštěcí sekvence
   • ukaž mi nápovědu k umístění
   • inicializovat spouštěcí sekvenci
   • stiskněte tlačítko s informacemi o umístění
   • dejte mi nápovědu
   • stiskněte tlačítko pro spuštění.
   • Potřebuji nápovědu
   • stiskněte tlačítko pro resetování.
   • čas na resetování prostředí
   • jdi dopředu a start rakety

3. Po přidání všech ukázkových promluv by stránka popisování dat měla vypadat takto:

   

   Opatrnost

   Pro účely tohoto kurzu bude projekt Unity odkazovat na slova "hint", "hints", "reset" a "launch". Je velmi důležité, abyste tato slova napsali úplně stejným způsobem ve všech případech.

4. Vytváření entit

1. Na stránce pro popisování dat vyberte Přidat entitu v pravém podokně Aktivita a do vyskakovacího okna Přidat entitu zadejte následující hodnoty:

   • Jako název entityzadejte akce

2. Vyberte Přidat entitu a vytvořte novou entitu.

   

3. Opakováním předchozího kroku vytvořte další entitu s názvem Target, takže máte dvě entity s názvem Action a Target.

   

   Opatrnost

   Pro účely tohoto kurzu bude projekt Unity odkazovat na tyto entity podle jejich názvů, Action a Target. Je velmi důležité pojmenovat entity úplně stejně.

5. Přiřazení entit k ukázkovým promluvám

1. Vyberte slovo přejděte a poté na slovo dopředu. Poté v místní nabídce vyberte akci (Jednoduchá), abyste označili přejděte dopředu jako hodnotu entity Akce .

   

2. Fráze "pokračovat" je teď definována jako hodnota entity Akce. Teď je hodnota entity akce pod slovy "go ahead".

   

   Poznámka

   Červená čára, kterou vidíte pod popiskem na obrázku, označuje, že hodnota entity nebyla předpovězena; tento problém se vyřeší při trénování modelu v další části.

3. Dále vyberte slovo spustit, poté z kontextové nabídky vyberte Target, abyste označili spustit jako hodnotu entity Target.

   

4. Spouštěcí slovo je nyní definováno jako hodnota entity Target. Pod slovem "launch" je teď hodnota cílové entity.

   

5. Ukázková promluva záměru PressButton go ahead and launch the rocket je teď nakonfigurovaná tak, aby byla předpovězena následujícím způsobem:

   • Záměr: Stiskněte tlačítko
   • Entita akce: můžete pokračovat
   • Cílová entita: spuštění

6. Opakováním předchozího procesu přiřaďte k jednotlivým ukázkovým promluvám popisek akce a cílové entity, přičemž mějte na paměti, že následující slova by měla být označena jako Cíl entity:

   • nápověda (cílí na HintsButton v projektu Unity)
   • nápovědy (cílí na HintsButton v projektu Unity)
   • resetování (cílí na ResetButton v projektu Unity)
   • spuštění (cílí na LaunchButton v projektu Unity)

7. Vyberte Uložit změny. Když označíte všechny ukázkové promluvy, stránka záměru PressButton by měla vypadat takto:

   

6. Trénování, testování a publikování aplikace

1. Pokud chcete aplikaci vytrénovat, vyberte na levém bočním panelu tlačítko Trénovat. Měly byste vidět stránku trénovacích úloh.

   

2. Vyberte Spustit trénovací úlohu a vyberte následující hodnoty:

   • Vyberte Natrénujte nový model a zadejte vhodný název; například MRTK-Tutorials-AzureSpeechServices.
   • Vyberte standardní trénovací.
   • Vyberte Automaticky rozdělit testovací sadu z trénovacích dat.

3. Vyberte Trénovat a spusťte proces trénování. Až se dokončí zpracování školení, zobrazí se oznámení Dokončení školení.

   

4. Pokud chcete zkontrolovat výsledky trénování, vyberte svůj výstupní model na obrazovce Úlohy trénování a pak vyberte kartu Výkon modelu.

   

5. Aplikaci nasadíte tak, že na levém bočním panelu vyberete tlačítko Nasazení modelu. Měla by se zobrazit stránka Nasazení modelu.

   

6. Vyberte Přidat nasazení a do dialogového okna Přidat nasazení zadejte následující hodnoty:

   • Vyberte Vytvořit nový název nasazení a zadejte vhodný název. Poznamenejte si název, který jste vybrali, budete ho potřebovat později v kurzu.
   • Vyberte model, který jste vytvořili dříve, z rozevíracího seznamu Vyberte vytrénovaný model.

7. Vyberte Nasadit a počkejte na dokončení procesu publikování.

   

8. Vyberte nové nasazení a stiskněte tlačítko Získat adresu URL předpovědi.

   cs-CZ:

Připojení projektu Unity k aplikaci CLU

1. Ve vyskakovacím okně Získat prediktivní adresu URL vyberte ikonu Kopírovat a zkopírujte adresu URLpredikce.

   

2. Vraťte se zpět do projektu Unity, v okně Hierarchie vyberte objekt Lunarcom, a pak v okně Inspektoru vyhledejte komponentu Lunarcom Intent Recognizer (Script) a nakonfigurujte ji následujícím způsobem.

   • Do pole koncový bod CLU předejte prediktivní adresu URL, kterou jste zkopírovali v předchozím kroku.
   • Do pole Název projektu CLU předejte název projektu , jste si poznamenali při vytváření aplikace CLU.
   • V poli Nasazení CLU předejte název nasazení , jste si při vytváření nového nasazení poznamenali.
   • V poli Klíč rozhraní API služby jazyka zadejte klíč rozhraní API (Key1 nebo Key2) pro svoji jazykovou službu . Najdete ho na webu Azure Portal tak, že v nabídce vlevo vyberete svoji jazykovou službu a pak vyberete Klíče a koncový bod.

   

Otestování rozpoznávání záměru

1. Pokud chcete používat rozpoznávání záměru přímo v editoru Unity, musíte povolit, aby váš vývojový počítač používal diktování. Pokud chcete toto nastavení ověřit, otevřete Nastavení Systému Windows a pak zvolte Ochrana osobních údajů>Speech a ujistěte se, že je zapnuté Online rozpoznávání řeči.

   

2. Pokud přejdete do herního režimu, můžete rozpoznávání záměru otestovat tak, že nejprve stisknete tlačítko rakety. Až pak řeknete první ukázkovou promluvu, pokračujte a odpalte raketu, uvidíte, jak lunární modul startuje do vesmíru.

   

3. Zkuste všechny ukázkové promluvy, pak některé varianty ukázkových promluv a pak několik náhodných promluv.