Nasazení toku pro odvozování v reálném čase
Důležité
Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Jakmile vytvoříte tok výzvy a správně ho otestujete, můžete ho nasadit jako online koncový bod. Nasazení se hostují v rámci koncového bodu a můžou přijímat data od klientů a odesílat odpovědi zpět v reálném čase.
Koncový bod můžete vyvolat pro odvozování v reálném čase pro chat, copilot nebo jinou generující aplikaci AI. Tok výzvy podporuje nasazení koncového bodu z toku nebo hromadného testovacího spuštění.
V tomto článku se dozvíte, jak nasadit tok jako spravovaný online koncový bod pro odvozování v reálném čase. Kroky, které provedete, jsou:
- Otestujte tok a připravte ho na nasazení.
- Vytvořte online nasazení.
- Udělte koncovému bodu oprávnění.
- Otestujte koncový bod.
- Využití koncového bodu
Požadavky
Pokud chcete nasadit tok výzvy jako online koncový bod, potřebujete:
- Předplatné Azure. Pokud ho nemáte, vytvořte si bezplatný účet před tím, než začnete.
- Projekt Azure AI Foundry
- Poskytovatel prostředků Microsoft.PolicyInsights zaregistrovaný ve vybraném předplatném. Další informace o registraci prostředku najdete v tématu Registrace poskytovatele prostředků.
Vytvoření online nasazení
Teď, když jste vytvořili tok a správně ho otestovali, je čas vytvořit online koncový bod pro odvozování v reálném čase.
Postupujte podle následujících kroků a nasaďte tok výzvy jako online koncový bod na portálu Azure AI Foundry.
Připravte tok výzvy k nasazení. Pokud ho nemáte, podívejte se, jak vytvořit tok výzvy.
Volitelné: Vyberte Chat a otestujte, jestli tok funguje správně. Doporučuje se otestovat tok před nasazením.
V editoru toků vyberte Nasadit .
Zadejte požadované informace na stránce Základní nastavení v průvodci nasazením.
Výběrem možnosti Zkontrolovat a vytvořit zkontrolujte nastavení a vytvořte nasazení. Jinak můžete vybrat Další a přejít na stránky upřesňujících nastavení.
Výběrem možnosti Vytvořit nasadíte tok výzvy.
Pokud chcete zobrazit stav nasazení, v levém navigačním panelu vyberte Modely a koncové body . Po úspěšném vytvoření nasazení můžete výběrem nasazení zobrazit podrobnosti.
Výběrem karty Spotřebovat zobrazíte ukázky kódu, které se dají použít k využívání nasazeného modelu ve vaší aplikaci.
Poznámka:
Na této stránce můžete také zobrazit adresu URL koncového bodu, kterou můžete použít k využívání koncového bodu.
Koncový bod REST můžete použít přímo nebo můžete začít s některou z ukázek uvedených tady.
Další informace najdete v následujících částech.
Tip
Průvodce nasazením základního modelu najdete v tématu Nasazení modelů pomocí Azure AI Foundry.
Nastavení a konfigurace
Textový soubor s požadavky
Volitelně můžete zadat další balíčky, které potřebujete v requirements.txtsouboru . V kořenové složce složky toku najdete requirements.txt . Když nasadíte tok výzvy do spravovaného online koncového bodu v uživatelském rozhraní, použije nasazení ve výchozím nastavení prostředí vytvořené na základě základní image zadané v flow.dag.yaml toku a závislostech zadaných v requirements.txt toku.
Poznámka:
Základní image zadaná v flow.dag.yaml sadě musí být vytvořena na základě základní image mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> toku výzvy a zde najdete nejnovější verzi. Pokud nezadáte základní image v flow.dag.yamlsadě , nasazení použije výchozí základní image mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.
Základní nastavení
Tento krok umožňuje nakonfigurovat základní nastavení při výběru možnosti Nasadit v editoru toků.
| Vlastnost | Popis |
|---|---|
| Koncový bod | Můžete vybrat, jestli chcete nasadit nový koncový bod, nebo aktualizovat existující koncový bod. Pokud vyberete Možnost Nový, musíte zadat název koncového bodu. |
| Název nasazení | – V rámci stejného koncového bodu by měl být název nasazení jedinečný. – Pokud vyberete existující koncový bod a zadáte existující název nasazení, bude toto nasazení přepsáno novými konfiguracemi. |
| Virtuální počítač | Velikost virtuálního počítače, která se má použít pro nasazení. |
| Počet instancí | Početinstancích Zadejte hodnotu očekávané úlohy. Pro zajištění vysoké dostupnosti doporučujeme nastavit hodnotu alespoň 3na hodnotu . Pro provádění upgradů si vyhrazujeme dalších 20 %. |
| Shromažďování dat odvozování | Pokud to povolíte, vstupy a výstupy toku se automaticky shromažďují v datovém assetu služby Azure Machine Learning a dají se použít pro pozdější monitorování. |
Jakmile dokončíte základní nastavení, můžete vytvoření dokončit přímo zkontrolovat a vytvořit, nebo můžete vybrat Další a nakonfigurovat upřesňující nastavení.
Upřesnit nastavení – koncový bod
Pro koncový bod můžete zadat následující nastavení.
V pracovním postupu upřesňujících nastavení můžete také zadat značky nasazení a vybrat vlastní prostředí.
Authentication type
Metoda ověřování pro koncový bod. Ověřování na základě klíčů poskytuje primární a sekundární klíč, jehož platnost nevyprší. Ověřování založené na tokenech Služby Azure Machine Learning poskytuje token, který se pravidelně aktualizuje automaticky.
Typ identity
Koncový bod potřebuje přístup k prostředkům Azure, jako je Azure Container Registry nebo připojení centra Azure AI Foundry pro odvozování. Přístup k prostředkům Azure můžete povolit tak, že koncovému bodu udělíte oprávnění ke své spravované identitě.
Identita přiřazená systémem se po vytvoření koncového bodu automaticky vytvoří, zatímco identitu přiřazenou uživatelem vytvoří uživatel. Přečtěte si další informace o spravovaných identitách.
Přiřazeno systémem
Všimněte si, že existuje možnost vynutit přístup k tajným kódům připojení (Preview). Pokud váš tok používá připojení, musí koncový bod přistupovat k připojením, aby bylo možné provést odvozování. Možnost je ve výchozím nastavení povolená, koncový bod má udělenou roli Čtenář tajných kódů připojení pracovního prostoru služby Azure Machine Learning pro přístup k připojením automaticky, pokud máte oprávnění čtenáře tajných kódů připojení. Pokud tuto možnost zakážete, musíte tuto roli udělit identitě přiřazené systémem ručně sami nebo požádat o pomoc správce. Přečtěte si další informace o tom, jak udělit oprávnění identitě koncového bodu.
Přiřazeno uživatelem
Při vytváření nasazení se Azure pokusí vyžádat image kontejneru uživatele z azure AI Foundry Hubu Azure Container Registry (ACR) a připojí artefakty uživatelského modelu a kódu do kontejneru uživatele z účtu úložiště centra.
Pokud jste vytvořili přidružený koncový bod s identitou přiřazenou uživatelem, musí být před vytvořením nasazení udělena následující role. Jinak se vytvoření nasazení nezdaří.
| Obor | Role | Proč je to potřeba |
|---|---|---|
| Projekt Azure AI Foundry | Role Čtenář tajných kódů pro připojení pracovního prostoru Azure Machine LearningNEBO přizpůsobená role s Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action |
Získání připojení k projektu |
| Registr kontejneru projektu Azure AI Foundry | ACR pull | Image kontejneru pro přijetí změn |
| Výchozí úložiště projektu Azure AI Foundry | Čtenář dat v objektech blob služby Storage | Načtení modelu z úložiště |
| Projekt Azure AI Foundry | AzureML Metrics Writer (Preview) | Toto oprávnění je nutné identitě udělit v případě, že po nasazení koncového bodu chcete monitorovat metriky související s koncovými body, jako je využití procesoru, GPU, disku nebo paměti. Volitelné |
Podrobné pokyny k udělení oprávnění identitě koncového bodu najdete v tématu Udělení oprávnění ke koncovému bodu.
Důležité
Pokud váš tok používá ověřovací připojení založená na Microsoft Entra ID bez ohledu na to, jestli používáte identitu přiřazenou systémem nebo identitu přiřazenou uživatelem, musíte spravované identitě vždy udělit příslušné role odpovídajících prostředků, aby bylo možné volat rozhraní API pro daný prostředek. Pokud například vaše připojení Azure OpenAI používá ověřování založené na ID Microsoftu, musíte udělit identitě spravované koncovým bodem Cognitive Services openAI uživatele nebo přispěvatele OpenAI služeb Cognitive Services s odpovídajícími prostředky Azure OpenAI.
Upřesňující nastavení – Výstupy a připojení
V tomto kroku můžete zobrazit všechny výstupy toku a určit, které výstupy se mají zahrnout do odpovědi na nasazený koncový bod. Ve výchozím nastavení jsou vybrány všechny výstupy toku.
Můžete také určit připojení používaná koncovým bodem při jeho odvozování. Ve výchozím nastavení jsou zděděné z toku.
Jakmile nakonfigurujete a zkontrolujete všechny výše uvedené kroky, můžete vytvoření dokončit výběrem možnosti Zkontrolovat a vytvořit .
Poznámka:
Počítejte s tím, že vytvoření koncového bodu bude trvat přibližně 15 minut, protože obsahuje několik fází, mezi které patří vytvoření koncového bodu, registrace modelu, vytvoření nasazení atd.
Průběh vytváření nasazení můžete pochopit prostřednictvím oznámení, které začíná nasazením toku výzvy.
Povolení trasování zapnutím diagnostiky Application Insights (Preview)
Pokud to povolíte, trasování dat a systémových metrik během doby odvozování (například počet tokenů, latence toku, žádost o tok atd.) se shromáždí do propojené služby Application Insights pracovního prostoru. Další informace najdete v tématu Výzva toku obsluhující trasovací data a metriky.
Udělení oprávnění koncovému bodu
Důležité
Udělení oprávnění (přidání přiřazení role) je povoleno jen pro vlastníka konkrétních prostředků Azure. Možná budete muset požádat o pomoc vlastníka předplatného Azure (který může být vaším správcem IT).
Před vytvořením nasazení se doporučuje udělit rolím identitu přiřazenou uživatelem. Než se udělené oprávnění projeví, může to trvat déle než 15 minut.
Požadovaná oprávnění můžete udělit v uživatelském rozhraní webu Azure Portal pomocí následujícího postupu.
Na webu Azure Portal přejděte na stránku přehledu projektu Azure AI Foundry.
Vyberte Řízení přístupu a vyberte Přidat přiřazení role.
Vyberte Čtečku tajných kódů připojení pracovního prostoru Azure Machine Learning, přejděte na Další.
Poznámka:
Role Čtenář tajných kódů připojení pracovního prostoru Azure Machine Learning je předdefinovaná role, která má oprávnění získat připojení centra.
Pokud chcete použít přizpůsobenou roli, ujistěte se, že přizpůsobená role má oprávnění
Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Přečtěte si další informace o vytváření vlastních rolí.Vyberte spravovanou identitu a vyberte členy.
Jako identitu přiřazenou systémem vyberte online koncový bod strojového učení v části Spravovaná identita přiřazená systémem a vyhledejte podle názvu koncového bodu.
Jako identitu přiřazenou uživatelem vyberte spravovanou identitu přiřazenou uživatelem a vyhledejte ji podle názvu identity.
Pro identitu přiřazenou uživatelem musíte také udělit oprávnění registru kontejneru centra a účtu úložiště. Registr kontejnerů a účet úložiště najdete na stránce přehledu centra na webu Azure Portal.
Přejděte na stránku přehledu registru kontejneru centra, vyberte Řízení přístupu a vyberte Přidat přiřazení role a přiřaďte přijetí změn ACR |Načíst image kontejneru do identity koncového bodu
Přejděte na výchozí stránku přehledu úložiště centra, vyberte Řízení přístupu a vyberte Přidat přiřazení role a přiřaďte Čtenář dat objektů blob služby Storage k identitě koncového bodu.
(volitelné) Pokud chcete u identity přiřazené uživatelem monitorovat metriky související s koncovým bodem, jako je využití procesoru, GPU, disku nebo paměti, musíte identitě udělit také roli zapisovače metrik pracovního prostoru centra.
Kontrola stavu koncového bodu
Po dokončení průvodce nasazením budou k dispozici oznámení. Po úspěšném vytvoření koncového bodu a nasazení můžete v oznámení na stránce podrobností nasazení vybrat Možnost Zobrazit podrobnosti .
Můžete také přímo přejít na stránku Nasazení z levého navigačního panelu, vybrat nasazení a zkontrolovat stav.
Testování koncového bodu
Na stránce s podrobnostmi o nasazení přepněte na kartu Test .
U koncových bodů nasazených ze standardního toku můžete zadat hodnoty v editoru formulářů nebo editoru JSON a otestovat koncový bod.
Testování koncového bodu nasazeného z toku chatu
U koncových bodů nasazených z toku chatu ho můžete otestovat v imerzivním okně chatu.
Během chat_input vývoje toku chatu byla nastavena. Zprávu můžete zadat do vstupního chat_input pole. Pokud váš tok obsahuje více vstupů, panel Vstupy na pravé straně je určen pro zadání hodnot pro jiné vstupy chat_inputkromě .
Využití koncového bodu
Na stránce s podrobnostmi o nasazení přepněte na kartu Spotřebovávat . Můžete najít koncový bod REST a klíč/token pro využívání koncového bodu. K dispozici je také vzorový kód, který můžete využívat koncový bod v různých jazycích.
Potřebujete zadat hodnoty pro RequestBody nebo data a api_key. Pokud má váš tok například 2 vstupy location , urlmusíte zadat data následujícím postupem.
{
"location": "LA",
"url": "<the_url_to_be_classified>"
}
Vyčištění prostředků
Pokud koncový bod po dokončení tohoto kurzu nepoužijete, měli byste koncový bod odstranit.
Poznámka:
Úplné odstranění může trvat přibližně 20 minut.
Další kroky
- Další informace o tom, co můžete dělat v Azure AI Foundry
- Získejte odpovědi na nejčastější dotazy v článku Nejčastější dotazy k Azure AI
- [Povolte trasování a shromážděte zpětnou vazbu pro vaše nasazení. (./develop/trace-production-sdk.md)