Nasazení modelů jako koncových bodů bezserverového rozhraní API

V tomto článku se dozvíte, jak nasadit model z katalogu modelů jako bezserverové rozhraní API s fakturací na základě tokenů s průběžnými platbami.

Některé modely v katalogu modelů je možné nasadit jako bezserverové rozhraní API s průběžnými platbami. Tento druh nasazení poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném a současně udržovat podnikové zabezpečení a dodržování předpisů, které organizace potřebují. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

Tento článek používá k ilustraci nasazení modelu Meta Llama. Stejný postup ale můžete použít k nasazení libovolného modelu v katalogu modelů, které jsou k dispozici pro nasazení bezserverového rozhraní API.

Požadavky

• Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.

• Pracovní prostor Azure Machine Learning.

• Řízení přístupu na základě role v Azure (Azure RBAC) slouží k udělení přístupu k operacím ve službě Azure Machine Learning. Pokud chcete provést kroky v tomto článku, musí být vašemu uživatelskému účtu přiřazena role Vývojář Azure AI ve skupině prostředků. Další informace o oprávněních najdete v tématu Řízení přístupu na základě role ve službě Azure Machine Learning.

• Abyste mohli pracovat se službou Azure Machine Learning, musíte nainstalovat následující software:

  Studio

  K navigaci ve službě Azure Machine Learning můžete použít libovolný kompatibilní webový prohlížeč.

  Azure CLI

  Azure CLI a rozšíření ml pro Azure Machine Learning.

  az extension add -n ml
  

  Pokud už rozšíření máte nainstalované, ujistěte se, že je nainstalovaná nejnovější verze.

  az extension update -n ml
  

  Jakmile je rozšíření nainstalované, nakonfigurujte ho:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Nainstalujte sadu Azure Machine Learning SDK pro Python.

  pip install -U azure-ai-ml
  

  Po instalaci naimportujte potřebné obory názvů a vytvořte klienta připojeného k vašemu pracovnímu prostoru:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  PAŽE

  Pomocí libovolného kompatibilního webového prohlížeče můžete nasadit šablony ARM na webu Microsoft Azure Portal nebo pomocí libovolného nástroje pro nasazení. V tomto kurzu se používá Azure CLI.

Vyhledání modelu a ID modelu v katalogu modelů

1. Přihlášení k studio Azure Machine Learning

2. U modelů nabízených prostřednictvím Azure Marketplace se ujistěte, že váš účet má oprávnění role Azure AI Developer ve skupině prostředků nebo že splňujete oprávnění potřebná k přihlášení k odběru nabídek modelů.

   Modely, které nabízejí poskytovatelé jiných společností než Microsoft (například modely Llama a Mistral), se účtují prostřednictvím Azure Marketplace. U takových modelů je potřeba přihlásit se k odběru pracovního prostoru konkrétní nabídky modelu. Modely, které nabízí Microsoft (například modely Phi-3), nemají tento požadavek, protože fakturace se provádí jinak. Podrobnosti o fakturaci bezserverového nasazení modelů v katalogu modelů najdete v tématu Fakturace bezserverových rozhraní API.

3. Přejděte do svého pracovního prostoru. Pokud chcete použít nabídku nasazení bezserverového modelu rozhraní API, musí váš pracovní prostor patřit do jedné z oblastí podporovaných pro bezserverové nasazení pro konkrétní model, který chcete nasadit.

4. Na levém bočním panelu vyberte Katalog modelů a najděte kartu modelu, který chcete nasadit. V tomto článku vyberete model Meta-Llama-3-8B-Instruct .

   1. Pokud model nasazujete pomocí Azure CLI, Python SDK nebo ARM, zkopírujte ID modelu.

   Důležité

   Při kopírování ID modelu nezahrnujte verzi. Koncové body bezserverového rozhraní API vždy nasazují nejnovější dostupnou verzi modelu. Například pro ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3modelu , kopírovat azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

Následující část popisuje postup přihlášení pracovního prostoru k odběru nabídky modelu. Pokud nasazujete model Microsoftu, můžete tuto část přeskočit a přejít na nasazení modelu do koncového bodu bezserverového rozhraní API.

Přihlášení pracovního prostoru k odběru nabídky modelů

Koncové body bezserverového rozhraní API můžou nasazovat modely od Microsoftu i od jiných společností než Microsoft. Pro modely Microsoftu (například modely Phi-3) nemusíte vytvářet předplatné Azure Marketplace a můžete je nasadit přímo do koncových bodů bezserverového rozhraní API, abyste mohli využívat jejich predikce. V případě modelů jiných společností než Microsoft je potřeba nejprve vytvořit předplatné. Pokud model nasazujete v pracovním prostoru poprvé, musíte se přihlásit k odběru svého pracovního prostoru pro konkrétní nabídku modelu z Azure Marketplace. Každý pracovní prostor má vlastní předplatné konkrétní nabídky modelu na Azure Marketplace, která umožňuje řídit a monitorovat útraty.

Poznámka:

Modely nabízené prostřednictvím Azure Marketplace jsou k dispozici pro nasazení do koncových bodů bezserverového rozhraní API v konkrétních oblastech. Zkontrolujte dostupnost modelů v koncových bodech bezserverového rozhraní API a ověřte, které modely a oblasti jsou k dispozici. Pokud tu, kterou potřebujete, není uvedený, můžete ho nasadit do pracovního prostoru v podporované oblasti a pak využívat koncové body bezserverového rozhraní API z jiného pracovního prostoru.

1. Vytvořte předplatné marketplace modelu. Při vytváření předplatného přijímáte podmínky a ujednání přidružené k nabídce modelu. Nezapomeňte, že tento krok nemusíte provádět u modelů nabízených Microsoftem (například Phi-3).

   Studio

   1. Na stránce Podrobnosti modelu vyberte Nasadit. Otevře se okno možností nasazení, ve které si můžete vybrat mezi nasazením bezserverového rozhraní API a nasazením pomocí spravovaného výpočetního prostředí.

      Poznámka:

      U modelů, které je možné nasadit pouze prostřednictvím nasazení bezserverového rozhraní API, se průvodce nasazením bezserverového rozhraní API otevře hned po výběru možnosti Nasadit na stránce podrobností modelu.

   2. Výběrem bezserverového rozhraní API s Azure AI Content Safety (Preview) otevřete průvodce nasazením bezserverového rozhraní API.

   3. Zaškrtnutím políčka potvrďte zásady nákupu Microsoftu.

      

   4. Pokud se zobrazí poznámka , že pro tento pracovní prostor už máte předplatné Azure Marketplace, nemusíte předplatné vytvářet, protože už ho máte. Můžete pokračovat nasazením modelu do koncového bodu bezserverového rozhraní API.

   5. V průvodci nasazením vyberte odkaz na podmínky Azure Marketplace, kde najdete další informace o podmínkách použití. Můžete také vybrat kartu Ceny a podmínky , kde se dozvíte o cenách vybraného modelu.

   6. V průvodci nasazením vyberte odkaz na podmínky Azure Marketplace, kde najdete další informace o podmínkách použití. Můžete také vybrat kartu Podrobnosti nabídky Marketplace, kde se dozvíte o cenách vybraného modelu.

   7. Vyberte Přihlášení k odběru a nasazení.

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   K vytvoření předplatného použijte soubor subscription.yml:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   PAŽE

   K vytvoření předplatného modelu použijte následující šablonu:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

2. Po přihlášení k odběru pracovního prostoru pro konkrétní nabídku Azure Marketplace nevyžadují následná nasazení stejné nabídky ve stejném pracovním prostoru opětovné přihlášení k odběru.

3. V libovolném okamžiku můžete zobrazit nabídky modelu, ke kterým se váš pracovní prostor aktuálně přihlašuje:

   Studio

   1. Přejděte na web Azure Portal.

   2. Přejděte do skupiny prostředků, do které pracovní prostor patří.

   3. Ve filtru Typ vyberte SaaS.

   4. Zobrazí se všechny nabídky, ke kterým jste aktuálně přihlášení k odběru.

   5. Výběrem libovolného prostředku zobrazíte podrobnosti.

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   PAŽE

   K dotazování prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Nasazení modelu do koncového bodu bezserverového rozhraní API

Po vytvoření předplatného pro model jiného než Microsoftu můžete přidružený model nasadit do koncového bodu bezserverového rozhraní API. Pro modely Microsoftu (například modely Phi-3) nemusíte vytvářet předplatné.

Koncový bod bezserverového rozhraní API poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném a současně zajistit, aby organizace v podnikovém prostředí potřebovaly zabezpečení a dodržování předpisů. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

V této části vytvoříte koncový bod s názvem meta-llama3-8b-qwerty.

1. Vytvoření bezserverového koncového bodu

   Studio

   1. Pokud chcete nasadit model Microsoftu, který nevyžaduje přihlášení k odběru nabídky modelu, vyberte Nasadit a pak výběrem bezserverového rozhraní API s Azure AI Content Safety (Preview) otevřete průvodce nasazením.

   2. Pokud jste pracovní prostor právě přihlásili k odběru nabídky modelu v předchozí části, můžete pro model, který vyžaduje jiný model než Microsoft, vybrat možnost Nasadit. Případně vyberte Pokračovat k nasazení (pokud měl průvodce nasazením poznámku , že pro tento pracovní prostor už máte předplatné Azure Marketplace).

      

   3. Pojmenujte nasazení. Tento název se stane součástí adresy URL rozhraní API nasazení. Tato adresa URL musí být v každé oblasti Azure jedinečná.

      

      Tip

      Možnost Filtr obsahu (Preview) je ve výchozím nastavení povolená. Ponechte výchozí nastavení, aby služba zjistila škodlivý obsah, jako je nenávist, sebeškozování, sexuální a násilné obsah. Další informace o filtrování obsahu (Preview) najdete v tématu Zabezpečení obsahu pro modely nasazené prostřednictvím bezserverových rozhraní API.

   4. Vyberte Nasadit. Počkejte, až bude nasazení připravené a budete přesměrováni na stránku Nasazení.

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Pomocí souboru endpoint.yml vytvořte koncový bod:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   PAŽE

   K vytvoření koncového bodu použijte následující šablonu:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Pak vytvořte nasazení:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Dokončení šablony nasazení Azure může trvat několik minut. Po dokončení se zobrazí zpráva, která obsahuje výsledek:

   "provisioningState": "Succeeded",
   

2. V libovolném okamžiku uvidíte koncové body nasazené do vašeho pracovního prostoru:

   Studio

   1. Přejděte do svého pracovního prostoru.

   2. Vyberte Koncové body.

   3. Výběrem karty Bezserverové koncové body zobrazte koncové body bezserverového rozhraní API.

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   PAŽE

   K dotazování prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pomocí následujícího postupu získejte klíče přidružené k danému koncovému bodu.

   Studio

   1. Pokud se chcete vrátit na stránku nasazení, vyberte název koncového bodu ze seznamu bezserverových koncových bodů.
   2. Poznamenejte si cílový identifikátor URI a klíč koncového bodu. Použijte je k volání nasazení a generování předpovědí.

   Poznámka:

   Při použití webu Azure Portal se ve skupině prostředků ve výchozím nastavení nezobrazují koncové body bezserverového rozhraní API. Pomocí možnosti Zobrazit skryté typy je můžete zobrazit ve skupině prostředků.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   PAŽE

   K dotazování těchto informací použijte rozhraní REST API.

4. V tuto chvíli je váš koncový bod připravený k použití.

5. Pokud potřebujete toto nasazení využívat z jiného pracovního prostoru nebo plánujete použít tok výzvy k vytváření inteligentních aplikací, musíte vytvořit připojení k nasazení bezserverového rozhraní API. Informace o konfiguraci existujícího koncového bodu bezserverového rozhraní API v novém pracovním prostoru nebo centru najdete v tématu Využití nasazených koncových bodů bezserverového rozhraní API z jiného pracovního prostoru nebo z toku výzvy.

   Tip

   Pokud používáte tok výzvy ve stejném pracovním prostoru, ve kterém bylo nasazení nasazeno, musíte připojení vytvořit.

Použití koncového bodu bezserverového rozhraní API

Modely nasazené ve službě Azure Machine Learning a Azure AI Studio v koncových bodech bezserverového rozhraní API podporují rozhraní API pro odvozování modelů Azure AI, které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři používat k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem.

Přečtěte si další informace o možnostech tohoto rozhraní API a o tom, jak ho můžete použít při vytváření aplikací.

Odstranění koncových bodů a předplatných

Můžete odstranit předplatná a koncové body modelu. Odstraněním předplatného modelu se z jakéhokoli přidruženého koncového bodu stane , že není v pořádku a nepoužitelný.

Studio

Odstranění koncového bodu bezserverového rozhraní API:

1. Přejděte na studio Azure Machine Learning.

2. Na levém bočním panelu vyberte koncové body .

3. Výběrem karty Bezserverové koncové body zobrazte koncové body bezserverového rozhraní API.

4. Otevřete koncový bod, který chcete odstranit.

5. Vyberte Odstranit.

Odstranění přidruženého předplatného modelu:

1. Přejděte na web Azure Portal.

2. Přejděte do skupiny prostředků, do které pracovní prostor patří.

3. Ve filtru Typ vyberte SaaS.

4. Vyberte předplatné, které chcete odstranit.

5. Vyberte Odstranit.

Azure CLI

Odstranění koncového bodu bezserverového rozhraní API:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Odstranění přidruženého předplatného modelu:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Odstranění koncového bodu bezserverového rozhraní API:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Odstranění přidruženého předplatného modelu:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

PAŽE

Ke správě prostředků můžete použít nástroje pro správu prostředků. Následující kód používá Azure CLI:

az resource delete --name <resource-name>

Důležité informace o nákladech a kvótách pro modely nasazené jako koncové body bezserverového rozhraní API

Kvóta se spravuje podle nasazení. Každé nasazení má limit rychlosti 200 000 tokenů za minutu a 1 000 požadavků rozhraní API za minutu. V současné době ale omezujeme jedno nasazení na model na jeden pracovní prostor. Pokud aktuální limity sazeb pro vaše scénáře nestačí, obraťte se na podporu Microsoft Azure.

Náklady na modely Microsoftu

Informace o cenách najdete na kartě Ceny a podmínky průvodce nasazením při nasazování modelů Microsoftu (například modelů Phi-3) jako koncových bodů bezserverového rozhraní API.

Náklady na modely jiné společnosti než Microsoft

Modely jiných společností než Microsoft nasazené jako koncové body bezserverového rozhraní API jsou nabízeny prostřednictvím Azure Marketplace a integrované s Azure AI Studio pro použití. Ceny za Azure Marketplace najdete při nasazování nebo vyladění těchto modelů.

Pokaždé, když se pracovní prostor přihlásí k odběru dané nabídky z Azure Marketplace, vytvoří se nový prostředek, který bude sledovat náklady spojené s jeho spotřebou. Ke sledování nákladů spojených s odvozováním a dolaďováním se používá stejný zdroj, nicméně ke sledování každého scénáře je k dispozici více měřidel nezávisle.

Další informace o sledování nákladů naleznete v části Sledování nákladů na modely nabízené prostřednictvím služby Azure Marketplace.

Oprávnění potřebná k přihlášení k odběru nabídek modelů

Řízení přístupu na základě role v Azure (Azure RBAC) slouží k udělení přístupu k operacím ve službě Azure Machine Learning. Pokud chcete provést kroky v tomto článku, musíte mít uživatelský účet přiřazenou roli Vlastník, Přispěvatel nebo Vývojář Azure AI pro předplatné Azure. Případně můžete svému účtu přiřadit vlastní roli, která má následující oprávnění:

• V předplatném Azure – pokud chcete přihlásit pracovní prostor k odběru nabídky Azure Marketplace, jednou pro každý pracovní prostor pro každou nabídku:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Ve skupině prostředků – vytvoření a použití prostředku SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• V pracovním prostoru – nasazení koncových bodů (role datového vědce Azure Machine Learning už tato oprávnění obsahuje):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Další informace o oprávněních najdete v tématu Správa přístupu k pracovnímu prostoru Azure Machine Learning.

Související obsah

• Katalog modelů a kolekce
• Využití nasazených koncových bodů bezserverového rozhraní API z jiného pracovního prostoru