Modellen implementeren als serverloze API's

In dit artikel leert u hoe u een model implementeert vanuit de modelcatalogus als een serverloze API met facturering op basis van betalen per gebruik-token.

Belangrijk

Modellen die in preview zijn, worden gemarkeerd als voorbeeld op hun modelkaarten in de modelcatalogus.

Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als een serverloze API met betalen per gebruik-facturering. Dit soort implementatie biedt een manier om modellen als API te gebruiken zonder deze te hosten in uw abonnement, terwijl de bedrijfsbeveiliging en -naleving die organisaties nodig hebben, behouden blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

In dit artikel wordt een Meta Llama-modelimplementatie gebruikt voor illustratie. U kunt echter dezelfde stappen gebruiken om alle modellen in de modelcatalogus te implementeren die beschikbaar zijn voor serverloze API-implementatie.

Vereisten

• Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .

• Een Azure AI Foundry-hub.

• Een Azure AI Foundry-project.

• Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in de Azure AI Foundry-portal. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de Azure AI Developer-rol voor de resourcegroep zijn toegewezen. Zie op rollen gebaseerd toegangsbeheer in de Azure AI Foundry-portal voor meer informatie over machtigingen.

• U moet de volgende software installeren om te kunnen werken met Azure AI Foundry:

  Azure AI Foundry-portal

  U kunt elke compatibele webbrowser gebruiken om door Azure AI Foundry te navigeren.

  Azure-CLI

  De Azure CLI en de ml-extensie voor Azure Machine Learning.

  az extension add -n ml
  

  Als u de extensie al hebt geïnstalleerd, controleert u of de nieuwste versie is geïnstalleerd.

  az extension update -n ml
  

  Zodra de extensie is geïnstalleerd, configureert u deze:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installeer de Azure Machine Learning SDK voor Python.

  pip install -U azure-ai-ml
  

  Nadat de installatie is uitgevoerd, importeert u de benodigde naamruimten en maakt u een client die is verbonden met uw project:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

  Bicep

  Installeer de Azure CLI zoals beschreven in Azure CLI.

  Configureer de volgende omgevingsvariabelen volgens uw instellingen:

  RESOURCE_GROUP="serverless-models-dev"
  LOCATION="eastus2" 
  

  ARM

  U kunt elke compatibele webbrowser gebruiken om ARM-sjablonen te implementeren in Microsoft Azure Portal of een van de implementatiehulpprogramma's te gebruiken. In deze zelfstudie wordt de Azure CLI gebruikt.

Uw model en model-id zoeken in de modelcatalogus

1. Meld u aan bij Azure AI Foundry.
2. Als u nog niet in uw project bent, selecteert u het.
3. Selecteer modelcatalogus in het linkernavigatiedeelvenster.

Notitie

Voor modellen die worden aangeboden via Azure Marketplace, moet u ervoor zorgen dat uw account beschikt over de rolmachtigingen voor Azure AI-ontwikkelaars voor de resourcegroep of dat u voldoet aan de machtigingen die nodig zijn om u te abonneren op modelaanbiedingen.

Modellen die worden aangeboden door niet-Microsoft-providers (bijvoorbeeld Llama- en Mistral-modellen) worden gefactureerd via Azure Marketplace. Voor dergelijke modellen moet u uw project abonneren op het specifieke modelaanbod. Modellen die worden aangeboden door Microsoft (bijvoorbeeld Phi-3-modellen) hebben deze vereiste niet, omdat facturering anders wordt uitgevoerd. Zie Facturering voor serverloze API's voor meer informatie over facturering voor serverloze implementatie van modellen in de modelcatalogus.

4. Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u een Meta-Llama-3-8B-Instruct-model .

   1. Als u het model implementeert met behulp van Azure CLI, Python of ARM, kopieert u de model-id.

      Belangrijk

      Neem de versie niet op bij het kopiëren van de model-id. Serverloze API-eindpunten implementeren altijd de nieuwste versie van het model. Bijvoorbeeld, voor de model-id azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, kopieer azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

In de volgende sectie worden de stappen beschreven voor het abonneren van uw project op een modelaanbod. U kunt deze sectie overslaan en naar Het model implementeren naar een serverloos API-eindpunt gaan als u een Microsoft-model implementeert.

Uw project abonneren op het modelaanbod

Serverloze API-eindpunten kunnen zowel Door Microsoft als niet-Microsoft aangeboden modellen implementeren. Voor Microsoft-modellen (zoals Phi-3-modellen) hoeft u geen Azure Marketplace-abonnement te maken en kunt u ze rechtstreeks implementeren op serverloze API-eindpunten om hun voorspellingen te gebruiken. Voor niet-Microsoft-modellen moet u eerst het abonnement maken. Als het de eerste keer is dat u het model in het project implementeert, moet u uw project abonneren op het specifieke modelaanbod van Azure Marketplace. Elk project heeft een eigen abonnement op de specifieke Azure Marketplace-aanbieding van het model, waarmee u uitgaven kunt beheren en bewaken.

Tip

Sla deze stap over als u modellen implementeert uit de phi-3-serie modellen. Implementeer het model rechtstreeks naar een serverloos API-eindpunt.

Notitie

Modellen die via Azure Marketplace worden aangeboden, zijn beschikbaar voor implementatie naar serverloze API-eindpunten in specifieke regio's. Controleer de beschikbaarheid van modellen en regio's voor serverloze API-implementaties om te controleren welke modellen en regio's beschikbaar zijn. Als de werkruimte die u nodig hebt niet wordt vermeld, kunt u implementeren in een werkruimte in een ondersteunde regio en vervolgens serverloze API-eindpunten uit een andere werkruimte gebruiken.

1. Maak het Marketplace-abonnement van het model. Wanneer u een abonnement maakt, accepteert u de voorwaarden die zijn gekoppeld aan de modelaanbieding.

   Azure AI Foundry-portal

   1. Selecteer Implementeren op de pagina Details van het model. Er wordt een venster implementatieopties geopend, zodat u kunt kiezen tussen serverloze API-implementatie en -implementatie met behulp van een beheerde berekening.

      Notitie

      Voor modellen die alleen kunnen worden geïmplementeerd via serverloze API-implementatie, wordt de wizard serverloze API-implementatie geopend direct nadat u Implementeren hebt geselecteerd op de detailpagina van het model.

   2. Selecteer serverloze API met Azure AI Content Safety (preview) om de wizard serverloze API-implementatie te openen.

   3. Selecteer het project waarin u uw modellen wilt implementeren. Als u de aanbieding voor serverloze API-modelimplementatie wilt gebruiken, moet uw project behoren tot een van de regio's die worden ondersteund voor serverloze implementatie voor het specifieke model.

      

   4. Als u de opmerking Ziet dat u al een Azure Marketplace-abonnement voor dit project hebt, hoeft u het abonnement niet te maken omdat u er al een hebt. U kunt doorgaan met het implementeren van het model naar een serverloos API-eindpunt.

   5. Selecteer in de implementatiewizard de koppeling naar azure Marketplace-voorwaarden voor meer informatie over de gebruiksvoorwaarden. U kunt ook het tabblad Prijzen en voorwaarden selecteren voor meer informatie over prijzen voor het geselecteerde model.

   6. Selecteer Abonneren en implementeren.

   Azure-CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gebruik het vorige bestand om het abonnement te maken:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   Bicep

   Gebruik de volgende bicep-configuratie om een modelabonnement te maken:

   model-subscription.bicep

   param projectName string = 'my-project'
   param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   var subscriptionName = '${modelName}-subscription'
   
   resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
     modelId,
     'azureml://registries/azureml/'
   )) {
     name: '${projectName}/${subscriptionName}'
     properties: {
       modelId: modelId
     }
   }
   

   Maak vervolgens de resource als volgt:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

   ARM

   Gebruik de volgende sjabloon om een modelabonnement te maken:

   model-subscription.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

   Gebruik De Azure-portal of de Azure CLI om de implementatie te maken.

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.json
   

2. Nadat u het project hebt geabonneerd voor het specifieke Azure Marketplace-aanbod, hoeven volgende implementaties van dezelfde aanbieding in hetzelfde project zich niet opnieuw te abonneren.

3. U kunt op elk gewenst moment de modelaanbiedingen zien waarop uw project momenteel is geabonneerd:

   Azure AI Foundry-portal

   1. Ga naar de Azure Portal.

   2. Navigeer naar de resourcegroep waartoe het project behoort.

   3. Selecteer SaaS in het filter Type.

   4. U ziet alle aanbiedingen waarvoor u momenteel bent geabonneerd.

   5. Selecteer een resource om de details te bekijken.

   Azure-CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   Bicep

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

   ARM

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Het model implementeren naar een serverloos API-eindpunt

Nadat u een abonnement voor een niet-Microsoft-model hebt gemaakt, kunt u het gekoppelde model implementeren op een serverloos API-eindpunt. Voor Microsoft-modellen (zoals Phi-3-modellen) hoeft u geen abonnement te maken.

Het serverloze API-eindpunt biedt een manier om modellen te gebruiken als EEN API zonder deze te hosten in uw abonnement, terwijl organisaties voor enterprise-beveiliging en -naleving nodig blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

In deze sectie maakt u een eindpunt met de naam meta-llama3-8b-qwerty.

1. Het serverloze eindpunt maken

   Azure AI Foundry-portal

   1. Als u een Microsoft-model wilt implementeren waarvoor u zich niet hoeft te abonneren op een modelaanbod:

      1. Selecteer Implementeren en selecteer vervolgens Serverloze API met Azure AI Content Safety (preview) om de implementatiewizard te openen.
      2. Selecteer het project waarin u uw model wilt implementeren. U ziet dat niet alle regio's worden ondersteund.

   2. Als u uw project zojuist hebt geabonneerd op de modelaanbieding in de vorige sectie, kunt u ook implementeren selecteren voor een niet-Microsoft-model waarvoor een modelabonnement is vereist. U kunt ook Doorgaan selecteren om te implementeren (als de implementatiewizard de opmerking Bevat dat u al een Azure Marketplace-abonnement voor dit project hebt).

      

   3. Geef de implementatie een naam. Deze naam maakt deel uit van de URL van de implementatie-API. Deze URL moet uniek zijn in elke Azure-regio.

      

      Tip

      De optie Inhoudsfilter (preview) is standaard ingeschakeld. Laat de standaardinstelling voor de service staan om schadelijke inhoud te detecteren, zoals haat, zelfbeschadiging, seksuele en gewelddadige inhoud. Zie Inhoudsfiltering in de Azure AI Foundry-portal voor meer informatie over inhoudsfiltering (preview).

   4. Selecteer Implementeren. Wacht totdat de implementatie gereed is en u wordt omgeleid naar de pagina Implementaties.

   Azure-CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gebruik het endpoint.yml-bestand om het eindpunt te maken:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   Bicep

   Gebruik de volgende sjabloon om een eindpunt te maken:

   serverless-endpoint.bicep

   param projectName string = 'my-project'
   param endpointName string = 'myserverless-text-1234ss'
   param location string = resourceGroup().location
   param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   var subscriptionName = '${modelName}-subscription'
   
   resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
     name: '${projectName}/${endpointName}'
     location: location
     sku: {
       name: 'Consumption'
     }
     properties: {
       modelSettings: {
         modelId: modelId
       }
     }
     dependsOn: [
       projectName_subscription
     ]
   }
   
   output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri
   

   Maak de implementatie als volgt:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

   ARM

   Gebruik de volgende sjabloon om een eindpunt te maken:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Maak vervolgens de implementatie:

   az deployment group create \
       --resource-group $RESOURCE_GROUP \
       --template-file template.json
   

   Het kan enkele minuten duren voordat de Azure-implementatiesjabloon is voltooid. Wanneer dit is voltooid, ziet u een bericht met het resultaat:

   "provisioningState": "Succeeded",
   

2. U kunt op elk gewenst moment de eindpunten zien die in uw project zijn geïmplementeerd:

   Azure AI Foundry-portal

   1. Ga naar uw project.

   2. Selecteer modellen en eindpunten in de sectie Mijn assets.

   3. Serverloze API-eindpunten worden weergegeven.

   Azure-CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   Bicep

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

   ARM

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Het gemaakte eindpunt maakt gebruik van sleutelverificatie voor autorisatie. Gebruik de volgende stappen om de sleutels op te halen die zijn gekoppeld aan een bepaald eindpunt.

   Azure AI Foundry-portal

   U kunt de implementatie selecteren en de doel-URI en sleutel van het eindpunt noteren. Gebruik deze om de implementatie aan te roepen en voorspellingen te genereren.

   Notitie

   Wanneer u Azure Portal gebruikt, worden serverloze API-eindpunten niet standaard weergegeven in de resourcegroep. Gebruik de optie Verborgen typen weergeven om deze weer te geven in de resourcegroep.

   Azure-CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   Bicep

   Gebruik REST API's om query's uit te voeren op deze informatie.

   ARM

   Gebruik REST API's om query's uit te voeren op deze informatie.

4. Op dit moment is uw eindpunt gereed om te worden gebruikt.

5. Als u deze implementatie wilt gebruiken vanuit een ander project of een andere hub, of als u van plan bent om promptstroom te gebruiken om intelligente toepassingen te bouwen, moet u een verbinding maken met de serverloze API-implementatie. Zie Geïmplementeerde serverloze API-eindpunten gebruiken vanuit een ander project of vanuit een promptstroom voor meer informatie over het configureren van een bestaand serverloze API-eindpunt op een nieuw project of hub.

   Tip

   Als u een promptstroom gebruikt in hetzelfde project of dezelfde hub waar de implementatie is geïmplementeerd, moet u nog steeds de verbinding maken.

Het serverloze API-eindpunt gebruiken

Modellen die zijn geïmplementeerd in Azure Machine Learning en Azure AI Foundry in serverloze API-eindpunten ondersteunen de Azure AI-modeldeductie-API die een gemeenschappelijke set mogelijkheden voor basismodellen beschikbaar maakt en die door ontwikkelaars kan worden gebruikt om voorspellingen van een diverse set modellen op een uniforme en consistente manier te gebruiken.

Lees meer over de mogelijkheden van deze API en hoe u deze kunt gebruiken bij het bouwen van toepassingen.

Netwerkisolatie

Eindpunten voor modellen die zijn geïmplementeerd als serverloze API's, volgen de vlaginstelling voor openbare netwerktoegang (PNA) van de Azure AI Foundry Portal Hub met het project waarin de implementatie bestaat. Als u uw MaaS-eindpunt wilt beveiligen, schakelt u de PNA-vlag uit op uw Azure AI Foundry Hub. U kunt binnenkomende communicatie van een client naar uw eindpunt beveiligen met behulp van een privé-eindpunt voor de hub.

De PNA-vlag instellen voor de Azure AI Foundry-hub:

1. Ga naar de Azure Portal.
2. Zoek naar de resourcegroep waartoe de hub behoort en selecteer de Azure AI-hub in de resources die voor deze resourcegroep worden vermeld.
3. Selecteer Instellingennetwerken> op de huboverzichtspagina in het linkermenu.
4. Op het tabblad Openbare toegang kunt u instellingen configureren voor de vlag voor openbare netwerktoegang.
5. Sla uw wijzigingen op. Het kan vijf minuten duren voordat uw wijzigingen zijn doorgevoerd.

Eindpunten en abonnementen verwijderen

U kunt modelabonnementen en -eindpunten verwijderen. Als u een modelabonnement verwijdert, wordt elk gekoppeld eindpunt beschadigd en onbruikbaar.

Azure AI Foundry-portal

Een serverloos API-eindpunt verwijderen:

1. Ga naar Azure AI Foundry.

2. Ga naar uw project.

3. Selecteer modellen en eindpunten in de sectie Mijn assets.

4. Open de implementatie die u wilt verwijderen.

5. Selecteer Verwijderen.

Het gekoppelde modelabonnement verwijderen:

1. Ga naar de Azure-portal

2. Navigeer naar de resourcegroep waartoe het project behoort.

3. Selecteer SaaS in het filter Type.

4. Selecteer het abonnement dat u wilt verwijderen.

5. Selecteer Verwijderen.

Azure-CLI

Een serverloos API-eindpunt verwijderen:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Het gekoppelde modelabonnement verwijderen:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Een serverloos API-eindpunt verwijderen:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Het gekoppelde modelabonnement verwijderen:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Bicep

U kunt de hulpprogramma's voor resourcebeheer gebruiken om de resources te beheren. De volgende code maakt gebruik van Azure CLI:

az resource delete --name <resource-name>

ARM

U kunt de hulpprogramma's voor resourcebeheer gebruiken om de resources te beheren. De volgende code maakt gebruik van Azure CLI:

az resource delete --name <resource-name>

Kosten- en quotumoverwegingen voor modellen die zijn geïmplementeerd als serverloze API-eindpunten

Het quotum wordt beheerd per implementatie. Elke implementatie heeft een frequentielimiet van 200.000 tokens per minuut en 1000 API-aanvragen per minuut. Momenteel beperken we echter tot één implementatie per model per project. Neem contact op met de ondersteuning voor Microsoft Azure als de huidige frequentielimieten niet voldoende zijn voor uw scenario's.

Kosten voor Microsoft-modellen

U vindt de prijsinformatie op het tabblad Prijzen en voorwaarden van de implementatiewizard bij het implementeren van Microsoft-modellen (zoals Phi-3-modellen) als serverloze API-eindpunten.

Kosten voor niet-Microsoft-modellen

Niet-Microsoft-modellen die zijn geïmplementeerd als serverloze API-eindpunten, worden aangeboden via Azure Marketplace en geïntegreerd met Azure AI Foundry voor gebruik. U vindt de prijzen van Azure Marketplace bij het implementeren of verfijnen van deze modellen.

Telkens wanneer een project zich abonneert op een bepaalde aanbieding vanuit Azure Marketplace, wordt er een nieuwe resource gemaakt om de kosten te traceren die zijn gekoppeld aan het verbruik. Dezelfde resource wordt gebruikt om de kosten te traceren die zijn gekoppeld aan deductie en verfijning; er zijn echter meerdere meters beschikbaar om elk scenario onafhankelijk te traceren.

Zie Monitoring van kosten voor modellen die worden aangeboden via Azure Marketplace voor meer informatie over het traceren van kosten.

Vereiste machtigingen voor het abonneren op modelaanbiedingen

Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in de Azure AI Foundry-portal. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de rol Eigenaar, Inzender of Azure AI Developer voor het Azure-abonnement zijn toegewezen. U kunt ook een aangepaste rol aan uw account toewijzen met de volgende machtigingen:

• In het Azure-abonnement—als u de werkruimte wilt abonneren op de Azure Marketplace-aanbieding, één keer voor elke werkruimte, per aanbieding:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• In de resourcegroep—om de SaaS-resource te maken en te gebruiken:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• In de werkruimte—als u eindpunten wilt implementeren (de azure Machine Learning-gegevenswetenschapperrol bevat deze machtigingen al):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Zie op rollen gebaseerd toegangsbeheer in de Azure AI Foundry-portal voor meer informatie over machtigingen.

Gerelateerde inhoud

• Beschikbaarheid van regio's voor modellen in serverloze API-eindpunten
• Een Meta Llama 2-model verfijnen in de Azure AI Foundry-portal