Distribuire modelli come API serverless

Articolo
11/24/2024

Questo articolo illustra come distribuire un modello dal catalogo modelli come API serverless con fatturazione basata su token con pagamento in base al consumo.

Importante

I modelli in anteprima vengono contrassegnati come anteprima nelle schede del modello nel catalogo dei modelli.

Alcuni modelli nel catalogo modelli possono essere distribuiti come API serverless con la fatturazione di pagamenti in base al consumo. Questo tipo di distribuzione consente di usare i modelli come le API senza ospitarli nella sottoscrizione, mantenendo al contempo la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

Questo articolo utilizza la distribuzione di un modello Meta Llama a scopo illustrativo. Tuttavia, è possibile usare gli stessi passaggi per distribuire uno dei modelli nel catalogo dei modelli disponibili per la distribuzione dell'API serverless.

Prerequisiti

Una sottoscrizione di Azure con un metodo di pagamento valido. Le sottoscrizioni di Azure gratuite o di valutazione non funzioneranno. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare.
Un hub di Azure AI Foundry.
Progetto Azure AI Foundry.
I controlli degli accessi in base al ruolo di Azure vengono usati per concedere l'accesso alle operazioni nel portale di Azure AI Foundry. Per eseguire la procedura descritta in questo articolo, all'account utente deve essere assegnato il ruolo di sviluppatore di Azure per intelligenza artificiale nel gruppo di risorse. Per altre informazioni sulle autorizzazioni, vedere Controllo degli accessi in base al ruolo nel portale di Azure AI Foundry.
Per usare Azure AI Foundry, è necessario installare il software seguente:
È possibile usare qualsiasi Web browser compatibile per esplorare Azure AI Foundry.
L'interfaccia della riga di comando di Azure e l'estensione ml per Azure Machine Learning.
```
az extension add -n ml
```
Se l'estensione è già installata, assicurarsi di disporre della versione più recente.
```
az extension update -n ml
```
Dopo aver installato l'estensione, configurarla:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Installare l'SDK di Azure Machine Learning per Python.
```
pip install -U azure-ai-ml
```
Una volta completata l'installazione, importare gli spazi dei nomi necessari e creare un client connesso al progetto:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Installare l'interfaccia della riga di comando di Azure come descritto in Interfaccia della riga di comando di Azure.

Configurare le seguenti variabili di ambiente in base alle proprie impostazioni:
```
RESOURCE_GROUP="serverless-models-dev"
LOCATION="eastus2" 
```
È possibile usare qualsiasi Web browser compatibile per distribuire modelli di ARM nel portale di Microsoft Azure o usare uno degli strumenti di distribuzione. Questa esercitazione usa l'interfaccia della riga di comando di Azure.

Trovare il modello e l'ID modello nel catalogo dei modelli

Accedere ad Azure AI Foundry.
Se non si è già nel progetto, selezionarlo.
Selezionare Catalogo modelli nel riquadro di spostamento a sinistra.

Nota

Per i modelli offerti tramite Azure Marketplace, assicurarsi che l'account disponga delle autorizzazioni del ruolo Sviluppatore di Azure per intelligenza artificiale per il gruppo di risorse o che si disponga delle autorizzazioni necessarie per la sottoscrizione alle offerte del modello.

I modelli offerti da provider non Microsoft (ad esempio, modelli Llama e Mistral) vengono fatturati tramite Azure Marketplace. Per questi modelli, è necessario sottoscrivere il progetto all'offerta di modello specifica. I modelli offerti da Microsoft (ad esempio, i modelli Phi-3) non hanno questo requisito, perché la fatturazione viene eseguita in modo diverso. Per informazioni dettagliate sulla fatturazione per la distribuzione serverless dei modelli nel catalogo modelli, vedere Fatturazione per le API serverless.

Selezionare la scheda modello del modello da distribuire. In questo articolo, si selezionerà un modello Meta-Llama-3-8B-Instruct.
1. Se si sta distribuendo il modello usando l'interfaccia della riga di comando di Azure, Python o ARM, copiare l'ID modello.
  
  Importante
  
  Nella copia dell'ID modello, non includere la versione. Gli endpoint API serverless distribuiscono sempre la versione più recente del modello disponibile. Ad esempio, per l'ID modello azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, copiare azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

La sezione successiva illustra i passaggi per la sottoscrizione del progetto a un'offerta di modello. È possibile ignorare questa sezione e passare a Distribuire il modello a un endpoint API serverless, se si distribuisce un modello Microsoft.

Gli endpoint API serverless possono distribuire i modelli offerti, Microsoft e non Microsoft. Per i modelli Microsoft (ad esempio i modelli Phi-3), non è necessario creare una sottoscrizione di Azure Marketplace ed è possibile distribuirli direttamente in endpoint API serverless per utilizzare le loro stime. Per i modelli non Microsoft, è innanzitutto necessario creare la sottoscrizione. Se si sta distribuendo il modello nel progetto per la prima volta, sarà necessario sottoscrivere il progetto all'offerta di modello specifica da Azure Marketplace. Ogni progetto ha una propria sottoscrizione all'offerta del modello di Azure Marketplace, che consente di controllare e monitorare la spesa.

Suggerimento

Ignorare questo passaggio se si distribuiscono modelli della famiglia Phi-3. Distribuire direttamente il modello in un endpoint API serverless.

Nota

I modelli offerti tramite Azure Marketplace sono disponibili per la distribuzione in endpoint API serverless in aree specifiche. Controllare la disponibilità del modello e dell'area per le distribuzioni di API serverless per verificare quali modelli e aree sono disponibili. Se quella desiderata non compare nell'elenco, è possibile distribuire un'area di lavoro in un'area supportata e quindi utilizzare endpoint API serverless da un'area di lavoro diversa.

Creare la sottoscrizione al marketplace del modello. Creando una sottoscrizione, si accettano i termini e le condizioni associati all'offerta del modello.

Nella pagina Dettagli del modello, selezionare Distribuisci. Viene visualizzata la finestra Opzioni di distribuzione, che consente di scegliere tra la distribuzione dell'API serverless e la distribuzione mediante un ambiente di calcolo gestito.

Nota

Per i modelli che possono essere distribuiti solo tramite la distribuzione di API serverless, la distribuzione guidata API serverless viene aperta subito dopo aver selezionato Distribuisci nella pagina dei dettagli del modello.
Selezionare API serverless con Sicurezza dei contenuti di Azure AI (anteprima) per aprire la procedura guidata di distribuzione dell'API.
Selezionare il progetto in cui si desidera distribuire i modelli. Per usare l'offerta di distribuzione modello API serverless, il progetto deve appartenere a una delle aree supportate per la distribuzione serverless per il modello specifico.
Se viene visualizzata la nota Si dispone già di una sottoscrizione di Azure Marketplace per questo progetto, non è necessario creare la sottoscrizione perché ce n'è già una disponibile. È possibile proseguire a Distribuire il modello in un endpoint API serverless.
Nella distribuzione guidata selezionare il collegamento a Condizioni di Azure Marketplace per altre informazioni sulle condizioni per l'utilizzo. È anche possibile selezionare la scheda Prezzi e termini per informazioni sui prezzi per il modello selezionato.
Selezionare Sottoscrivi e distribuisci.

subscription.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Usare il file precedente per creare la sottoscrizione:

az ml marketplace-subscription create -f subscription.yml

model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

Usare la configurazione bicep seguente per creare una sottoscrizione del modello:

model-subscription.bicep

param projectName string = 'my-project'
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
  modelId,
  'azureml://registries/azureml/'
)) {
  name: '${projectName}/${subscriptionName}'
  properties: {
    modelId: modelId
  }
}

Creare quindi la risorsa come segue:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

Usare il modello seguente per creare una sottoscrizione del modello:

model-subscription.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}

Usare il portale di Azure o l'interfaccia della riga di comando di Azure per creare la distribuzione.

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.json

Dopo la sottoscrizione al progetto per una determinata offerta di Azure Marketplace, le distribuzioni successive della stessa offerta nello stesso progetto non richiedono una nuova sottoscrizione.
È possibile visualizzare in qualsiasi momento le offerte del modello a cui il progetto è attualmente sottoscritto:
1. Vai al portale di Azure.
2. Passare al gruppo di risorse a cui appartiene il progetto.
3. Nel filtro Tipo, selezionare SaaS.
4. Verranno visualizzate tutte le offerte a cui si è attualmente sottoscritti.
5. Selezionare una risorsa per visualizzarne i dettagli.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
È possibile usare gli strumenti di gestione risorse per eseguire query sulle risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```
È possibile usare gli strumenti di gestione risorse per eseguire query sulle risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Distribuire il modello in un endpoint API serverless

Dopo aver creato una sottoscrizione a un modello non Microsoft, è possibile distribuire il modello associato a un endpoint API serverless. Per i modelli Microsoft (ad esempio, i modelli Phi-3), non è necessario creare una sottoscrizione.

L'endpoint API serverless consente di utilizzare modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

In questa sezione, viene creato un endpoint con il nome meta-llama3-8b-qwerty.

Creare l'endpoint serverless

Per distribuire un modello Microsoft che non richiede la sottoscrizione a un'offerta di modello:
1. Selezionare Distribuisci, quindi selezionare API serverless con Sicurezza dei contenuti di Azure AI (anteprima) per aprire la procedura guidata di distribuzione.
2. Selezionare il progetto in cui si desidera distribuire i modelli. Si noti che non tutte le aree sono supportate.
In alternativa, per un modello non Microsoft che richiede una sottoscrizione di modello, se il progetto è stato appena sottoscritto all'offerta di modello nella sezione precedente, continuare a selezionare Distribuisci. In alternativa, selezionare Continua a distribuire (se la distribuzione guidata ha già la nota Hai già una sottoscrizione di Azure Marketplace per questo progetto).
Assegnare un nome alla distribuzione. Questo nome diventa parte dell'URL dell'API di distribuzione. Questo URL deve essere univoco in ogni area di Azure.

Suggerimento

L'opzione Filtro contenuto (anteprima) è abilitata per impostazione predefinita. Lasciare l'impostazione predefinita per il servizio per rilevare contenuti dannosi che esprimono ad esempio odio e autolesionismo, nonché contenuti sessuali e violenti. Per altre informazioni sul filtro dei contenuti (anteprima), vedere Filtro dei contenuti nel portale di Azure AI Foundry.
Seleziona Distribuisci. Attendere che la distribuzione sia pronta e che si venga reindirizzati alla pagina Distribuzioni.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Usare il file endpoint.yml per creare l'endpoint:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Usare il modello seguente per creare un endpoint:

serverless-endpoint.bicep

param projectName string = 'my-project'
param endpointName string = 'myserverless-text-1234ss'
param location string = resourceGroup().location
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
  name: '${projectName}/${endpointName}'
  location: location
  sku: {
    name: 'Consumption'
  }
  properties: {
    modelSettings: {
      modelId: modelId
    }
  }
  dependsOn: [
    projectName_subscription
  ]
}

output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri

Creare la distribuzione come segue:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

Usare il modello seguente per creare un endpoint:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Quindi, creare la distribuzione:

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file template.json

Il completamento del modello di distribuzione di Azure può richiedere alcuni minuti. Al termine, viene visualizzato un messaggio che include il risultato:

"provisioningState": "Succeeded",

È possibile visualizzare gli endpoint distribuiti nel progetto in qualsiasi momento:
1. Andare al progetto.
2. Nella sezione Risorse personali selezionare Modelli e endpoint.
3. Vengono visualizzati gli endpoint API serverless.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
È possibile usare gli strumenti di gestione risorse per eseguire query sulle risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
È possibile usare gli strumenti di gestione risorse per eseguire query sulle risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
L'endpoint creato usa l'autenticazione con chiave per l'autorizzazione. Usare la procedura seguente per ottenere le chiavi associate a un determinato endpoint.
È possibile selezionare la distribuzione e prendere nota dell'URI di destinazione e della chiave dell'endpoint. Usarli per chiamare la distribuzione e generare stime.

Nota

Quando si usa il portale di Azure, gli endpoint API serverless non vengono visualizzati per impostazione predefinita nel gruppo di risorse. Usare l'opzione Mostra tipi nascosti per visualizzarli nel gruppo di risorse.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Usare le API REST per eseguire query su queste informazioni.

Usare le API REST per eseguire query su queste informazioni.
A questo punto, l'endpoint è pronto per l'uso.
Se si ha bisogno di utilizzare questa distribuzione da un altro progetto o hub o se si prevede di usare il prompt flow per creare applicazioni intelligenti, è necessario creare una connessione alla distribuzione dell'API serverless. Per informazioni su come configurare un endpoint API serverless esistente in un nuovo progetto o hub, vedere Utilizzare endpoint API serverless distribuiti da un altro progetto o dal prompt flow.

Suggerimento

Se si usa il prompt flow nello stesso progetto o hub in cui è stata distribuita la distribuzione, sarà comunque necessario creare la connessione.

Usare l'endpoint API serverless

I modelli distribuiti in Azure Machine Learning e Azure AI Foundry negli endpoint dell'API serverless supportano l'API di inferenza del modello di intelligenza artificiale di Azure che espone un set comune di funzionalità per i modelli di base e che possono essere usati dagli sviluppatori per usare stime da un set diversificato di modelli in modo uniforme e coerente.

Ulteriori informazioni sulle funzionalità di questa API e su come utilizzarla durante la compilazione di applicazioni.

Isolamento della rete

Gli endpoint per i modelli distribuiti come API serverless seguono l'impostazione del flag PNA (Public Network Access) dell'hub del portale di AI Foundry con il progetto in cui è presente la distribuzione. Per proteggere l'endpoint MaaS, disabilitare il flag PNA nell'hub di AI Foundry. È possibile proteggere la comunicazione in ingresso da un client all'endpoint usando un endpoint privato per l'hub.

Per impostare il flag PNA per l'hub di Azure AI Foundry:

Vai al portale di Azure.
Cercare il gruppo di risorse a cui appartiene l'hub e selezionare Hub di Azure AI nelle risorse elencate per tale gruppo di risorse.
Dalla pagina Panoramica dell'hub nel menu di sinistra selezionare Impostazioni>Rete.
Nella scheda Accesso pubblico è possibile configurare le impostazioni per il flag di accesso alla rete pubblica.
Salva le modifiche. La propagazione delle modifiche può richiedere fino a cinque minuti.

Eliminare endpoint e sottoscrizioni

È possibile eliminare sottoscrizioni ed endpoint del modello. L'eliminazione di una sottoscrizione del modello rende qualsiasi endpoint associato Non integro e inutilizzabile.

Per eliminare un endpoint API serverless:

Passare a Azure AI Foundry.
Andare al progetto.
Nella sezione Risorse personali selezionare Modelli e endpoint.
Aprire la distribuzione da eliminare.
Selezionare Elimina.

Per eliminare la sottoscrizione modello associata:

Accedere al portale di Azure
Passare al gruppo di risorse a cui appartiene il progetto.
Nel filtro Tipo, selezionare SaaS.
Selezionare la sottoscrizione da eliminare.
Selezionare Elimina.

Per eliminare un endpoint API serverless:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Per eliminare la sottoscrizione modello associata:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Per eliminare un endpoint API serverless:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Per eliminare la sottoscrizione modello associata:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

È possibile usare gli strumenti di gestione delle risorse per gestire le risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:

az resource delete --name <resource-name>

È possibile usare gli strumenti di gestione delle risorse per gestire le risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:

az resource delete --name <resource-name>

Considerazioni su costi e quote per i modelli distribuiti come endpoint API serverless

La quota viene gestita per distribuzione. Ogni distribuzione ha un limite di frequenza di 200.000 token al minuto e 1.000 richieste API al minuto. Attualmente, tuttavia, viene limitata una distribuzione per ogni modello per ogni progetto. Contattare il supporto tecnico di Microsoft Azure se i limiti di frequenza correnti non sono sufficienti per gli scenari in uso.

Costo per i modelli Microsoft

È possibile trovare le informazioni sui prezzi nella scheda Prezzi e condizioni della procedura guidata della distribuzione durante la distribuzione dei modelli Microsoft (ad esempio, i modelli Phi-3) come endpoint API serverless.

Costo per i modelli non Microsoft

I modelli non Microsoft distribuiti come endpoint API serverless vengono offerti tramite Azure Marketplace e integrati con Azure AI Foundry per l'uso. È possibile trovare i prezzi di Azure Marketplace durante la distribuzione o l'ottimizzazione di questi modelli.

Ogni volta che un progetto sottoscrive una determinata offerta di Azure Marketplace, viene creata una nuova risorsa per tenere traccia dei costi associati al consumo. La stessa risorsa viene usata per tenere traccia dei costi associati all'inferenza e all'ottimizzazione; tuttavia, sono disponibili più contatori per tenere traccia di ogni scenario in modo indipendente.

Per altre informazioni su come tenere traccia dei costi, vedere Monitorare i costi per i modelli offerti tramite Azure Marketplace.

I controlli degli accessi in base al ruolo di Azure vengono usati per concedere l'accesso alle operazioni nel portale di Azure AI Foundry. Per eseguire la procedura descritta in questo articolo, è necessario che all'account utente sia assegnato il ruolo di Proprietario, Collaboratore o Sviluppatore di intelligenza artificiale di Azure per la sottoscrizione di Azure. In alternativa, all'account può essere assegnato un ruolo personalizzato con le autorizzazioni seguenti:

Nella sottoscrizione di Azure, per sottoscrivere l'area di lavoro all'offerta di Azure Marketplace, una volta per ogni area di lavoro, per offerta:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Nel gruppo di risorse, per creare e usare la risorsa SaaS:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
Nell'area di lavoro, per distribuire gli endpoint (il ruolo data scientist di Azure Machine Learning contiene già queste autorizzazioni):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Per altre informazioni sulle autorizzazioni, vedere Controllo degli accessi in base al ruolo nel portale di Azure AI Foundry.

Condividi tramite

Distribuire modelli come API serverless

Prerequisiti

Trovare il modello e l'ID modello nel catalogo dei modelli

Distribuire il modello in un endpoint API serverless

Usare l'endpoint API serverless

Isolamento della rete

Eliminare endpoint e sottoscrizioni

Considerazioni su costi e quote per i modelli distribuiti come endpoint API serverless

Costo per i modelli Microsoft

Costo per i modelli non Microsoft

Commenti e suggerimenti

Risorse aggiuntive

Condividi tramite

Distribuire modelli come API serverless

Prerequisiti

Trovare il modello e l'ID modello nel catalogo dei modelli

Sottoscrivere il progetto all'offerta del modello

Distribuire il modello in un endpoint API serverless

Usare l'endpoint API serverless

Isolamento della rete

Eliminare endpoint e sottoscrizioni

Considerazioni su costi e quote per i modelli distribuiti come endpoint API serverless

Costo per i modelli Microsoft

Costo per i modelli non Microsoft

Autorizzazioni necessarie per la sottoscrizione a offerte di modello

Contenuto correlato

Commenti e suggerimenti

Risorse aggiuntive