Aggiungere e configurare modelli ai servizi di intelligenza artificiale di Azure - Azure AI Foundry

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

È possibile decidere e configurare i modelli disponibili per l'inferenza nell'endpoint di inferenza. Quando un determinato modello è configurato, è quindi possibile generare stime da esso indicando il nome del modello o il nome della distribuzione nelle richieste. Non sono necessarie altre modifiche nel codice per usarle.

Questo articolo descrive come aggiungere un nuovo modello all'inferenza del modello di intelligenza artificiale di Azure in Azure AI Foundry.

Prerequisiti

Per completare questo articolo, devi avere quanto segue:

Una sottoscrizione di Azure. Se si usano i modelli GitHub, è possibile aggiornare l'esperienza e creare una sottoscrizione di Azure nel processo. Leggere Eseguire l'aggiornamento dai modelli GitHub all'inferenza del modello di intelligenza artificiale di Azure, se questo è il caso.
Una risorsa dei servizi di intelligenza artificiale di Azure.

Un progetto di intelligenza artificiale connesso alla risorsa di Servizi di intelligenza artificiale di Azure con la funzionalità Distribuire modelli nel servizio di inferenza del modello di intelligenza artificiale di Azure.
- È possibile seguire la procedura descritta in Configurare il servizio di inferenza del modello di intelligenza artificiale di Azure nel progetto in Azure AI Foundry.

Aggiungi un modello

È possibile aggiungere modelli all'endpoint di inferenza del modello di intelligenza artificiale di Azure seguendo questa procedura:

Passare alla sezione Catalogo modelli nel portale di Azure AI Foundry.
Scorrere fino al modello a cui si è interessati e selezionarlo.
È possibile esaminare i dettagli del modello nella scheda del modello.
Seleziona Distribuisci.
Per i provider di modelli che richiedono più termini di contratto, verrà chiesto di accettare tali condizioni. Questo è il caso per i modelli Mistral, ad esempio. Accettare i termini in questi casi selezionando Sottoscrivi e distribuisci.
È possibile configurare le impostazioni di distribuzione in questo momento. Per impostazione predefinita, la distribuzione riceve il nome del modello che si sta distribuendo. Il nome della distribuzione viene usato nel parametro per la model richiesta di instradamento a questa distribuzione specifica del modello. In questo modo è anche possibile configurare nomi specifici per i modelli quando si allegano configurazioni specifiche. Ad esempio o1-preview-safe , per un modello con un filtro contenuto di sicurezza del contenuto rigoroso.

Suggerimento

Ogni modello può supportare diversi tipi di distribuzioni, fornendo garanzie di residenza dei dati o velocità effettiva diverse. Per altri dettagli, vedere Tipi di distribuzione.
Si seleziona automaticamente una connessione ai servizi di intelligenza artificiale di Azure a seconda del progetto. Usare l'opzione Personalizza per modificare la connessione in base alle esigenze. Se si esegue la distribuzione con il tipo di distribuzione Standard , i modelli devono essere disponibili nell'area della risorsa di Servizi di intelligenza artificiale di Azure.

Suggerimento

Se la risorsa desiderata non è elencata, potrebbe essere necessario creare una connessione. Vedere Configurare il servizio di inferenza del modello di intelligenza artificiale di Azure nel progetto nel portale di Azure AI Foundry.
Seleziona Distribuisci.
Al termine della distribuzione, il nuovo modello viene elencato nella pagina ed è pronto per essere usato.

Gestire i modelli

È possibile gestire le distribuzioni di modelli esistenti nella risorsa usando il portale di Azure AI Foundry.

Passare alla sezione Modelli e endpoint nel portale di Azure AI Foundry.
Scorrere fino alla connessione alla risorsa di Servizi di intelligenza artificiale di Azure. Le distribuzioni di modelli vengono raggruppate e visualizzate per ogni connessione.
Viene visualizzato un elenco di modelli disponibili in ogni connessione. Selezionare la distribuzione del modello a cui si è interessati.
Modificare o eliminare la distribuzione in base alle esigenze.

Testare la distribuzione nel playground

È possibile interagire con il nuovo modello nel portale di Azure AI Foundry usando il playground:

Nota

Playground è disponibile solo quando si lavora con i progetti di intelligenza artificiale in Azure AI Foundry. Creare un progetto di intelligenza artificiale per ottenere l'accesso completo a tutte le funzionalità in Azure AI Foundry.

Passare alla sezione Playgrounds nel portale di Azure AI Foundry.
A seconda del tipo di modello distribuito, selezionare il playground necessario. In questo caso selezioniamo Chat playground.
Nell'elenco a discesa Distribuzione , in Installazione selezionare il nome della distribuzione del modello creata.
Digitare il prompt e visualizzare gli output.
Inoltre, è possibile usare Visualizza codice per visualizzare i dettagli su come accedere alla distribuzione del modello a livello di codice.

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

È possibile decidere e configurare i modelli disponibili per l'inferenza nell'endpoint di inferenza. Quando un determinato modello è configurato, è quindi possibile generare stime da esso indicando il nome del modello o il nome della distribuzione nelle richieste. Non sono necessarie altre modifiche nel codice per usarle.

Questo articolo descrive come aggiungere un nuovo modello all'inferenza del modello di intelligenza artificiale di Azure in Azure AI Foundry.

Prerequisiti

Per completare questo articolo, devi avere quanto segue:

Una sottoscrizione di Azure. Se si usano i modelli GitHub, è possibile aggiornare l'esperienza e creare una sottoscrizione di Azure nel processo. Leggere Eseguire l'aggiornamento dai modelli GitHub all'inferenza del modello di intelligenza artificiale di Azure, se questo è il caso.
Una risorsa dei servizi di intelligenza artificiale di Azure.

Installare l'interfaccia della riga di comando di Azure e l'estensione cognitiveservices per i servizi di intelligenza artificiale di Azure:
```
az extension add -n cognitiveservices
```
Alcuni dei comandi di questa esercitazione usano lo jq strumento , che potrebbe non essere installato nel sistema. Per istruzioni sull'installazione, vedere Scaricare jq.
Identificare le informazioni seguenti:
- L'ID sottoscrizione di Azure.
- Nome della risorsa di Servizi di intelligenza artificiale di Azure.
- Gruppo di risorse in cui viene distribuita la risorsa di Servizi di intelligenza artificiale di Azure.

Aggiungi modelli

Per aggiungere un modello, è prima necessario identificare il modello da distribuire. È possibile eseguire query sui modelli disponibili nel modo seguente:

Accedere alla sottoscrizione di Azure:
```
az login
```
Se sono presenti più di 1 sottoscrizione, selezionare la sottoscrizione in cui si trova la risorsa:
```
az account set --subscription $subscriptionId>
```
Impostare le variabili di ambiente seguenti con il nome della risorsa di Servizi di intelligenza artificiale di Azure che si intende usare e il gruppo di risorse.
```
accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"
```
Se non si ha ancora un account di Servizi di intelligenza artificiale di Azure, è possibile crearne uno come indicato di seguito:
```
az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName
```

Vediamo prima quali modelli sono disponibili e in quale SKU. Il comando seguente elenca tutte le definizioni di modello disponibili:

az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

Gli output sono simili ai seguenti:

{
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

Identificare il modello da distribuire. Sono necessarie le proprietà name, format, versione sku. La capacità potrebbe essere necessaria anche a seconda del tipo di distribuzione.

Suggerimento

Si noti che non tutti i modelli sono disponibili in tutti gli SKU.

Aggiungere la distribuzione del modello alla risorsa. Nell'esempio seguente viene aggiunto Phi-3.5-vision-instruct:

az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

Il modello è pronto per essere utilizzato.

È possibile distribuire lo stesso modello più volte, se necessario, purché si trovi con un nome di distribuzione diverso. Questa funzionalità può essere utile nel caso in cui si voglia testare configurazioni diverse per un determinato modello, inclusa la sicurezza del contenuto.

Gestire le distribuzioni

È possibile visualizzare tutte le distribuzioni disponibili usando l'interfaccia della riga di comando:

Eseguire il comando seguente per visualizzare tutte le distribuzioni attive:

az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

È possibile visualizzare i dettagli di una determinata distribuzione:

az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

È possibile eliminare una determinata distribuzione come indicato di seguito:

    az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Usare il modello

I modelli distribuiti nell'inferenza del modello di intelligenza artificiale di Azure possono essere usati usando l'endpoint di inferenza del modello di intelligenza artificiale di Azure per la risorsa. Quando si costruisce la richiesta, indicare il parametro model e inserire il nome di distribuzione del modello creato. È possibile ottenere l'URI per l'endpoint di inferenza a livello di codice usando il codice seguente:

Endpoint di inferenza

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Per effettuare richieste all'endpoint di inferenza del modello di intelligenza artificiale di Azure, aggiungere la route models, ad esempio https://<resource>.services.ai.azure.com/models. È possibile visualizzare le informazioni di riferimento sulle API per l'endpoint nella pagina di riferimento dell'API di inferenza del modello di intelligenza artificiale di Azure.

Chiavi di inferenza

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

È possibile decidere e configurare i modelli disponibili per l'inferenza nell'endpoint di inferenza. Quando un determinato modello è configurato, è quindi possibile generare stime da esso indicando il nome del modello o il nome della distribuzione nelle richieste. Non sono necessarie altre modifiche nel codice per usarle.

Questo articolo descrive come aggiungere un nuovo modello all'inferenza del modello di intelligenza artificiale di Azure in Azure AI Foundry.

Prerequisiti

Per completare questo articolo, devi avere quanto segue:

Una sottoscrizione di Azure. Se si usano i modelli GitHub, è possibile aggiornare l'esperienza e creare una sottoscrizione di Azure nel processo. Leggere Eseguire l'aggiornamento dai modelli GitHub all'inferenza del modello di intelligenza artificiale di Azure, se questo è il caso.
Una risorsa dei servizi di intelligenza artificiale di Azure.

Installare l'interfaccia della riga di comando di Azure.
Identificare le informazioni seguenti:
- L'ID sottoscrizione di Azure.
- Nome della risorsa di Servizi di intelligenza artificiale di Azure.
- Gruppo di risorse in cui viene distribuita la risorsa di Servizi di intelligenza artificiale di Azure.
- Nome del modello, provider, versione e SKU da distribuire. È possibile usare il portale di Azure AI Foundry o l'interfaccia della riga di comando di Azure per identificarlo. In questo esempio viene distribuito il modello seguente:
  - Nome modello:: Phi-3.5-vision-instruct
  - Provider: Microsoft
  - Versione:2
  - Tipo di distribuzione: standard globale

Informazioni sull'esercitazione

L'esempio in questo articolo è basato su esempi di codice contenuti nel repository Azure-Samples/azureai-model-inference-bicep . Per eseguire i comandi in locale senza dover copiare o incollare il contenuto del file, usare i comandi seguenti per clonare il repository e passare alla cartella per il linguaggio di codifica:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

I file per questo esempio si trovano in:

cd azureai-model-inference-bicep/infra

Aggiungere il modello

Usare il modello ai-services-deployment-template.bicep per descrivere le distribuzioni di modelli:

ai-services-deployment-template.bicep

@description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

Eseguire la distribuzione:

RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Usare il modello

I modelli distribuiti nell'inferenza del modello di intelligenza artificiale di Azure possono essere usati usando l'endpoint di inferenza del modello di intelligenza artificiale di Azure per la risorsa. Quando si costruisce la richiesta, indicare il parametro model e inserire il nome di distribuzione del modello creato.

Condividi tramite

Aggiungere e configurare modelli all'inferenza del modello di intelligenza artificiale di Azure

Prerequisiti

Aggiungi un modello

Gestire i modelli

Testare la distribuzione nel playground

Prerequisiti

Aggiungi modelli

Gestire le distribuzioni

Usare il modello

Prerequisiti

Informazioni sull'esercitazione

Aggiungere il modello

Usare il modello

Passaggi successivi

Commenti e suggerimenti

Risorse aggiuntive