Pianificare la gestione dei costi per l'inferenza del modello nei servizi di intelligenza artificiale di Azure
Questo articolo descrive come pianificare e gestire i costi per l'inferenza del modello in Servizi di intelligenza artificiale di Azure. Dopo aver iniziato a usare l'inferenza del modello nelle risorse di Servizi di intelligenza artificiale di Azure, usare le funzionalità di Gestione costi per impostare i budget e monitorare i costi.
Anche se questo articolo riguarda la pianificazione e la gestione dei costi per l'inferenza del modello nei servizi di intelligenza artificiale di Azure, vengono fatturati tutti i servizi e le risorse di Azure usati nella sottoscrizione di Azure.
Prerequisiti
- L'analisi dei costi in Gestione dei costi supporta la maggior parte dei tipi di account di Azure, ma non tutti. Per visualizzare l'elenco completo dei tipi di account supportati, vedere Informazioni sui dati di Gestione costi.
- Per visualizzare i dati relativi ai costi, è necessario disporre almeno dell'accesso in lettura per un account Azure. Per informazioni sull'assegnazione dell'accesso ai dati di gestione dei costi, vedere Assegnare l'accesso ai dati.
Informazioni sul modello di fatturazione dell'inferenza del modello
I modelli distribuiti nei servizi di intelligenza artificiale di Azure vengono addebitati per 1.000 token. I modelli linguistici comprendono ed elaborano il testo suddividendolo in token. Per riferimento, ogni token consiste approssimativamente in quattro caratteri per il testo tipico in inglese. I costi per token variano a seconda della serie di modelli scelta. Anche i modelli che possono elaborare immagini suddividere le immagini nei token. Il numero di token per immagine dipende dal modello e dalla risoluzione dell'immagine di input.
I costi dei token si applicano sia all'input che all'output. Si supponga, ad esempio, di avere un esempio di codice JavaScript di 1.000 token che si chiede a un modello di convertire in Python. Verranno addebitati circa 1.000 token per la richiesta di input iniziale inviata e 1.000 token per l'output ricevuto in risposta per un totale di 2.000 token.
In pratica, per questo tipo di chiamata di completamento, l'input/output del token non sarebbe perfettamente 1:1. La conversione da un linguaggio di programmazione a un altro potrebbe comportare un output più lungo o più breve a seconda di molti fattori. Uno di questi fattori è il valore assegnato al parametro max_tokens.
Dettaglio costi
Per comprendere la suddivisione dei costi, può essere utile usare lo strumento Analisi costi in portale di Azure. Seguire questa procedura per comprendere il costo dell'inferenza:
Passare al portale di Azure AI Foundry.
Nell'angolo in alto a destra della schermata selezionare il nome della risorsa di Servizi di intelligenza artificiale di Azure o se si sta lavorando a un progetto di intelligenza artificiale nel nome del progetto.
Selezionare il nome del progetto. portale di Azure si apre in una nuova finestra.
In Gestione costi selezionare Analisi costi
Per impostazione predefinita, l'analisi dei costi ha come ambito il gruppo di risorse selezionato.
Importante
È importante definire l'ambito dell'analisi dei costi nel gruppo di risorse in cui viene distribuita la risorsa di Servizi di intelligenza artificiale di Azure. I contatori dei costi associati ad alcuni provider di modelli di provider, ad esempio l'intelligenza artificiale Mistral o Cohere, vengono visualizzati nel gruppo di risorse anziché nella risorsa dei servizi di intelligenza artificiale di Azure.
Modificare Raggruppa per in Contatore. È ora possibile osservare che per questo particolare gruppo di risorse, l'origine dei costi proviene da diverse serie di modelli.
Le sezioni seguenti illustrano le voci in dettaglio.
Modelli Di Azure OpenAI e Microsoft
Azure OpenAI e la famiglia di modelli Microsoft (ad esempio Phi) vengono addebitati direttamente e vengono visualizzati come contatori di fatturazione in ogni risorsa dei servizi di intelligenza artificiale di Azure. Questa fatturazione avviene direttamente tramite Microsoft. Quando si esamina la fattura, si noterà che i contatori di fatturazione rappresentano gli input e gli output per ogni modello utilizzato.
Modelli di provider
I modelli forniti da un altro provider, ad esempio Mistral AI, Cohere, Meta AI o AI21 Labs, vengono fatturati tramite Azure Marketplace. Invece dei contatori di fatturazione Microsoft, tali voci sono associate al gruppo di risorse in cui vengono distribuiti i servizi di intelligenza artificiale di Azure anziché alla risorsa di Servizi di intelligenza artificiale di Azure stessa. Le voci vengono visualizzate in Service Name SaaS accounting for inputs and outputs for each consumed model .You see entries under the Service NameSaaS accounting for inputs and outputs for each consumed model.
Utilizzo di Pagamento anticipato di Azure
È possibile pagare gli addebiti per i modelli di Azure OpenAI e Microsoft con il credito di pagamento anticipato di Azure. Tuttavia, non è possibile usare il credito di pagamento anticipato di Azure per pagare gli addebiti per altri modelli di provider, dato che vengono fatturati tramite Azure Marketplace.
Codice di risposta errore HTTP e stato di fatturazione
Se il servizio esegue l'elaborazione, viene addebitato un addebito anche se il codice di stato non riesce (non 200). Ad esempio, un errore 400 a causa di un filtro di contenuto o di un limite di input o di un errore 408 a causa di un timeout.
Se il servizio non esegue l'elaborazione, non vengono addebitati costi. Ad esempio, un errore 401 dovuto all'autenticazione o un errore 429 dovuto al superamento del limite di velocità.
Altri costi
L'abilitazione di funzionalità come l'invio di dati ai log di Monitoraggio di Azure e l'invio di avvisi comporta costi aggiuntivi per tali servizi. Questi costi sono visibili in questi altri servizi e a livello di sottoscrizione, ma non sono visibili quando l'ambito è limitato alla risorsa dei servizi di intelligenza artificiale di Azure.
Monitorare i costi
I costi unitari dell'utilizzo di risorse di Azure variano in base agli intervalli di tempo, come secondi, minuti, ore e giorni, o in base all'utilizzo per unità, come byte, megabyte e così via. Non appena inizia l'uso dei servizi di intelligenza artificiale di Azure, i costi possono essere sostenuti ed è possibile visualizzare i costi nell'analisi dei costi.
È possibile ottenere informazioni di fatturazione più dettagliate usando Analisi dei costi:
Per comprendere la suddivisione di ciò che costituisce tale costo, può essere utile usare lo strumento Analisi costi in portale di Azure.
Passare al portale di Azure AI Foundry.
Nell'angolo in alto a destra della schermata selezionare il nome della risorsa di Servizi di intelligenza artificiale di Azure o se si sta lavorando a un progetto di intelligenza artificiale nel nome del progetto.
Selezionare il nome del progetto. portale di Azure si apre in una nuova finestra.
In Gestione costi selezionare Analisi costi
Per impostazione predefinita, l'analisi dei costi ha come ambito il gruppo di risorse selezionato.
Poiché viene visualizzato il costo di tutto il gruppo di risorse, è utile visualizzare il costo per risorsa. In tal caso, selezionare Visualizza>costo per risorsa.
Ora è possibile visualizzare le risorse che generano ogni contatore di fatturazione.
I modelli OpenAI di Azure e i modelli Microsoft, come illustrato in precedenza, vengono visualizzati come contatori in ogni risorsa dei servizi di intelligenza artificiale di Azure:
Alcuni modelli di provider vengono visualizzati come contatori in Risorse globali. Si noti che la parola Globalnon è correlata allo SKU della distribuzione del modello (ad esempio, Standard globale). Se sono presenti più risorse dei servizi di intelligenza artificiale di Azure, la fattura contiene una voce per ogni modello per ogni risorsa dei servizi di intelligenza artificiale di Azure. I contatori delle risorse hanno il formato [model-name]-[GUID] dove [GUID] è un identificatore univoco associato a una determinata risorsa di Servizi di intelligenza artificiale di Azure. Si noterà che i contatori di fatturazione rappresentano gli input e gli output per ogni modello utilizzato.
È importante comprendere l'ambito quando si valutano i costi associati ai servizi di intelligenza artificiale di Azure. Se le risorse fanno parte dello stesso gruppo di risorse, è possibile definire l'ambito analisi dei costi a tale livello per comprendere l'effetto sui costi. Se le risorse vengono distribuite tra più gruppi di risorse, è possibile definire l'ambito a livello di sottoscrizione.
Creare i budget
È possibile creare budget per gestire i costi e creare avvisi per informare gli stakeholder delle anomalie di spesa e dei rischi di spesa in eccesso. Gli avvisi si basano sul confronto tra la spesa e le soglie definite budget e costi. I budget e gli avvisi vengono creati per sottoscrizioni e gruppi di risorse di Azure. Sono utili come parte di una strategia complessiva di monitoraggio dei costi.
È possibile creare budget con filtri per risorse o servizi specifici in Azure se si vuole una maggiore granularità nel monitoraggio. I filtri consentono di evitare la creazione accidentale di nuove risorse che comportano costi aggiuntivi. Per altre informazioni sulle opzioni di filtro disponibili quando si crea un budget, vedere Opzioni di raggruppamento e filtro.
Esportare i dati relativi ai costi
Si possono inoltre esportare i dati sui costi in un account di archiviazione, una scelta utile quando occorre rivolgersi ad altri utenti per eseguire ulteriori analisi dei dati per i costi. Ad esempio, un team finanziario può analizzare i dati usando Excel o Power BI. È possibile esportare i costi in base a una pianificazione giornaliera, settimanale o mensile e impostare un intervallo di date personalizzato. L'esportazione dei dati sui costi è il modo consigliato per recuperare i set di dati dei costi.
Passaggi successivi
- Informazioni su come ottimizzare l'investimento nel cloud con la gestione dei costi.
- Altre informazioni sulla gestione dei costi con l'analisi dei costi.
- Informazioni su come evitare costi imprevisti.
- Seguire il corso di apprendimento guidato sulla Gestione dei costi.