Condividi tramite

Come distribuire modelli OpenAI di Azure con Azure AI Foundry

  • Articolo

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Questo articolo illustra come creare distribuzioni di modelli OpenAI di Azure nel portale di Azure AI Foundry.

Il servizio Azure OpenAI offre un set diversificato di modelli con funzionalità e punti di prezzo diversi. Quando si distribuiscono modelli OpenAI di Azure nel portale di Azure AI Foundry, è possibile usare le distribuzioni usando il flusso di prompt o un altro strumento. La disponibilità del modello varia in base all'area geografica. Per altre informazioni sui dettagli di ogni modello, vedere modelli del servizio Azure OpenAI.

Per modificare e interagire con un modello OpenAI di Azure nel playground di Azure AI Foundry , è prima necessario distribuire un modello OpenAI di Azure di base nel progetto. Quando il modello è distribuito e disponibile nel progetto, è possibile usare l'endpoint dell'API REST così com'è o personalizzarlo ulteriormente con i propri dati e altri componenti (incorporamenti, indici e così via).

Prerequisiti

  • Una sottoscrizione di Azure con un metodo di pagamento valido. Le sottoscrizioni di Azure gratuite o di valutazione non funzioneranno. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare.

  • Progetto Azure AI Foundry.

Distribuire un modello OpenAI di Azure dal catalogo dei modelli

Seguire questa procedura per distribuire un modello OpenAI di Azure, gpt-4o-mini ad esempio in un endpoint in tempo reale dal catalogo dei modelli del portale di AI Foundry:

  1. Accedere ad Azure AI Foundry.
  2. Se non si è già nel progetto, selezionarlo.
  3. Selezionare Catalogo modelli nel riquadro di spostamento a sinistra.

  1. Nel filtro Raccolte selezionare OpenAI di Azure.

    Screenshot che mostra come filtrare in base ai modelli OpenAI di Azure nel catalogo.

  2. Selezionare un modello, ad gpt-4o-mini esempio dalla raccolta OpenAI di Azure.

  3. Selezionare Distribuisci per aprire la finestra di distribuzione.

  4. Selezionare la risorsa in cui si vuole distribuire il modello. Se non si ha una risorsa, è possibile crearne una.

  5. Specificare il nome della distribuzione e modificare le altre impostazioni predefinite a seconda dei requisiti.

  6. Seleziona Distribuisci.

  7. Si arriva alla pagina dei dettagli della distribuzione. Selezionare Apri in playground.

  8. Selezionare Visualizza codice per ottenere esempi di codice che possono essere usati per utilizzare il modello distribuito nell'applicazione.

Distribuire un modello OpenAI di Azure dal progetto

In alternativa, è possibile avviare la distribuzione partendo dal progetto nel portale di AI Foundry.

  1. Passare al progetto nel portale di AI Foundry.
  2. Dalla barra laterale sinistra del progetto passare a Modelli e endpoint personali>.
  3. Selezionare + Distribuisci modello Distribuisci modello> di base.
  4. Nel filtro Raccolte selezionare OpenAI di Azure.
  5. Selezionare un modello, ad gpt-4o-mini esempio dalla raccolta OpenAI di Azure.
  6. Selezionare Conferma per aprire la finestra di distribuzione.
  7. Specificare il nome della distribuzione e modificare le altre impostazioni predefinite a seconda dei requisiti.
  8. Seleziona Distribuisci.
  9. Si arriva alla pagina dei dettagli della distribuzione. Selezionare Apri in playground.
  10. Selezionare Visualizza codice per ottenere esempi di codice che possono essere usati per utilizzare il modello distribuito nell'applicazione.

Eseguire l’inferenza del modello OpenAI di Azure

Per eseguire l'inferenza nel modello distribuito, è possibile usare il playground o gli esempi di codice. Il playground è un'interfaccia b asata sul Web che consente di interagire con il modello in tempo reale. È possibile usare il playground per testare il modello con prompt diversi e visualizzare le risposte del modello.

Per altri esempi di come usare il modello distribuito nell'applicazione, vedere le guide introduttive di OpenAI di Azure seguenti:

Limiti di disponibilità e quota a livello di area di un modello

Per i modelli OpenAI di Azure, la quota predefinita per i modelli varia in base al modello e all'area. Alcuni modelli potrebbero essere disponibili solo in alcune aree. Per altre informazioni sui limiti di disponibilità e quote, vedere Quote e limiti del servizio OpenAI di Azure.

Quota per la distribuzione e l'inferenza di un modello

Per i modelli OpenAI di Azure, la distribuzione e l'inferenza utilizzano la quota assegnata alla sottoscrizione in base all'area, in base al modello in unità di token al minuto (TPM). Quando si effettua l'iscrizione ad Azure AI Foundry, si riceve la quota predefinita per la maggior parte dei modelli disponibili. Quindi, si assegna un TPM a ogni distribuzione durante la creazione, riducendo così la quota disponibile per tale modello in base al valore assegnato. È possibile continuare a creare distribuzioni e assegnare loro un TPM fino a raggiungere il limite di quota.

Dopo aver raggiunto il limite di quota, l'unico modo per creare nuove distribuzioni di tale modello consiste nel:

Per altre informazioni sulla quota, vedere Quota di Azure AI Foundry e Gestire la quota del servizio OpenAI di Azure.

Contenuto correlato