Domande frequenti sull'uso dei servizi di intelligenza artificiale di Azure per le startup.
Introduzione
Qual è il modo migliore per iniziare a usare il servizio Azure OpenAI per l'avvio?
Vedere il corso Generative AI for beginners (Intelligenza artificiale generativa per principianti ) su GitHub. Si tratta di un set di istruzioni di 18 lezioni che introduce tutte le principali funzionalità di Azure OpenAI e illustra come creare applicazioni con loro.
Come è possibile testare rapidamente le funzionalità di intelligenza artificiale di Azure con un approccio basso/no-code?
Usare Azure AI Studio per testare un'ampia gamma di funzionalità di intelligenza artificiale, tra cui la distribuzione di modelli OpenAI di Azure e l'applicazione di servizi di con modalità tenda ration.
Disponibilità e residenza dei dati a livello di area
In quali aree di Azure è disponibile il servizio OpenAI?
Diversi modelli OpenAI di Azure sono limitati a aree diverse. Per un elenco completo, vedere la tabella di disponibilità del modello.
In che modo la selezione dell'area influisce sulla latenza e sulle prestazioni dei servizi OpenAI di Azure?
L'impatto è minimo, a meno che non si usi la funzionalità di streaming. La latenza della risposta del modello ha un effetto molto maggiore sulla latenza rispetto alle differenze di area.
La scelta di usare un server Azure OpenAI dedicato rispetto al piano con pagamento in base al consumo ha anche un impatto maggiore sulle prestazioni.
Limiti di frequenza e gestione delle risorse
Come è possibile assicurarsi che l'applicazione possa ridimensionare la quota OpenAI di Azure?
Vedere Gestire la quota del servizio OpenAI di Azure per comprendere il funzionamento dei limiti di quota e come gestirli.
Quali sono i limiti di velocità per il servizio Azure OpenAI e come è possibile gestirli?
Per i clienti che usano il modello con pagamento in base al consumo (più comune), vedere la pagina Gestire la quota del servizio Azure OpenAI. Per i clienti che usano un server OpenAI di Azure dedicato, vedere la sezione relativa alla quota della guida correlata.
Ricerca per categorie gestire le restrizioni relative ai token al minuto nel servizio Azure OpenAI?
Valutare la possibilità di combinare più distribuzioni OpenAI di Azure in un'architettura avanzata per creare un sistema che offre più token al minuto a più utenti.
Quando è consigliabile usare un server Azure OpenAI dedicato anziché il modello con pagamento in base al consumo?
È consigliabile passare dalla velocità effettiva con pagamento in base al consumo alla velocità effettiva con provisioning quando sono stati definiti requisiti di velocità effettiva prevedibili e ben definiti. In genere, questo è il caso in cui l'applicazione è pronta per la produzione o è già stata distribuita nell'ambiente di produzione ed è disponibile una conoscenza del traffico previsto. In questo modo gli utenti possono prevedere accuratamente la capacità necessaria ed evitare la fatturazione imprevista.
Bilanciamento del carico e ridimensionamento
Ricerca per categorie gestire traffico elevato e assicurarsi che l'applicazione Azure OpenAI rimanga reattiva?
Creare un servizio di bilanciamento del carico per l'applicazione.
Vedere l'esempio di bilanciamento del carico se si usa il modello con pagamento in base al consumo. Se si usa un server Azure OpenAI dedicato, vedere la guida alla PTU per informazioni sul bilanciamento del carico.
Sviluppo e test
Ricerca per categorie configurare un ambiente di sviluppo per testare le applicazioni OpenAI di Azure?
Creare una distribuzione online usando il flusso di prompt in Azure AI Studio. Quindi, testarlo immettendo i valori nell'editor dei moduli o nell'editor JSON.
Monitoraggio e metriche
Come è possibile tenere traccia e valutare le metriche di utilizzo dell'applicazione di intelligenza artificiale?
Vedere la guida alle metriche di valutazione e monitoraggio per informazioni sul monitoraggio dei rischi e sulle metriche di sicurezza, oltre a una serie di metriche di qualità della risposta.
Quali strumenti è possibile usare per monitorare le prestazioni degli endpoint OpenAI di Azure?
Usare la funzionalità di monitoraggio di Azure OpenAI Studio. Fornisce un dashboard che tiene traccia delle metriche delle prestazioni dei modelli nel tempo.
Implementazione e procedure consigliate per la produzione
Quali sono alcune procedure consigliate per la distribuzione di applicazioni OpenAI in Azure nell'ambiente di produzione?
Per le procedure consigliate per la distribuzione di un'applicazione di chat standard, vedere l'architettura di riferimento per la chat di Azure OpenAI.
È possibile fornire esempi o case study sulle implementazioni riuscite del servizio Azure OpenAI?
Vedere il forum della community tecnologica di Machine Learning e intelligenza artificiale.
Contenuto correlato
Per altre informazioni, vedere Microsoft for Startups.