Raccomandazioni sulla gestione per i carichi di lavoro di intelligenza artificiale in Azure
Questo articolo offre raccomandazioni sulla gestione per le organizzazioni che eseguono carichi di lavoro di intelligenza artificiale in Azure. Si concentra sulle soluzioni PaaS (Platform-as-a-Service) di Azure AI, tra cui Azure AI Studio, Azure OpenAI, Azure Machine Learning e Servizi di intelligenza artificiale di Azure. Vengono trattati sia carichi di lavoro generativi che non generici di intelligenza artificiale.
Una gestione efficace dei carichi di lavoro di intelligenza artificiale in Azure prevede la supervisione della distribuzione, delle prestazioni del modello, delle operazioni, dei dati e del ripristino di emergenza per supportare i carichi di lavoro di intelligenza artificiale. La gestione corretta consente di garantire che i carichi di lavoro di intelligenza artificiale siano affidabili, affidabili e sicuri per tutto il ciclo di vita.
Gestire le distribuzioni di intelligenza artificiale
La gestione delle distribuzioni di intelligenza artificiale consente ai team del carico di lavoro di passare dalle fasi di verifica agli ambienti di produzione con configurazioni coerenti che migliorano la sicurezza e la conformità tra i team. Azure offre strumenti come hub e progetti di Azure AI Studio per applicare governance e sicurezza. Azure Machine Learning offre funzionalità simili con le aree di lavoro dell'hub. Per altre informazioni, vedere Gestire le distribuzioni di intelligenza artificiale.
Gestire modelli di intelligenza artificiale
La gestione dei modelli di intelligenza artificiale include il monitoraggio degli output, delle prestazioni e dell'allineamento con i principi di IA responsabile. I modelli di intelligenza artificiale possono derivare nel tempo a causa della modifica dei dati, dei comportamenti degli utenti o di altri fattori esterni. Queste modifiche possono causare risultati imprecisi o preoccupazioni etiche, se non affrontate.
Monitorare gli output del modello. Implementare un processo di monitoraggio e test per garantire che questi carichi di lavoro rimangano allineati alle destinazioni di IA responsabili.
Monitorare l'intelligenza artificiale generativa. Per i carichi di lavoro generativi di intelligenza artificiale, usare le funzionalità predefinite di valutazione e monitoraggio manuale di Azure AI Studio. Se si usa il flusso di richiesta, monitorare le distribuzioni del flusso di richiesta. Prendere in considerazione anche l'uso di strumenti di intelligenza artificiale responsabili per integrare il monitoraggio dei modelli.
Monitorare l'intelligenza artificiale non generica. Per i carichi di lavoro di intelligenza artificiale non generici, monitorare le fasi di elaborazione dei dati e le metriche delle prestazioni del modello per garantire che le stime rimangano accurate e affidabili. Abilitare il monitoraggio dei modelli in Azure Machine Learning. Per i servizi di intelligenza artificiale di Azure, abilitare il monitoraggio per ogni servizio di intelligenza artificiale usato.
Monitorare le prestazioni del modello. Quando viene rilevato un calo delle prestazioni o dell'accuratezza, il monitoraggio consente di individuare l'origine del problema. Come per tutti i carichi di lavoro, usare Monitoraggio di Azure e Application Insights per monitorare le prestazioni dei carichi di lavoro di intelligenza artificiale.
Monitorare le prestazioni generative dell'intelligenza artificiale. Nell'intelligenza artificiale generativa monitorare la latenza nei tempi di risposta o l'accuratezza dei risultati della ricerca vettoriale per migliorare le esperienze utente. In Azure AI Studio abilitare la traccia per raccogliere i dati di traccia per ogni richiesta, metriche aggregate e feedback degli utenti.
Monitorare le prestazioni di intelligenza artificiale non generica. Acquisire le metriche delle prestazioni dei modelli distribuiti in Azure Machine Learning. Per i servizi di intelligenza artificiale di Azure, abilitare la registrazione diagnostica per ogni servizio di intelligenza artificiale di Azure.
Prendere in considerazione un gateway di intelligenza artificiale generativo per il monitoraggio. Un proxy inverso come Azure Gestione API consente di implementare la registrazione e il monitoraggio che non sono nativi della piattaforma. Gestione API consente di raccogliere indirizzi IP di origine, testo di input e testo di output. Per altre informazioni, vedere Implementare la registrazione e il monitoraggio per i modelli linguistici del servizio OpenAI di Azure.
Gestire le operazioni di intelligenza artificiale
La gestione delle operazioni di intelligenza artificiale prevede la standardizzazione delle risorse di calcolo e il monitoraggio delle risorse della piattaforma per i carichi di lavoro di intelligenza artificiale di Azure. Garantisce che i team usino le risorse di calcolo corrette in modo efficiente e acquisisca metriche e log dalle risorse della piattaforma.
Monitorare le risorse della piattaforma. Usare le impostazioni di diagnostica per acquisire log e metriche per tutti i servizi chiave, ad esempio Azure AI Studio, Azure Machine Learning e i servizi di intelligenza artificiale di Azure. I servizi specifici devono acquisire i log di controllo e i log specifici del servizio pertinenti. Implementare avvisi di monitoraggio personalizzati in base alle esigenze specifiche dell'architettura. Gli esempi includono avvisi per registri contenitori, servizi di Machine Learning e operazioni del servizio Azure OpenAI.
Standardizzare la gestione del calcolo. Sono necessarie risorse di calcolo per determinate azioni, ad esempio flussi di richiesta e modelli di training. Un servizio come Machine Learning include diverse opzioni di calcolo, ad esempio istanze di calcolo, cluster e opzioni serverless. Standardizzare il tipo di calcolo, i runtime e i periodi di arresto. Per le opzioni di calcolo specifiche del servizio, vedere Azure AI Studio e Machine Learning.
Gestire i dati di intelligenza artificiale
I dati di alta qualità sono la base di modelli di intelligenza artificiale accurati. Il rilevamento della deriva del modello consente di mantenere la pertinenza delle stime di intelligenza artificiale nel tempo e consente alle organizzazioni di adattare i modelli in base alle esigenze per riflettere le condizioni correnti.
Monitorare la deriva dei dati. Tenere traccia dell'accuratezza e della deriva dei dati in modo continuo nell'intelligenza artificiale generativa e non generica per garantire che i modelli rimangano pertinenti. Il monitoraggio può avvisare quando le stime del modello o le risposte del modello linguistico di grandi dimensioni deviano dal comportamento previsto. Questa deviazione indica la necessità di ripetere il training o la regolazione. Configurare avvisi personalizzati per rilevare le soglie delle prestazioni. Questo approccio consente l'intervento precoce quando si verificano problemi. Usare valutazioni in Azure AI Studio e metriche supportate in Machine Learning.
Garantire l'elaborazione dei dati di qualità. Per l'apprendimento automatico, i dati di training devono essere formattati, puliti e pronti per l'utilizzo del modello. Per l'intelligenza artificiale generativa, i dati di base devono essere nel formato corretto e probabilmente blocchi, arricchiti e incorporati per il consumo di modelli di intelligenza artificiale. Per altre informazioni, vedere Guida alla progettazione e allo sviluppo di una soluzione RAG.
Gestire la continuità aziendale
Implementare distribuzioni in più aree per garantire disponibilità elevata e resilienza per sistemi di intelligenza artificiale generativi e non generici. Per altre informazioni, vedere Distribuzione in più aree in Azure AI Studio, Azure Machine Learning e Azure OpenAI.