Surveillez en permanence vos applications d’IA générative
Important
Les éléments marqués (préversion) dans cet article sont actuellement en préversion publique. Cette préversion est fournie sans contrat de niveau de service, nous la déconseillons dans des charges de travail de production. Certaines fonctionnalités peuvent être limitées ou non prises en charge. Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.
Des progrès continus dans l’IA générative ont conduit les organisations à créer des applications de plus en plus complexes pour résoudre différents problèmes (chat-bots, systèmes RAG, systèmes agentiques, etc.). Ces applications sont utilisées pour stimuler l’innovation, améliorer les expériences client et améliorer la prise de décision. Bien que les modèles (par exemple, GPT-4o) alimentant ces applications d’IA générative soient très efficaces, la surveillance continue n’a jamais été aussi cruciale pour garantir des résultats sûrs, fiables et de qualité supérieure. La surveillance continue est efficace lorsque plusieurs perspectives sont prises en compte lors de l’observation d’une application. Ces perspectives incluent l’utilisation et le coût des jetons, la latence des métriques – opérationnelles, le nombre de requêtes, etc. et, surtout, l’évaluation continue. Pour en savoir plus sur l’évaluation, consultez Évaluation des applications IA génératives.
Azure AI et Azure Monitor fournissent des outils pour vous permettre de surveiller en permanence les performances de vos applications d’IA générative à partir de plusieurs perspectives. Avec Azure AI Online Evaluation, vous pouvez évaluer en permanence votre application indépendante de l’emplacement où elle est déployée ou quelle infrastructure d’orchestration elle utilise (par exemple, LangChain). Vous pouvez utiliser différents évaluateurs intégrés qui conservent la parité avec le SDK d’évaluation Azure AI ou définir vos propres évaluateurs personnalisés. En exécutant en continu les bons évaluateurs sur vos données de trace collectées, votre équipe peut identifier et atténuer plus efficacement les problèmes de sécurité, de qualité et de sécurité à mesure qu’ils se produisent, soit en préproduction, soit en post-production. Azure AI Online Evaluation fournit une intégration complète à la suite complète d’outils d’observabilité disponibles dans Azure Monitor Application Insights, ce qui vous permet de créer des tableaux de bord personnalisés, de visualiser vos résultats d’évaluation au fil du temps et de configurer des alertes pour la surveillance avancée des applications.
En résumé, la surveillance de vos applications IA génératives n’a jamais été plus importante, en raison de la complexité et de l’évolution rapide du secteur de l’IA. Azure AI Online Evaluation, intégré à Azure Monitor Application Insights, vous permet d’évaluer en permanence vos applications déployées afin de s’assurer qu’elles sont performantes, sécurisées et produisent des résultats de haute qualité en production.
Comment surveiller vos applications d’IA générative
Dans cette section, découvrez comment surveiller vos applications d’IA générative à l’aide du suivi Azure AI Foundry, de l’évaluation en ligne et de la fonctionnalité de visualisation de trace. Découvrez ensuite comment Azure AI Foundry s’intègre à Azure Monitor Application Insights pour une observabilité et une visualisation complètes.
Tracer votre application d'IA générative
La première étape de la supervision continue de votre application consiste à s’assurer que ses données de télémétrie sont capturées et stockées pour l’analyse. Pour ce faire, vous devez instrumenter le code de votre application d’IA générative pour utiliser le package de suivi Azure AI pour consigner les données de trace dans une ressource Azure Monitor Application Insights de votre choix. Ce package est entièrement conforme à la norme OpenTelemetry pour l’observabilité. Une fois que vous avez instrumenté le code de votre application, les données de trace sont journalisées dans votre ressource Application Insights.
Une fois que vous avez inclus le suivi dans votre code d’application, vous pouvez afficher les données de trace dans Azure AI Foundry ou dans votre ressource Azure Monitor Application Insights. Pour en savoir plus sur la manière de procéder, consultez la section Contrôler votre application d'IA générative.
Configurer l’évaluation en ligne
Après avoir configuré le suivi pour votre application d’IA générative, configurez l’évaluation en ligne avec le SDK Azure AI Foundry pour évaluer en continu vos données de trace à mesure qu’elles sont collectées. Cela vous permet de surveiller les performances de votre application en production au fil du temps.
Remarque
Si plusieurs applications IA journalisent des données de trace dans la même ressource Azure Monitor Application Insights, il est recommandé d’utiliser le nom du service pour différencier les données d’application dans Application Insights. Pour savoir comment définir le nom du service, consultez Suivi Azure AI. Pour savoir comment interroger le nom du service dans votre configuration d’évaluation en ligne, consultez Utilisation du nom de service dans les données de trace.
Surveiller votre application d’IA générative avec Application Insights Azure Monitor
Dans cette section, vous allez découvrir comment Azure AI s’intègre à Azure Monitor Application Insights pour vous donner une vue de tableau de bord prête à l’emploi adaptée avec des insights sur votre application d’IA générative afin de rester à jour avec l’état le plus récent de votre application.
Insights de votre application d'IA générative
Si vous ne l’avez pas configuré, voici quelques étapes rapides :
- Accédez à votre projet dans Azure AI Foundry.
- Sélectionnez la page Traçage sur le côté gauche.
- Connectez votre ressource Application Insights à votre projet.
Si vous avez déjà configuré le suivi dans le portail Azure AI Foundry, il vous suffit de sélectionner le lien pour Consulter votre tableau de bord d’application Insights pour l’IA générative.
Une fois que vos données sont diffusées en continu dans votre ressource Application Insights, vous pouvez automatiquement la voir remplie dans ce tableau de bord personnalisé.
Cette vue est un endroit idéal pour vous aider à bien démarrer avec vos besoins de surveillance.
- Vous pouvez afficher la consommation de jetons au fil du temps pour comprendre si vous devez augmenter vos limites d’utilisation ou effectuer une analyse des coûts supplémentaires.
- Vous pouvez afficher les métriques d’évaluation en tant que courbes de tendance pour comprendre la qualité de votre application quotidiennement.
- Vous pouvez déboguer lorsque des exceptions ont lieu et explorer les traces à l’aide de la vue des détails de transaction de bout en bout d’Azure Monitor pour déterminer ce qui s’est passé.
Il s’agit d’un classeur Azure qui interroge les données stockées dans votre ressource Application Insights. Vous pouvez personnaliser ce classeur et l’adapter pour répondre aux besoins de votre entreprise. Pour en savoir plus, consultez Modification des classeurs Azure.
Cela vous permet d’ajouter des évaluateurs personnalisés supplémentaires que vous avez peut-être enregistrés ou d’autres textes markdown pour partager des résumés et les utiliser à des fins de création de rapports.
Vous pouvez également partager ce classeur avec votre équipe afin qu’ils restent informés avec les dernières !
Remarque
Lors du partage de ce classeur avec les membres de votre équipe, ils doivent avoir au moins le rôle « Lecteur » pour la ressource Application Insights connectée pour afficher les informations affichées.