Uw generatieve AI-toepassingen continu bewaken
Belangrijk
Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
Continue ontwikkelingen in Generatieve AI hebben organisaties geleid tot het bouwen van steeds complexer toepassingen om verschillende problemen op te lossen (chat-bots, RAG-systemen, agentische systemen, enzovoort). Deze toepassingen worden gebruikt om innovatie te stimuleren, klantervaringen te verbeteren en besluitvorming te verbeteren. Hoewel de modellen (bijvoorbeeld GPT-4o) die deze generatieve AI-toepassingen aandrijven uiterst geschikt zijn, is continue bewaking nog nooit belangrijker geweest om hoogwaardige, veilige en betrouwbare resultaten te garanderen. Continue bewaking is effectief wanneer meerdere perspectieven worden overwogen bij het observeren van een toepassing. Deze perspectieven omvatten tokengebruik en -kosten, operationele metrische gegevens: latentie, aantal aanvragen, enzovoort, en, belangrijk, continue evaluatie. Zie Evaluatie van generatieve AI-toepassingen voor meer informatie over evaluatie.
Azure AI en Azure Monitor bieden hulpprogramma's waarmee u continu de prestaties van uw Generatieve AI-toepassingen vanuit meerdere perspectieven kunt bewaken. Met Azure AI Online Evaluation kunt u uw toepassing continu evalueren op de locatie waar deze wordt geïmplementeerd of welk indelingsframework wordt gebruikt (bijvoorbeeld LangChain). U kunt verschillende ingebouwde evaluators gebruiken die pariteit behouden met de Azure AI Evaluation SDK of uw eigen aangepaste evaluators definiëren. Door continu de juiste evaluatoren uit te voeren op uw verzamelde traceringsgegevens, kan uw team de beveiligings-, kwaliteits- en veiligheidsproblemen effectiever identificeren en beperken wanneer deze zich voordoen, hetzij in preproductie of na productie. Azure AI Online Evaluation biedt volledige integratie met de uitgebreide suite met hulpprogramma's voor waarneembaarheid die beschikbaar zijn in Azure Monitor Application Insights, zodat u aangepaste dashboards kunt maken, uw evaluatieresultaten in de loop van de tijd kunt visualiseren en waarschuwingen kunt configureren voor geavanceerde toepassingsbewaking.
Kortom, het bewaken van uw generatieve AI-toepassingen is nog nooit belangrijker geweest vanwege de complexiteit en snelle ontwikkeling van de AI-industrie. Met Azure AI Online Evaluation, geïntegreerd met Azure Monitor Application Insights, kunt u uw geïmplementeerde toepassingen continu evalueren om ervoor te zorgen dat ze presterende, veilige en hoogwaardige resultaten opleveren in productie.
Uw generatieve AI-toepassingen bewaken
In deze sectie leert u hoe u uw generatieve AI-toepassingen bewaakt met behulp van Azure AI Foundry-tracering, online evaluatie en traceringsvisualisatiefunctionaliteit. Leer vervolgens hoe Azure AI Foundry kan worden geïntegreerd met Azure Monitor Application Insights voor uitgebreide waarneembaarheid en visualisatie.
Uw generatieve AI-toepassing traceren
De eerste stap bij het continu bewaken van uw toepassing is ervoor te zorgen dat de telemetriegegevens worden vastgelegd en opgeslagen voor analyse. Hiervoor moet u de code van uw generatieve AI-toepassing instrumenteren om het Azure AI Tracing-pakket te gebruiken om traceringsgegevens te registreren bij een Azure Monitor Application Insights-resource van uw keuze. Dit pakket voldoet volledig aan de OpenTelemetry-standaard voor waarneembaarheid. Nadat u de code van uw toepassing hebt geïnstrueerd, worden de traceringsgegevens geregistreerd bij uw Application Insights-resource.
Nadat u tracering hebt opgenomen in uw toepassingscode, kunt u de traceringsgegevens bekijken in Azure AI Foundry of in uw Azure Monitor Application Insights-resource. Zie uw generatieve AI-toepassing bewaken voor meer informatie over hoe u dit doet.
Online evaluatie instellen
Nadat u tracering voor uw generatieve AI-toepassing hebt ingesteld, stelt u onlineevaluatie in met de Azure AI Foundry SDK om uw traceringsgegevens continu te evalueren terwijl deze worden verzameld. Hierdoor kunt u de prestaties van uw toepassing in de loop van de tijd in productie bewaken.
Notitie
Als u meerdere AI-toepassingen hebt die traceringsgegevens registreren bij dezelfde Azure Monitor Application Insights-resource, is het raadzaam om de servicenaam te gebruiken om onderscheid te maken tussen toepassingsgegevens in Application Insights. Zie Azure AI Tracing voor meer informatie over het instellen van de servicenaam. Als u wilt weten hoe u een query uitvoert op de servicenaam in uw online evaluatieconfiguratie, raadpleegt u het gebruik van de servicenaam in traceringsgegevens.
Uw generatieve AI-toepassing bewaken met Azure Monitor Application Insights
In deze sectie leert u hoe Azure AI kan worden geïntegreerd met Azure Monitor Application Insights, zodat u een out-of-the-box dashboardweergave krijgt die is afgestemd op inzichten met betrekking tot uw generatieve AI-app, zodat u op de hoogte kunt blijven van de nieuwste status van uw toepassing.
Inzichten voor uw generatieve AI-toepassing
Als u dit nog niet hebt ingesteld, volgt u een aantal snelle stappen:
- Navigeer naar uw project in Azure AI Foundry.
- Selecteer de pagina Tracering aan de linkerkant.
- Verbind uw Application Insights-resource met uw project.
Als u tracering al hebt ingesteld in de Azure AI Foundry-portal, hoeft u alleen maar de koppeling te selecteren om het dashboard van uw Insights for Ative AI-toepassing te bekijken.
Zodra u uw gegevens naar uw Application Insights-resource hebt gestreamd, ziet u dat deze automatisch wordt ingevuld in dit aangepaste dashboard.
Deze weergave is een geweldige plek om aan de slag te gaan met uw bewakingsbehoeften.
- U kunt het tokenverbruik na verloop van tijd bekijken om te begrijpen of u uw gebruikslimieten wilt verhogen of extra kostenanalyse wilt uitvoeren.
- U kunt metrische evaluatiegegevens weergeven als trendlijnen om de kwaliteit van uw app dagelijks te begrijpen.
- U kunt fouten opsporen wanneer uitzonderingen plaatsvinden en inzoomen op traceringen met behulp van de weergave end-to-end transactiedetails van Azure Monitor om erachter te komen wat er mis is gegaan.
Dit is een Azure-werkmap die query's uitvoert op gegevens die zijn opgeslagen in uw Application Insights-resource. U kunt deze werkmap aanpassen en deze aanpassen aan de behoeften van uw bedrijf. Zie Azure-werkmappen bewerken voor meer informatie.
Hiermee kunt u extra aangepaste evaluators toevoegen die u mogelijk hebt geregistreerd of andere Markdown-tekst om samenvattingen te delen en te gebruiken voor rapportagedoeleinden.
U kunt deze werkmap ook delen met uw team, zodat ze op de hoogte blijven van het laatste!
Notitie
Wanneer u deze werkmap deelt met uw teamleden, moeten ze ten minste de rol Lezer hebben voor de verbonden Application Insights-resource om de weergegeven informatie weer te geven.