Övervaka dina generativa AI-program kontinuerligt
Viktigt!
Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.
Kontinuerliga framsteg inom Generative AI har lett till att organisationer har byggt allt mer komplexa program för att lösa olika problem (chattrobotar, RAG-system, agentiska system osv.). Dessa program används för att främja innovation, förbättra kundupplevelser och förbättra beslutsfattandet. Även om modellerna (till exempel GPT-4o) som driver dessa Generative AI-program är extremt kompatibla, har kontinuerlig övervakning aldrig varit viktigare för att säkerställa högkvalitativa, säkra och tillförlitliga resultat. Kontinuerlig övervakning är effektiv när flera perspektiv beaktas när du observerar ett program. Dessa perspektiv omfattar tokenanvändning och kostnader, driftsmått – svarstid, antal förfrågningar osv. – och, viktigast av allt, kontinuerlig utvärdering. Mer information om utvärdering finns i Utvärdering av generativa AI-program.
Azure AI och Azure Monitor tillhandahåller verktyg för att kontinuerligt övervaka prestanda för dina Generative AI-program från flera perspektiv. Med Azure AI Online Evaluation kan du kontinuerligt utvärdera ditt program oberoende av var det distribueras eller vilket orkestreringsramverk det använder (till exempel LangChain). Du kan använda olika inbyggda utvärderare som upprätthåller paritet med Azure AI Evaluation SDK eller definierar dina egna anpassade utvärderare. Genom att kontinuerligt köra rätt utvärderare över dina insamlade spårningsdata kan ditt team mer effektivt identifiera och minska säkerhets-, kvalitets- och säkerhetsproblem när de uppstår, antingen i förproduktion eller efter produktion. Azure AI Online Evaluation ger fullständig integrering med den omfattande uppsättning observerbarhetsverktyg som är tillgängliga i Azure Monitor Application Insights, så att du kan skapa anpassade instrumentpaneler, visualisera dina utvärderingsresultat över tid och konfigurera aviseringar för avancerad programövervakning.
Sammanfattningsvis har det aldrig varit viktigare att övervaka dina generativa AI-program på grund av AI-branschens komplexitet och snabba utveckling. Med Azure AI Online Evaluation, integrerat med Azure Monitor Application Insights, kan du kontinuerligt utvärdera dina distribuerade program för att säkerställa att de är högpresterande, säkra och ger högkvalitativa resultat i produktionen.
Övervaka dina generativa AI-program
I det här avsnittet får du lära dig hur du övervakar dina generativa AI-program med hjälp av Spårning av Azure AI Foundry, onlineutvärdering och spårning av visualiseringsfunktioner. Lär dig sedan hur Azure AI Foundry integreras med Azure Monitor Application Insights för omfattande observerbarhet och visualisering.
Spåra ditt generativa AI-program
Det första steget i kontinuerlig övervakning av ditt program är att se till att dess telemetridata samlas in och lagras för analys. För att göra detta måste du instrumentera generativ AI-programmets kod för att använda Azure AI-spårningspaketet för att logga spårningsdata till valfri Azure Monitor Application Insights-resurs. Det här paketet överensstämmer helt med OpenTelemetry-standarden för observerbarhet. När du har instrumenterat programmets kod loggas spårningsdata till Application Insights-resursen.
När du har inkluderat spårning i programkoden kan du visa spårningsdata i Azure AI Foundry eller i din Azure Monitor Application Insights-resurs. Mer information om hur du gör detta finns i övervaka ditt generativa AI-program.
Konfigurera onlineutvärdering
När du har konfigurerat spårning för ditt generativa AI-program konfigurerar du onlineutvärdering med Azure AI Foundry SDK för att kontinuerligt utvärdera dina spårningsdata när de samlas in. Om du gör det kan du övervaka programmets prestanda i produktion över tid.
Kommentar
Om du har flera AI-program som loggar spårningsdata till samma Azure Monitor Application Insights-resurs rekommenderar vi att du använder tjänstnamnet för att skilja mellan programdata i Application Insights. Information om hur du anger tjänstnamnet finns i Azure AI-spårning. Information om hur du frågar efter tjänstnamnet i din onlineutvärderingskonfiguration finns i Använda tjänstnamn i spårningsdata.
Övervaka ditt generativa AI-program med Azure Monitor Application Insights
I det här avsnittet får du lära dig hur Azure AI integreras med Azure Monitor Application Insights för att ge dig en inbyggd instrumentpanelsvy som är skräddarsydd med insikter om din generativa AI-app så att du kan hålla dig uppdaterad med appens senaste status.
Insikter för ditt generativa AI-program
Om du inte har konfigurerat det här följer några snabba steg:
- Gå till projektet i Azure AI Foundry.
- Välj spårningssidan till vänster.
- Anslut Application Insights-resursen till projektet.
Om du redan har konfigurerat spårning i Azure AI Foundry-portalen behöver du bara välja länken till instrumentpanelen för Insights for Generative AI-program.
När du har strömmat dina data till application insights-resursen kan du automatiskt se att de fylls i på den här anpassade instrumentpanelen.
Den här vyn är en bra plats där du kan komma igång med dina övervakningsbehov.
- Du kan visa tokenförbrukning över tid för att förstå om du behöver öka användningsgränserna eller göra ytterligare kostnadsanalyser.
- Du kan visa utvärderingsmått som trendlinjer för att förstå appens kvalitet dagligen.
- Du kan felsöka när undantag sker och öka detaljnivån i spårningar med hjälp av vyn Transaktionsinformation från slutpunkt till slutpunkt för Azure Monitor för att ta reda på vad som gick fel.
Det här är en Azure-arbetsbok som kör frågor mot data som lagras i Application Insights-resursen. Du kan anpassa arbetsboken och anpassa den efter dina affärsbehov. Mer information finns i redigera Azure-arbetsböcker.
På så sätt kan du lägga till ytterligare anpassade utvärderare som du kanske har loggat eller annan markdown-text för att dela sammanfattningar och använda i rapporteringssyfte.
Du kan också dela den här arbetsboken med ditt team så att de håller sig informerade med den senaste!
Kommentar
När du delar arbetsboken med dina teammedlemmar måste de ha minst rollen Läsare till den anslutna Application Insights-resursen för att visa den information som visas.