Fortlaufende Überwachung Ihrer Anwendungen für generative KI
Wichtig
Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.
Die kontinuierlichen Fortschritte im Bereich der generativen KI haben dazu geführt, dass Unternehmen immer komplexere Anwendungen zur Lösung verschiedener Probleme entwickeln (Chatbots, RAG-Systeme, Agent-basierte Systeme usw.). Diese Anwendungen werden verwendet, um Innovationen zu fördern, die Kundenerfahrung zu verbessern und die Entscheidungsfindung zu optimieren. Obwohl die Modelle (z. B. GPT-4o), die diesen Anwendungen für generative KI zugrunde liegen, äußerst leistungsfähig sind, war eine fortlaufende Überwachung noch nie so wichtig wie heute, um hochwertige, sichere und zuverlässige Ergebnisse zu gewährleisten. Fortlaufende Überwachung ist effektiv, wenn mehrere Perspektiven beim Überwachen einer Anwendung berücksichtigt werden. Zu diesen Perspektiven gehören Tokennutzung und -kosten, Betriebsmetriken (Wartezeit, Anforderungsanzahl usw.) und vor allem die fortlaufende Auswertung. Weitere Informationen zur Auswertung finden Sie unter Auswertung von generativen KI-Anwendungen.
Azure KI and Azure Monitor bieten Tools, mit denen Sie die Leistung Ihrer Anwendungen für generative KI aus verschiedenen Perspektiven fortlaufend überwachen können. Mit Azure KI Online Evaluation können Sie Ihre Anwendung fortlaufend auswerten, unabhängig davon, wo sie bereitgestellt wird oder welches Orchestrierungsframework sie verwendet (z. B. LangChain). Sie können verschiedene integrierte Auswertungen verwenden, die die Parität mit dem Azure AI Evaluation SDK aufrechterhalten, oder Ihre eigenen benutzerdefinierten Auswertungen definieren. Durch eine kontinuierliche Ausführung der richtigen Auswertungen für Ihre gesammelten Ablaufverfolgungsdaten kann Ihr Team Sicherheits-, Qualitäts- und Sicherheitsprobleme vor oder nach der Produktion effizienter identifizieren und beheben, sobald sie auftreten. Azure KI Online Evaluation ermöglicht eine vollständige Integration in die umfassende Suite von Einblicktools, die in Azure Monitor Application Insights verfügbar sind, sodass Sie benutzerdefinierte Dashboards erstellen, Ihre Auswertungsergebnisse im Laufe der Zeit visualisieren und Warnungen für die erweiterte Anwendungsüberwachung konfigurieren können.
Zusammenfassend war die Überwachung Ihrer Anwendungen für generative KI aufgrund der Komplexität und raschen Entwicklung der KI-Branche noch nie wichtiger. Mit dem in Azure Monitor Application Insights integrierten Azure KI Online Evaluation-Dienst können Sie die bereitgestellten Anwendungen fortlaufend auswerten, um sicherzustellen, dass sie in der Produktion leistungsfähig und sicher sind und qualitativ hochwertige Ergebnisse liefern.
Überwachen der Anwendungen für generative KI
In diesem Abschnitt erfahren Sie, wie Sie Ihre Anwendungen für generative KI mithilfe der Azure AI Foundry-Ablaufverfolgung, der Onlineauswertung und der Ablaufverfolgungsvisualisierung überwachen. Erfahren Sie dann, wie Azure AI Foundry in Azure Monitor Application Insights integriert wird, um einen umfassenden Einblick und eine umfassende Visualisierung zu erhalten.
Ablaufverfolgung für Ihre Anwendung für generative KI
Der erste Schritt bei der fortlaufenden Überwachung Ihrer Anwendung besteht darin, sicherzustellen, dass Telemetriedaten erfasst und für die Analyse gespeichert werden. Dazu müssen Sie den Code Ihrer Anwendung für generative KI für die Verwendung des Azure KI-Ablaufverfolgungspakets instrumentieren, um Ablaufverfolgungsdaten in einer Azure Monitor Application Insights-Ressource Ihrer Wahl zu protokollieren. Dieses Paket ist vollständig mit dem OpenTelemetry-Standard für Einblicke konform. Nachdem Sie den Code Ihrer Anwendung instrumentiert haben, werden die Ablaufverfolgungsdaten in Ihrer Application Insights-Ressource protokolliert.
Nachdem Sie die Ablaufverfolgung in Ihren Anwendungscode aufgenommen haben, können Sie die Ablaufverfolgungsdaten in Azure KI Foundry oder in Ihrer Azure Monitor Application Insights-Ressource anzeigen. Weitere Informationen zur Vorgehensweise finden Sie unter Überwachen Ihrer Anwendung für generative KI.
Einrichten der Onlineauswertung
Nachdem Sie die Ablaufverfolgung für Ihre Anwendung für generative KI eingerichtet haben, richten Sie die Onlineauswertung mit dem Azure AI Foundry SDK ein, um Ihre Ablaufverfolgungsdaten bei der Erfassung kontinuierlich zu bewerten. Auf diese Weise können Sie die Produktionsleistung Ihrer Anwendung im Laufe der Zeit kontinuierlich überwachen.
Hinweis
Wenn Sie über mehrere KI-Anwendungen verfügen, die Ablaufverfolgungsdaten in derselben Azure Monitor Application Insights-Ressource protokollieren, sollten Sie den Dienstnamen verwenden, um zwischen Anwendungsdaten in Application Insights zu unterscheiden. Informationen zum Festlegen des Dienstnamens finden Sie unter Azure KI-Ablaufverfolgung. Informationen zum Abfragen des Dienstnamens in Ihrer Onlineauswertungskonfiguration finden Sie unter Verwenden des Dienstnamens in Ablaufverfolgungsdaten.
Überwachen Ihrer Anwendung für generative KI mithilfe von Azure Monitor Application Insights
In diesem Abschnitt erfahren Sie, wie Sie Azure KI in Azure Monitor Application Insights integrieren, damit Sie eine vorkonfigurierte Dashboardansicht erhalten, die Erkenntnisse zu Ihrer generativen KI-App enthält, damit Sie stets den aktuellen Status Ihrer Anwendung im Blick haben.
Erkenntnisse zu Ihrer generativen KI-Anwendung
Wenn Sie dies noch nicht eingerichtet haben, finden hier einige kurze Schritte:
- Navigieren Sie in Azure KI Foundry zu Ihrem Projekt.
- Wählen Sie links die Seite „Ablaufverfolgung“ aus.
- Stellen Sie eine Verbindung zwischen Ihrer Application Insights-Ressource und Ihrem Projekt her.
Wenn Sie die Ablaufverfolgung bereits im Azure KI Foundry-Portal eingerichtet haben, müssen Sie nur den Link auswählen, um das Dashboard mit Erkenntnissen zur generative KI-Anwendung anzuzeigen.
Sobald Daten in Ihre Application Insights-Ressource gestreamt werden, sehen Sie, wie diese automatisch in diesem angepassten Dashboard aufgefüllt werden.
Diese Ansicht ist ein guter Ausgangspunkt für Ihre Überwachungsaufgaben.
- Sie können den Tokenverbrauch im Zeitverlauf anzeigen, um zu verstehen, ob Sie die Nutzungsgrenzwerte erhöhen oder eine zusätzliche Kostenanalyse durchführen müssen.
- Sie können Auswertungsmetriken als Trendlinien anzeigen, um die Qualität Ihrer App täglich zu überprüfen.
- Sie können debuggen, wenn Ausnahmen auftreten, und Drilldowns mithilfe der Ansicht mit umfassenden Transaktionsdetails von Azure Monitor ausführen, um zu ermitteln, was nicht geklappt hat.
Dies ist eine Azure-Arbeitsmappe, die Daten abfragt, die in Ihrer Application Insights-Ressource gespeichert sind. Sie können diese Arbeitsmappe ändern und an Ihre geschäftlichen Anforderungen anpassen. Weitere Informationen dazu finden Sie unter Bearbeiten von Azure-Arbeitsmappen.
Auf diese Weise können Sie zusätzliche benutzerdefinierte Auswertungen, die Sie möglicherweise protokolliert haben, oder anderen Markdowntext hinzufügen, um Zusammenfassungen freizugeben und für Berichterstellungszwecke zu verwenden.
Sie können diese Arbeitsmappe auch für Ihr Team freigeben, damit es immer auf dem neuesten Stand ist.
Hinweis
Bei der Freigabe dieser Arbeitsmappe an Ihre Teammitglieder müssen sie mindestens über die Rolle mit Leseberechtigung für die verknüpfte Application Insights-Ressource verfügen, um die angezeigten Informationen anzusehen.