Erkunden von Varianten und Überwachungsoptionen

Abgeschlossen

Während der Produktion möchten Sie Ihren Flow optimieren und bereitstellen. Schließlich möchten Sie Ihre Flows überwachen, um zu verstehen, wann eine Verbesserung Ihrer Flows notwendig ist.

Sie können Ihren Flow mithilfe von Variantenoptimieren, Ihren Flow auf einem Endpunktbereitstellen und Ihren Flow überwachen, indem Sie wichtige Metriken auswerten.

Erkunden von Varianten

Prompt flow-Varianten sind Versionen eines Toolknotens mit unterschiedlichen Einstellungen. Derzeit werden Varianten nur im LLM-Tool unterstützt, wobei eine Variante einen anderen Eingabeaufforderungsinhalt oder eine andere Verbindungseinstellung darstellen kann. Varianten ermöglichen es Benutzern, ihren Ansatz für bestimmte Aufgaben anzupassen, z. B. für die Zusammenfassung von Nachrichtenartikeln.

Einige Vorteile der Verwendung von Varianten sind:

• Verbesserung der Qualität Ihrer LLM-Generation: Durch das Erstellen verschiedener Varianten eines LLM-Knotens können Sie die besten Eingabeaufforderungen und Einstellungen für qualitativ hochwertige Inhalte finden.
• Einsparung von Zeit und Aufwand: Varianten ermöglichen eine einfache Verwaltung und einen Vergleich verschiedener Eingabeaufforderungsversionen, das Optimieren der verlaufsgeschichtlichen Nachverfolgung und die Reduzierung des Aufwands bei der Eingabeaufforderungsoptimierung.
• Steigerung der Produktivität: Sie vereinfachen die Optimierung von LLM-Knoten und ermöglichen eine schnellere Erstellung und Verwaltung von Variationen, was zu besseren Ergebnissen in kürzerer Zeit führt.
• Einfacher Vergleich: Varianten ermöglichen parallele Ergebnisvergleiche und helfen bei der Auswahl der effektivsten Variante basierend auf datengesteuerten Entscheidungen.

Bereitstellen des Flows auf einem Endpunkt

Wenn Sie mit der Leistung Ihres Flows zufrieden sind, können Sie diese auf einem Online-Endpunktbereitstellen. Endpunkte sind URLs, die Sie von einer beliebigen Anwendung aufrufen können. Wenn Sie einen API-Aufruf an einen Online-Endpunkt tätigen, können Sie eine (fast) sofortige Antwort erwarten.

Wenn Sie Ihren Flow auf einem Online-Endpunkt bereitstellen, generiert der prompt flow eine URL und einen Schlüssel, damit Sie Ihren Fluss sicher in andere Anwendungen oder Geschäftsprozesse integrieren können. Wenn Sie den Endpunkt aufrufen, wird ein Flow ausgeführt und die Ausgabe wird in Echtzeit zurückgegeben. So kann die Bereitstellung von Flows an Endpunkten beispielsweise Chat- oder Copilot-Antworten erzeugen, die Sie in einer anderen Anwendung zurückgeben möchten.

Überwachen von Auswertungsmetriken

Die Überwachung der Bewertungskennzahlen ist der Schlüssel zum Verständnis der Leistung Ihrer LLM-Anwendung, um sicherzustellen, dass sie den realen Erwartungen entspricht und genaue Ergebnisse liefert.

Um herauszufinden, ob Ihre Anwendung den praktischen Bedürfnissen entspricht, können Sie das Feedback der Endbenutzer einholen und die Nützlichkeit der Anwendung bewerten. Ein weiterer Ansatz, um zu verstehen, ob Ihre Anwendung gut funktioniert, ist der Vergleich von LLM-Vorhersagen mit erwarteten oder tatsächlichen Antworten, um die Genauigkeit und Relevanz zu beurteilen. Die Bewertung der Vorhersagen des LLM ist entscheidend dafür, dass LLM-Anwendungen zuverlässig und effektiv bleiben.

metrics

Die wichtigsten Metriken, die für die Überwachung der Auswertung im prompt flow verwendet werden, bieten jeweils einzigartige Einblicke in die Leistung von LLMs:

• Fundiertheit: Misst die Übereinstimmung der Ausgabe der LLM-Anwendung mit der Eingabequelle oder Datenbank.
• Relevanz: Bewertet, wie relevant die Ausgabe der LLM-Anwendung für die angegebene Eingabe ist.
• Kohärenz: Wertet den logischen Flow und die Lesbarkeit des Texts der LLM-Anwendung aus.
• Fluss: Bewertet die Grammatik- und Sprachgenauigkeit der LLM-Anwendung.
• Gleichartigkeit: Quantifiziert die kontextuelle und semantische Übereinstimmung zwischen der Ausgabe der LLM-Anwendung und der Grundwahrheit.

Metriken wie Fundiertheit, Relevanz, Kohärenz, Fluss und Gleichartigkeit sind entscheidend für die Qualitätssicherung, um sicherzustellen, dass Interaktionen mit Ihren LLM-Anwendungen korrekt und effektiv sind. Wann immer Ihre LLM-Anwendung nicht die erwartete Leistung erbringt, müssen Sie zum Experimentieren zurückkehren, um iterativ zu erkunden, wie Sie Ihren Ablauf verbessern können.