Leistungsoptimierung für intelligente Anwendungs-Workloads
Leistungseffizienz ist die Fähigkeit Ihres Workloads, effizient zu skalieren, um die Anforderungen der Benutzenden zu erfüllen. Die Überwachung der Leistung Ihres intelligenten Anwendungs-Workloads ist entscheidend, um sicherzustellen, dass er effektiv und effizient arbeitet.
Das Workloadteam muss wichtige Leistungskennzahlen festlegen, die Systemleistung regelmäßig überprüfen und Probleme umgehend diagnostizieren. Effektive Überwachungs- und Diagnoseverfahren helfen, die Zuverlässigkeit des Systems und die Benutzerzufriedenheit aufrechtzuerhalten.
Leistungsziele festlegen
Zur Identifizierung wichtiger Leistungskennzahlen gehört die Bestimmung der wesentlichen Zahlen, die den Fortschritt bei der Erreichung der Leistungsziele des Workloads verfolgen. Diese Metriken bieten eine quantifizierbare Möglichkeit, die Leistungseffizienz zu messen und zu verbessern.
Wenn Sie wichtige Metriken identifizieren, auf die Sie sich konzentrieren wollen, sollten Sie Metriken im Zusammenhang mit Kapazität, Antwortzeit, Durchführungsrate sowie Interaktion und Ergebnisse berücksichtigen:
Kapazität: Durchsatz und Parallelität sind Beispielmetriken für die Kapazität. Unter Durchsatz versteht man die Fähigkeit, eine bestimmte Anzahl von Transaktionen innerhalb eines bestimmten Zeitraums abzuwickeln. Ein Agent kann beispielsweise 200.000 Chatsitzungen pro Monat verarbeiten. Berücksichtigen Sie auch saisonale Schwankungen und den erwartete maximalen Spitzenwert gleichzeitiger Unterhaltungen. Die Parallelität misst die gleichzeitigen Benutzenden oder Aktionen. Zum Beispiel verarbeitet ein Agent in der Hochsaison vielleicht maximal 5.000 gleichzeitige Chats. Kenntnisse über die Zielvolumina helfen bei der Überprüfung der Zielarchitektur und -skalierung.
Antwortzeit: Latenz und Ladezeit sind gängige Metriken für die Antwortzeit. Die Latenz ist die Zeit, die vergeht, bis auf eine Anforderung reagiert wird (200 Millisekunden). Die Ladezeit ist die Zeit, die ein Agent benötigt, um aktiv zu werden und auf die erste Nachricht zu antworten. Verstehen Sie die erwartete maximale Latenz für den Agent zum Beantworten von Abfragen, und definieren Sie einen Ansatz für den Umgang mit lang andauernden Aktionen (z. B. Warten auf die Rückgabe von Daten durch ein externes System).
Ablenkungsrate: Im Zusammenhang mit Unterhaltungs-KI ist die Ablenkung ein Indikator, der den Prozentsatz der Anfragen darstellt, die im Self-Service-Modus abgeschlossen werden und sonst von Kundendienstmitarbeitern bearbeitet würden. Mit anderen Worten, sie bezieht sich auf die Anzahl der Aufgaben, die ein Team aufgrund der Automatisierung nicht mehr erledigen muss. Die Optimierung der Agent-Umleitungsrate ist einer der wichtigsten Schwerpunktbereiche für Unternehmen, die ihre Geschäftsziele in Bezug auf Return on Investment (ROI) und Kundenzufriedenheit (CSAT) erreichen und die Gesamtleistung des Agenten verbessern möchten. Microsoft Copilot Studio bietet einen Überblick über die Leistung Ihrer Agenten, einschließlich wichtiger Indikatoren wie Lösungsrate, Eskalationsrate und CSAT.
Bindung und Ergebnis: Die Nachferfolgung von Unterhaltungen und das Messen von Ergebnissen ist unerlässlich, um Agent-Leistungskennzahlen zu messen und Bereiche mit Verbesserungspotenzial zu erkennen. Weitere Informationen finden Sie unter Messen der Agent-Bindung und Messen von Agent-Ergebnissen.
Leistungsplanung
Für die Ressourcen in Ihrem Workload gelten Leistungseinschränkungen. Für die Funktionen jedes Dienstes gelten Leistungseinschränkungen. Sie müssen sich über die Ressourcenbeschränkungen in Ihrem Workload im Klaren sein und diese Beschränkungen bei Ihren Designentscheidungen berücksichtigen. Sie sollten beispielsweise wissen, ob Ressourcenbeschränkungen eine Änderung des Designansatzes oder einen vollständigen Austausch der Ressourcen erfordern.
- Zielvolumina verstehen. Zielvolumen helfen auch dabei, die Zielarchitektur und die Skalierung, Lizenzierungsaspekte des Agenten und mögliche Auswirkungen auf die Dataverse Speicherung von Gesprächsprotokollen zu validieren.
- Plattformgrenzen verstehen. Wenn Sie Ihre intelligente Anwendungsworkload in externe Systeme integrieren, z. B. über Power Automate oder HTTP-Anforderungen, müssen Sie überprüfen, ob jede Komponente die Last auch verarbeiten kann.
- Identifizieren Sie Engpässe. Messen Sie den Durchsatz und die Antwortzeiten, um festzustellen, bei welchen Komponenten Ihres Systems es mit zunehmender Belastung Probleme geben könnte. Identifizieren Sie Engpässe im End-to-End-Prozess, indem Sie Prozess-Mining-Analysefunktionen wie Nacharbeit und Ursachenanalyse nutzen.
Weitere Informationen: Empfehlungen für die Leistungsplanung
Leistung überwachen
Zur Leistungsoptimierung sind Daten erforderlich, um die aktuelle Leistung einer Arbeitslast oder eines Datenflusses im Hinblick auf die Leistungsziele zu messen. Sammeln Sie eine ausreichende Menge und Vielfalt an Daten, um die Leistung des Codes und der Infrastruktur anhand der festgelegten Leistungsziele genau zu messen. Stellen Sie sicher, dass jede Komponente und jeder Fluss innerhalb der Arbeitslast automatisch kontinuierliche und aussagekräftige Metriken und Protokolle generiert.
Überwachen Sie die Leistung Ihres intelligenten Anwendungs-Workloads sorgfältig, um sicherzustellen, dass er mit maximaler Effektivität und Effizienz arbeitet.
Copilot Studio bietet umfassende Out-of-the-Box-Analysen, mit denen Sie die Nutzung und die wichtigsten Leistungsindikatoren eines Agenten nachvollziehen können.
Sie können Berichte zu Folgendem anzeigen:
- Leistung und Verbrauch
- Kundenzufriedenheit
- Sitzungsinformationen
- Themenverwendung
- Abgerechnete Sitzungen
Zusätzlich zu den nativen Analyse Funktionen in Copilot Studio können Sie Telemetriedaten an Application Insights senden. Weitere Informationen finden Sie unter Erfassen von Telemetriedaten mit Application Insights. Kontinuierliche Überwachung der Leistung und Erkennung von Anomalien mithilfe von Tools wie Azure Monitor, Log Analytics, Application Insights und Warnungen.
Legen Sie die Key Performance Indicators (KPIs) fest, die Sie überwachen möchten, um den Erfolg Ihres intelligenten Anwendungs-Workloads zu messen, z. B. Interaktionsrate, Lösungsrate und Ablenkungsrate. Gehen Sie zunächst die nativen Dashboards durch, um sich mit den verfügbaren Daten vertraut zu machen. Entscheiden Sie dann, ob die Erstellung eines benutzerdefinierten Berichts besser zu Ihren spezifischen Anforderungen passt.
Erfahren Sie mehr:
Kontinuierliche Leistungsoptimierung
Zur proaktiven Leistungsoptimierung gehört die Implementierung von Maßnahmen, um die Leistung des Workloads zu verbessern und zu steigern, bevor Probleme auftreten. Zu den proaktiven Maßnahmen gehören die Identifizierung potenzieller Engpässe, die Überwachung von Leistungskennzahlen und die Implementierung von Optimierungen, um sicherzustellen, dass der Workload effizient ausgeführt wird und die Leistungsziele erfüllt.
Planen Sie regelmäßige Überprüfungen der Leistung des Agenten ein, um Ihren intelligenten Anwendungs-Workload kontinuierlich zu verbessern:
| Leistungsindikator | Definition |
|---|---|
| Lösungsquote | Prozentsatz der Benutzeranfragen, die der Agent erfolgreich löst, ohne dass eine Eskalation an einen Kundenservicemitarbeitenden erforderlich war. |
| Kundenbindungsrate | Prozentsatz der gesamten interaktiven Sitzungen. Eine Sitzung gilt als interagiert, wenn ein Benutzer auf sinnvolle Weise mit dem Agent interagiert, z. B. durch Auslösen eines nicht systembezogenen Themas, Eskalieren der Sitzung oder Aufrufen eines Fallbackthemas. |
| Abbruchsquote | Prozentsatz der interaktiven Sitzungen, die ohne eine Lösung oder Eskalation enden. Im Wesentlichen wird gemessen, wie oft Benutzer den Agent verlassen oder die Interaktion mit ihm beenden, bevor das Problem gelöst oder an einen Vertreter eskaliert wird. |
| Eskalationsrate | Der Prozentsatz der aktiven Sitzungen für das Thema, die an einen Vertreter eskaliert wurden. Diese Metrik ist der Schlüssel zum Verständnis, wie oft der Agent nicht in der Lage ist, Benutzeranfragen selbst zu lösen und menschliches Eingreifen erfordert. |
| Nicht erkannte Äußerungen | Tritt auf, wenn das Verständnis natürlicher Sprache (NLU) Modell des Agents eine Benutzereingabe keiner vordefinierten Absicht oder keinem vordefinierten Thema zuordnen kann. Das System ist nicht in der Lage, die Absicht des Benutzenden anhand der bereitgestellten Eingaben zu bestimmen. |
| CSAT | Kundenzufriedenheit. |
| Themen mit niedriger Lösung | Bezieht sich auf Gesprächsthemen, bei denen Benutzeranfragen häufig nicht effektiv gelöst werden können. Diese Themen führen oft zu Unzufriedenheit der Benutzenden, zum Abbruch oder zur Eskalation an einen Mitarbeitenden. |
Diese Überprüfung hilft bei der Priorisierung des Rückstands von Agenten-Updates. Wenn beispielsweise häufig unbekannte Äußerungen an einen Kundendienstmitarbeiter eskaliert werden, sollten Sie die Gelegenheit nutzen, um die Abwehr zu verbessern. Analysieren Sie Benutzermuster, die Fallbacks und nicht erkannte Äußerungen auslösen und trainieren Sie entweder vorhandene Themen oder erstellen Sie neue, um die Agentensoftware so auszustatten, dass sie besser auf die Bedürfnisse der Benutzer eingehen können.
Erfahren Sie mehr: