Verwenden des Dashboards zum Verbessern Ihrer App
Wichtig
LUIS wird am 1. Oktober 2025 eingestellt, und ab dem 1. April 2023 können Sie keine neuen LUIS-Ressourcen erstellen. Es wird die Migration Ihrer LUIS-Anwendungen zu Conversational Language Understanding empfohlen, um fortgesetzte Produktunterstützung und mehrsprachige Funktionen zu erhalten.
Finden und beheben Sie Probleme mit Absichten Ihrer trainierten App beim Verwenden von Beispieläußerungen. Auf dem Dashboard werden allgemeine App-Informationen angezeigt und die wichtigsten Absichten aufgeführt, die verbessert werden sollten.
Das Überprüfen von Dashboardanalysen ist ein iterativer Prozess, der immer dann erforderlich ist, wenn Sie Ihr Modell ändern und verbessern.
Die auf dieser Seite beschriebenen Analysen sind nicht für Apps relevant, deren Absichten keine Beispieläußerungen enthalten. Diese Apps werden auch als ausschließlich musterbasiert bezeichnet.
Welche Probleme lassen sich über das Dashboard beheben?
Mit dem Dashboard können Sie die folgenden drei Probleme behandeln:
| Problem | Diagrammfarbe | Erklärung |
|---|---|---|
| Unausgeglichene Daten | - | Dieses Problem tritt auf, wenn die Menge der Beispieläußerungen signifikant variiert. Alle Absichten mit Ausnahme von „None“ (Keine) müssen ungefähr die gleiche Anzahl von Beispieläußerungen aufweisen. Nur 10 bis 15 % der Gesamtzahl der Äußerungen sollten in der App verwendet werden. Wenn die Daten unausgeglichen sind, die Genauigkeit der Absicht aber über einem bestimmten Schwellenwert liegt, wird eine solche Unausgeglichenheit nicht als Problem gemeldet. Behandeln Sie zuerst dieses Problem, da es möglicherweise die Grundursache für andere Probleme ist. |
| Unklare Vorhersagen | Orange | Dieses Problem tritt auf, wenn sich die Absicht mit der höchsten Bewertung und die darauffolgende Absicht in ihrem Wert nur minimal unterscheiden, sodass sich die Rangfolge beim nächsten Training ändert. Dies kann auf eine negative Stichprobenentnahme (Negative Sampling) oder auf weitere Beispieläußerungen zurückzuführen sein, die der Absicht hinzugefügt wurden. |
| Falsche Vorhersagen | Red | Dieses Problem tritt auf, wenn eine Beispieläußerung nicht für die Absicht mit der Bezeichnung (also für die Absicht, in der die Äußerung enthalten ist) vorhergesagt wird. |
Richtige Vorhersagen werden blau dargestellt.
Auf dem Dashboard werden diese Probleme aufgeführt. Dort wird auch angezeigt, welche Absichten betroffen sind, und es werden Vorschläge zur Verbesserung der App gemacht.
Status vor dem Trainieren der App
Das Dashboard enthält vor dem Trainieren der App keine Verbesserungsvorschläge. Diese werden erst nach dem Training angezeigt.
Überprüfen des Veröffentlichungsstatus
Die Karte Publishing status (Veröffentlichungsstatus) enthält Informationen zur letzten Veröffentlichung der aktiven Version.
Überprüfen Sie, ob die aktive Version diejenige ist, die Sie verbessern möchten.
Hier werden außerdem die externen Dienste und veröffentlichten Regionen sowie die aggregierte Endpunkttrefferanzahl angezeigt.
Überprüfen der Trainingsauswertung
Die Karte Training evaluation (Trainingsauswertung) enthält die aggregierte Zusammenfassung für die Gesamtgenauigkeit Ihrer App und schlüsselt diese nach Bereichen auf. Die Bewertung gibt Aufschluss über die Qualität der Absicht.
Im Diagramm werden die richtig vorhergesagten Absichten und die Problembereiche mit unterschiedlichen Farben dargestellt. Wenn Sie die App mithilfe der Vorschläge verbessern, steigt die Bewertung.
Die wichtigsten Verbesserungsvorschläge für Ihre App sind getrennt nach Problemtyp aufgeführt. Wenn Sie stattdessen Probleme mit einzelnen Absichten behandeln möchten, können Sie dazu die Karte Intents with errors (Fehlerhafte Absichten) unten auf der Seite verwenden.
Jeder Problembereich enthält Absichten, die verbessert werden müssen. Wenn Sie den Namen der Absicht auswählen, wird die Seite Intent (Absicht) mit einem Filter für die Äußerungen geöffnet. Mithilfe dieses Filters können Sie sich auf die Absichten konzentrieren, die das Problem verursachen.
Vergleichen von Änderungen zwischen Versionen
Erstellen Sie eine neue Version, bevor Sie Änderungen an der App vornehmen. Nehmen Sie in der neuen Version die vorgeschlagenen Änderungen an den Beispieläußerungen der Absicht vor, und trainieren Sie die App dann erneut. Verwenden Sie auf der Karte Training evaluation (Trainingsauswertung) der Dashboardseite die Option Show change from trained version (Änderungen gegenüber Trainingsversion anzeigen), um die Änderungen zu vergleichen.
Verbessern einer Version durch Hinzufügen oder Bearbeiten von Beispieläußerungen und durch erneutes Trainieren
Sie verbessern Ihre App hauptsächlich dadurch, dass Sie Beispieläußerungen hinzufügen oder bearbeiten und anschließend die App erneut trainieren. Die neuen oder geänderten Äußerungen müssen den Richtlinien für verschiedenartige Äußerungen entsprechen.
Beispieläußerungen sollten von einer Person hinzugefügt werden, die folgende Voraussetzungen erfüllt:
- Sie muss genau verstehen, welche Äußerungen in den unterschiedlichen Absichten verwendet werden.
- Sie muss wissen, unter welchen Umständen Äußerungen in einer Absicht fälschlicherweise einer anderen Absicht zugeordnet werden.
- Sie kann entscheiden, ob zwei Absichten, die häufig miteinander verwechselt werden, in einer einzelnen zusammengeführt werden sollten. Wenn dies der Fall ist, müssen die unterschiedlichen Daten mit Entitäten extrahiert werden.
Muster und Begriffslisten
Auf der Analyseseite wird nicht angegeben, wann Muster oder Begriffslisten verwendet werden sollten. Wenn Sie diese hinzufügen, können zwar falsche oder unklare Vorhersagen korrigiert werden, doch das Problem unausgeglichener Daten wird auf diese Weise nicht behoben.
Überprüfen unausgeglichener Daten
Behandeln Sie zuerst dieses Problem, da es möglicherweise die Grundursache für andere Probleme ist.
Die Liste data imbalance (Unausgeglichene Daten) enthält Absichten, für die weitere Äußerungen erforderlich sind, damit das Ungleichgewicht korrigiert werden kann.
So beheben Sie dieses Problem:
- Fügen Sie der Absicht mehr Äußerungen hinzu, und führen Sie den Trainingsvorgang erneut aus.
Falls nicht anders auf dem Dashboard angegeben, sollten Sie der Absicht „None“ (Keine) keine Äußerungen hinzufügen.
Tipp
Auf der Seite finden Sie im dritten Bereich Utterances per intent (Äußerungen pro Absicht) die Einstellung Utterances (number) (Äußerungen (Anzahl)). Hier erhalten Sie einen Überblick darüber, für welche Absichten weitere Äußerungen erforderlich sind.
Überprüfen falscher Vorhersagen
Die Liste incorrect prediction (Falsche Vorhersage) enthält Absichten mit Äußerungen, die zwar als Beispiele für eine bestimmte Absicht verwendet, aber für andere Absichten vorhergesagt werden.
So beheben Sie dieses Problem:
- Bearbeiten Sie die Äußerungen so, dass diese besser auf die Absicht abgestimmt sind, und führen Sie den Trainingsvorgang anschließend erneut aus.
- Kombinieren Sie Absichten, wenn sich Äußerungen zu ähnlich sind, und führen Sie den Trainingsvorgang anschließend erneut aus.
Überprüfen von unklaren Vorhersagen
Die Liste unclear prediction (Unklare Vorhersage) enthält Absichten mit Äußerungen, deren Vorhersagebewertungen sich nicht ausreichend von denen der nachfolgenden Absichten unterscheiden. Die Absicht mit der höchsten Bewertung für die Äußerung kann sich daher beim nächsten Training aufgrund negativer Stichprobenentnahmen ändern.
So beheben Sie dieses Problem:
- Bearbeiten Sie die Äußerungen so, dass diese besser auf die Absicht abgestimmt sind, und führen Sie den Trainingsvorgang anschließend erneut aus.
- Kombinieren Sie Absichten, wenn sich Äußerungen zu ähnlich sind, und führen Sie den Trainingsvorgang anschließend erneut aus.
Utterances per intent (Äußerungen pro Absicht)
Auf dieser Karte wird der allgemeine Integritätszustand der App für die jeweiligen Absichten angezeigt. Behalten Sie diese Karte auch nach dem Verbessern von Absichten und dem erneuten Training weiterhin im Blick, um Probleme zu ermitteln.
Im folgenden Diagramm ist eine ausgeglichene App zu sehen, für die fast keine zu behebenden Probleme vorliegen.
Im folgenden Diagramm ist eine unzureichend ausgeglichene App zu sehen, für die viele zu behebende Probleme vorliegen.
Zeigen Sie auf eine Säule, um sich Informationen zur zugehörigen Absicht anzusehen.
Verwenden Sie das Feature Sortieren nach, um die Absichten nach Problemtyp anzuordnen. So können Sie sich auf die relevantesten Absichten mit genau diesem Problem konzentrieren.
Fehlerhafte Absichten
Auf dieser Karte können Sie Probleme mit einer bestimmten Absicht überprüfen. In der Standardansicht werden die problematischsten Absichten aufgeführt, auf die Sie sich konzentrieren sollten.
Im Ringdiagramm ganz oben sind die Probleme mit einer Absicht für drei Problemtypen aufgeführt. Wenn ein Problem eines bestimmten Typs auftritt, werden für diesen weiter unten ein Diagramm und sehr ähnliche Absichten angezeigt.
Filtern von Absichten nach Problem und Prozentwert
In diesem Abschnitt der Karte finden Sie Beispieläußerungen, deren Werte unter oder über dem Fehlerschwellenwert liegen. Im Idealfall sollten richtige Vorhersagen signifikant sein. Der Prozentsatz hierfür ergibt sich aus Geschäfts- und Kundeninteressen.
Sie können die Schwellenwerte in Prozent festlegen, die für Ihr Unternehmen geeignet sind.
Mit dem Filter können Sie Absichten mit einem bestimmten Problem suchen:
| Filtern | Vorgeschlagener Prozentsatz | Zweck |
|---|---|---|
| Most problematic intents (Problematischste Absichten) | - | Verbessern Sie zuerst die Äußerungen in dieser Absicht. Dieser Vorgang hat auf die Verbesserung der App größere Auswirkungen als andere Fehlerbehebungen. |
| Correct predictions below (Falsche Vorhersagen unter) | 60% | Dies ist der Prozentsatz der Äußerungen in der ausgewählten Absicht, die zwar richtig sind, aber deren Konfidenzwert unter dem Schwellenwert liegt. |
| Unclear predictions above (Unklare Vorhersagen über) | 15 % | Dies ist der Prozentsatz der Äußerungen in der ausgewählten Absicht, die fälschlicherweise der ähnlichsten Absicht zugeordnet werden. |
| Incorrect predictions above (Falsche Vorhersagen über) | 15 % | Dies ist der Prozentsatz der Äußerungen in der ausgewählten Absicht, die falsch vorhergesagt werden. |
Schwellenwert für richtige Vorhersagen
Sie selbst entscheiden, welcher Konfidenzwert für Vorhersagen akzeptabel sind. Zu Beginn der App-Entwicklung liegt dieser Wert möglicherweise bei 60 %. Verwenden Sie Correct predictions below (Falsche Vorhersagen unter) mit einem Prozentsatz von 60 %, um Äußerungen in der ausgewählten Absicht zu finden, die verbessert werden müssen.
Schwellenwert für unklare oder falsche Vorhersagen
Mit diesen beiden Filtern können Sie Äußerungen in der ausgewählten Absicht finden, deren Werte über dem Schwellenwert liegen. Diese beiden Prozentsätze können als Fehlerquoten betrachtet werden. Wenn eine Fehlerhäufigkeit von 10 bis 15 % für Vorhersagen akzeptabel ist, legen Sie den Schwellenwert des Filters auf 15 % fest, um alle Äußerungen über diesem Wert zu finden.