Measures im Kreuzvalidierungsbericht
Während der Kreuzvalidierung unterteilt Analysis Services die Daten in einer Miningstruktur in mehrere Querschnitte und testet dann iterativ die Struktur und alle zugehörigen Miningmodelle. Auf Grundlage dieser Analyse wird eine Reihe standardmäßiger Genauigkeitsmeasures für die Struktur und jedes Modell ausgegeben.
Der Bericht enthält einige grundlegende Informationen über die Anzahl der Folds in den Daten sowie die Menge der Daten in jeder Aufteilung sowie einen Satz allgemeiner Metriken zur Beschreibung der Datenverteilung. Sie können die Zuverlässigkeit der Struktur oder des Modells bewerten, indem Sie die allgemeinen Metriken für jeden Querschnitt vergleichen.
Analysis Services zeigt auch eine Reihe detaillierter Measures für Miningmodelle an. Diese Measures hängen vom Modelltyp und dem Typ des analysierten Attributs ab, beispielsweise davon, ob es sich um ein diskretes oder kontinuierliches Attribut handelt.
Dieser Abschnitt enthält eine Liste der im Kreuzvalidierungsbericht aufgeführten Measures sowie Erläuterungen zu deren Bedeutung. Ausführliche Informationen zur Berechnung der einzelnen Measures finden Sie unter Kreuzvalidierungsformeln.
Liste der Measures im Kreuzvalidierungsbericht
In der folgenden Tabelle sind die Measures aufgelistet, die im Kreuzvalidierungsbericht angezeigt werden. Die Measures werden nach dem Testtypgruppiert, der in der linken Spalte der folgenden Tabelle angegeben ist. In der rechten Spalte ist der Name des Measures, so wie im Bericht angezeigt, und eine kurze Erläuterung zu dessen Bedeutung enthalten.
| Testtyp | Measures und Beschreibungen |
|---|---|
| Clustering | Measures, die für Clusteringmodelle gelten: Fallwahrscheinlichkeit: Dieses Measure gibt in der Regel an, wie wahrscheinlich es ist, dass ein Fall zu einem bestimmten Cluster gehört. Bei der Kreuzvalidierung werden die Ergebnisse addiert und dann durch die Anzahl der Fälle dividiert, sodass das Ergebnis in diesem Fall einer durchschnittlichen Fallwahrscheinlichkeit entspricht. |
| Klassifizierung | Measures, die für Klassifizierungsmodelle gelten: True Positive/ True Negativ/ Falsch positiv/ Falsch positiv: Anzahl der Zeilen oder Werte in der Partition, bei der der vorhergesagte Zustand mit dem Zielzustand übereinstimmt und die Vorhersagewahrscheinlichkeit größer als der angegebene Schwellenwert ist. Fälle mit fehlenden Werten für das Zielattribute werden ausgeschlossen, was bedeutet, dass sich die Anzahl aller Werte möglicherweise nicht addieren. |
| Pass/Fail: Anzahl der Zeilen oder Werte in der Partition, in der der vorhergesagte Zustand mit dem Zielzustand übereinstimmt und der Vorhersagewahrscheinlichkeitswert größer als 0 ist. | |
| Wahrscheinlichkeit | Wahrscheinlichkeitskennzahlen gelten für mehrere Modelltypen: Lift: Das Verhältnis der tatsächlichen Vorhersagewahrscheinlichkeit zur Marginalwahrscheinlichkeit in den Testfällen. Zeilen mit fehlenden Werten für das Zielattribut werden ausgeschlossen. Dieses Measure gibt normalerweise den Grad an, um den sich die Wahrscheinlichkeit des Zielergebnisses verbessert, wenn das Modell verwendet wird. Root Mean Square Error: Quadratwurzel des mittleren Fehlers für alle Partitionsfälle, dividiert durch die Anzahl der Fälle in der Partition, ausgenommen Zeilen mit fehlenden Werten für das Zielsattribut. RMSE ist eine bekannte Schätzfunktion für Vorhersagemodelle. Im Ergebnis werden die Restwerte für jeden Fall gemittelt, wodurch sich ein einzelner Indikator für den Modellfehler ergibt. Protokollbewertung: Der Logarithmus der tatsächlichen Wahrscheinlichkeit für jeden Fall, summiert und dann dividiert durch die Anzahl der Zeilen im Eingabedataset, ausgenommen Zeilen mit fehlenden Werten für das Zielsattribut. Da die Wahrscheinlichkeit als Dezimalbruch dargestellt wird, sind logarithmische Ergebnisse immer negative Zahlen. Eine Zahl, die näher bei 0 liegt, ist ein besseres Ergebnis. Während Rohergebnisse sehr unregelmäßige oder verfälschte Verteilungen aufweisen können, ist ein logarithmisches Ergebnis einem Prozentwert ähnlich. |
| Schätzung | Measures, die nur für Schätzmodelle gelten, die ein kontinuierliches numerisches Attribut vorhersagen: Mittlerer Quadratfehler: Durchschnittlicher Fehler, wenn der vorhergesagte Wert mit dem tatsächlichen Wert verglichen wird. RMSE ist eine bekannte Schätzfunktion für Vorhersagemodelle. Im Ergebnis werden die Restwerte für jeden Fall gemittelt, wodurch sich ein einzelner Indikator für den Modellfehler ergibt. Mittlerer absoluter Fehler: Durchschnittlicher Fehler, wenn vorhergesagte Werte mit tatsächlichen Werten verglichen werden, berechnet als Mittelwert der absoluten Summe der Fehler. Mithilfe des mittleren absoluten Fehlers lässt sich einfacher verdeutlichen, wie nahe die Vorhersagen und die Istwerte insgesamt beieinander liegen. Ein kleineres Ergebnis bedeutet, dass die Vorhersagen genauer waren. Protokollbewertung: Der Logarithmus der tatsächlichen Wahrscheinlichkeit für jeden Fall, summiert und dann dividiert durch die Anzahl der Zeilen im Eingabedataset, ausgenommen Zeilen mit fehlenden Werten für das Zielsattribut. Da die Wahrscheinlichkeit als Dezimalbruch dargestellt wird, sind logarithmische Ergebnisse immer negative Zahlen. Eine Zahl, die näher bei 0 liegt, ist ein besseres Ergebnis. Während Rohergebnisse sehr unregelmäßige oder verfälschte Verteilungen aufweisen können, ist ein logarithmisches Ergebnis einem Prozentwert ähnlich. |
| Aggregate | Aggregierte Measures geben einen Hinweis auf die Varianz in den Ergebnissen für jede Partition: Mittelwert: Durchschnitt der Partitionswerte für ein bestimmtes Measure. Standardabweichung: Durchschnitt der Abweichung vom Mittelwert für ein bestimmtes Measure über alle Partitionen in einem Modell hinweg. Bei der Kreuzvalidierung impliziert ein höherer Wert für dieses Ergebnis eine erhebliche Variation zwischen den Folds. |