Permutation Feature Importance (PFI)

Wichtig

Der Support für Machine Learning Studio (klassisch) endet am 31. August 2024. Es wird empfohlen, bis zu diesem Datum auf Azure Machine Learning umzustellen.

Ab dem 1. Dezember 2021 können Sie keine neuen Ressourcen in Machine Learning Studio (klassisch) mehr erstellen. Bis zum 31. August 2024 können Sie die vorhandenen Ressourcen in Machine Learning Studio (klassisch) weiterhin verwenden.

• Siehe Migrieren zu Azure Machine Learning
• Weitere Informationen zu Azure Machine Learning.

Die Dokumentation zu ML Studio (klassisch) wird nicht mehr fortgeführt und kann künftig nicht mehr aktualisiert werden.

Berechnet die Gewichtungsbewertungen der Permutationsfunktion von Merkmalsvariablen bei angegebenem trainierten Modell und einem Testdataset.

Kategorie: Funktionsauswahlmodule

Hinweis

Gilt nur für: Machine Learning Studio (klassisch)

Ähnliche Drag & Drop-Module sind im Azure Machine Learning-Designer verfügbar.

Modulübersicht

In diesem Artikel wird beschrieben, wie Sie das Permutation Feature Importance-Modul in Machine Learning Studio (klassisch) verwenden, um eine Reihe von Featurere wichtigkeitsbewertungen für Ihr Dataset zu berechnen. Sie können anhand dieser Bewertungen die besten Features zur Verwendung in einem Modell bestimmen.

In diesem Modul werden Featurewerte für jeweils eine Spalte zufällig neu angeordnet, und die Leistung des Modells wird vorher und nachher gemessen. Sie können hierbei eine der Standardmetriken zum Messen der Leistung auswählen.

Die vom Modul zurückgegebenen Bewertungen repräsentieren die Änderung in der Leistung eines trainierten Modells nach der Permutation. Bei wichtigen Features hat die Neuanordnung in der Regel eine größere Auswirkung und führt deshalb zu höheren Relevanzbewertungen.

Dieser Artikel bietet eine gute allgemeine Übersicht über die Wichtigkeit von Permutationsfeatures, ihre theoretische Grundlage und ihre Anwendungen im Machine Learning: Permutation feature importance

Verwenden des PFI-Moduls

Um einen Satz mit Featurebewertungen zu generieren, müssen Sie bereits über ein trainiertes Modell sowie ein Testdataset verfügen.

1. Fügen Sie Ihrem Experiment das Modul Permutation Feature Importance hinzu. Sie finden dieses Modul in der Kategorie Featureauswahl.

2. Verbinden Sie ein trainiertes Modul mit der linken Eingabe. Es muss sich bei dem Modell um ein Regressions- oder Klassifizierungsmodell handeln.

3. Verbinden Sie die rechte Eingabe vorzugsweise mit einem Dataset, das sich von demjenigen unterscheidet, das zum Trainieren des Modells verwendet wurde. Dieses Dataset wird zur Bewertung basierend auf dem trainierten Modell sowie zum Auswerten des Modells verwendet, nachdem Featurewerte geändert wurden.

4. Geben Sie für Zufälliger Ausgangswert einen Wert ein, der als Ausgangswert für die zufällige Anordnung verwendet werden soll. Wenn Sie den Wert 0 (den Standardwert) angeben, wird basierend auf der Systemzeit eine Zahl generiert.

   Ein Ausgangswert ist optional. Sie sollten jedoch einen Wert angeben, wenn Sie die Reproduzierbarkeit für die Ausführungen desselben Experiments wünschen.

5. Wählen Sie für Metrik zur Leistungsmessung eine einzelne Metrik aus, die zum Berechnen der Modellqualität nach Abschluss der Permutation verwendet werden soll.

   Machine Learning Studio (klassisch) unterstützt die folgenden Metriken, je nachdem, ob Sie ein Klassifizierungs- oder Regressionsmodell auswerten:

   • Klassifizierung

     Accuracy, Precision, Recall, Average Log Loss

   • Regression

     Precision, Recall, Mean Absolute Error , Root Mean Squared Error, Relative Absolute Error, Relative Squared Error, Coefficient of Determination

   Eine ausführlichere Beschreibung dieser Auswertungsmetriken und ihrer Berechnung finden Sie unter Auswerten.

6. Führen Sie das Experiment aus.

7. Das Modul gibt eine Liste mit Featurespalten und die zugehörigen Bewertungen aus, geordnet nach Bewertungen in absteigender Reihenfolge.

Beispiele

Sehen Sie sich diese Beispielexperimente im Azure KI-Katalog an:

• Permutation Feature Importance (Wichtigkeit von Permutation-Features): Veranschaulicht, wie dieses Modul verwendet wird, um Featurevariablen eines Datasets in der Reihenfolge der Permutation-Wichtigkeitsbewertungen zu bewerten.

• Verwenden des Permutation Feature Importance-Moduls: Veranschaulicht die Verwendung dieses Moduls in einem Webdienst.

Technische Hinweise

Dieser Abschnitt stellt Implementierungsdetails, Tipps und Antworten auf häufig gestellte Fragen bereit.

Wie kann dies mit anderen Methoden für die Featureauswahl verglichen werden?

Das PFI-Modul führt eine zufällige Änderung der Werte für jede Featurespalte (jeweils eine pro Vorgang) durch, anschließend wird das Modell ausgewertet.

Die über das PFI-Modul ausgegebenen Bewertungen unterscheiden sich häufig von denen, die Sie über die filterbasierte Featureauswahl erzielen, bei der Bewertungen vor der Erstellung eines Modells berechnet werden.

Dies liegt daran, dass mit dem PFI-Modul nicht die Zuordnung zwischen einem Feature und einem Zielwert gemessen, sondern stattdessen erfasst wird, wie stark sich jedes Feature auf die Vorhersagen des Modells auswirkt.

Erwartete Eingaben

Name	Type	BESCHREIBUNG
Trainiertes Modell	ILearner-Schnittstelle	Ein trainiertes Klassifikations- oder Regressionsmodell
Testdaten	Datentabelle	Testdataset für die Bewertung und das Auswerten eines Modells nach der Permutation der Merkmalswerte

Modulparameter

Name	Typ	Range	Optional	Standard	Beschreibung
Random seed (Zufälliger Ausgangswert)	Integer	>=0	Erforderlich	0	Ausgangswert für den Zufallszahlengenerator
Metrik für das Messen der Leistung	EvaluationMetricType	Aus Liste auswählen	Erforderlich	Klassifikation – Genauigkeit	Wählen Sie die Metrik aus, die beim Auswerten der Variabilität des Modells nach Permutationen verwendet werden soll.

Ausgaben

Name	Type	Beschreibung
Featurepriorität	Datentabelle	Ein Dataset, das die Ergebnisse für die Merkmalsgewichtung enthält, basierend auf der ausgewählten Metrik.

Ausnahmen

Ausnahme	Beschreibung
Fehler 0062	Eine Ausnahme tritt bei dem Versuch auf, zwei Modelle mit unterschiedlichen Learnertypen zu vergleichen.
Fehler 0024	Eine Ausnahme tritt auf, wenn das Dataset keine Bezeichnungsspalte enthält.
Fehler 0105	Wird ausgelöst, wenn eine Moduldefinitionsdatei einen nicht unterstützten Parametertyp definiert.
Fehler 0021	Eine Ausnahme tritt auf, wenn die Anzahl der Zeilen in einigen der an das Modul übergebenen Datasets zu klein ist.

Siehe auch

Featureauswahl
Filterbasierte Featureauswahl
Hauptkomponentenanalyse (Principal Component Analysis)