Automatische Protokollierung in Microsoft Fabric
Synapse Data Science in Microsoft Fabric umfasst automatisches Protokollieren, wodurch die Menge an Code, die zum automatischen Erfassen der Parameter, Metriken und Elemente eines maschinellen Lernmodells während des Trainings erforderlich ist, erheblich reduziert wird. In diesem Artikel wird das Autologging für Synapse Data Science in Microsoft Fabric beschrieben.
Die automatische Protokollierung erweitert die MLflow-Nachverfolgungsfunktionen und ist eng mit Synapse Data Science in Microsoft Fabric verzahnt. Die automatische Protokollierung kann verschiedene Metriken erfassen, einschließlich Genauigkeit, Verlust, F1-Score und benutzerdefinierter Metriken, die Sie definieren. Mithilfe von Autologging können Entwickler und Data Scientists die Leistung verschiedener Modelle und Experimente ohne manuelle Nachverfolgung einfach verfolgen und vergleichen.
Unterstützte Frameworks
Autologging unterstützt eine breite Palette von Machine Learning Frameworks, einschließlich TensorFlow, PyTorch, Scikit-learn und XGBoost. Weitere Informationen zu den frameworkspezifischen Eigenschaften, die von der automatischen Protokollierung erfasst werden, finden Sie in der MLflow-Dokumentation.
Konfiguration
Die automatische Protokollierung erfasst automatisch die Werte von Eingabeparametern, Ausgabemetriken und Ausgabeelementen eines Machine Learning-Modells, während es trainiert wird. Diese Informationen werden in Ihrem Microsoft Fabric-Arbeitsbereich protokolliert, in dem Sie mithilfe der MLflow-APIs oder der entsprechenden Experiment- und Modellelemente in Ihrem Microsoft Fabric-Arbeitsbereich darauf zugreifen und visualisieren können.
Wenn Sie ein Synapse Data Science-Notebook starten, ruft Microsoft Fabric mlflow.autolog() auf, um die Nachverfolgung sofort zu aktivieren und die entsprechenden Abhängigkeiten zu laden. Während Sie Modelle in Ihrem Notizbuch trainieren, verfolgt MLflow diese Modellinformationen automatisch.
Die Konfiguration erfolgt automatisch hinter den Kulissen, wenn Sie import mlflowausführen. Standardkonfiguration für den Notebook-Hook mlflow.autolog():
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
Anpassung
Zum Anpassen des Protokollierungsverhaltens können Sie die mlflow.autolog() Konfiguration verwenden. Diese Konfiguration stellt Parameter bereit, um die Modellprotokollierung zu aktivieren, Eingabebeispiele zu sammeln, Warnungen zu konfigurieren oder die Protokollierung für hinzugefügte Inhalte zu aktivieren, die Sie angeben.
Nachverfolgen weiterer Metriken, Parameter und Eigenschaften
Aktualisieren Sie für Ausführungen, die mit MLflow erstellt wurden, die MLflow-Autoprotokollierungskonfiguration, damit zusätzliche Metriken, Parameter, Dateien und Metadaten wie folgt nachverfolgt werden:
Aktualisieren Sie den Aufruf von mlflow.autolog(), um
exclusive=Falsefestzulegen.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )Verwenden Sie die MLflow-Nachverfolgungs-APIs, um zusätzliche Parameter und Metriken zu protokollieren. Mit dem folgenden Beispielcode können Sie ihre benutzerdefinierten Metriken und Parameter zusammen mit zusätzlichen Eigenschaften protokollieren.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Automatisches Anmelden von Microsoft Fabric deaktivieren
Sie können die automatische Protokollierung von Microsoft Fabric für eine bestimmte Notizbuchsitzung deaktivieren. Sie können die automatische Protokollierung für alle Notebooks auch mithilfe der Arbeitsbereichseinstellung deaktivieren.
Anmerkung
Wenn die automatische Protokollierung deaktiviert ist, müssen Sie Ihre
Deaktivieren der automatischen Protokollierung für eine Notebook-Sitzung
Um die automatische Protokollierung in Microsoft Fabric für eine bestimmte Notebook-Sitzung zu deaktivieren, rufen Sie mlflow.autolog() auf, und legen Sie disable=True fest.
import mlflow
mlflow.autolog(disable=True)
Automatisches Logging für alle Notizbücher und Sitzungen deaktivieren
Arbeitsbereichsadministratoren können die automatische Anmeldung von Microsoft Fabric für alle Notizbücher und Sitzungen in ihrem Arbeitsbereich mithilfe der Arbeitsbereichseinstellungen aktivieren oder deaktivieren. So aktivieren oder deaktivieren Sie Synapse Data Science Autologging:
Wählen Sie in Ihrem Arbeitsbereich Arbeitsbereichseinstellungen aus.
Erweitern Sie unter Arbeitsbereichseinstellungen auf der linken Navigationsleiste die Option Datentechnik/Data Science, und wählen Sie Spark-Einstellungen aus.
Wählen Sie unter Spark-Einstellungen die Registerkarte Automatisches Protokoll aus.
Legen Sie Machine Learning-Experimente und -Modelle automatisch nachverfolgen auf Ein oder Aus fest.
Wählen Sie Speichern aus.
