Deep Learning-Pipelines-Migrationshandbuch
Wichtig
Diese Dokumentation wurde eingestellt und wird unter Umständen nicht aktualisiert. Die in diesem Inhalt erwähnten Produkte, Dienste oder Technologien werden nicht mehr unterstützt. Siehe KI und Machine Learning in Databricks.
Auf dieser Seite finden Sie Tipps zur Migration des Open-Source-Pakets Deep Learning Pipelines, das in Databricks Runtime 6.6 ML und niedriger enthalten ist. Teile der Deep Learning Pipelines-Bibliothek sparkdl wurden in Databricks Runtime 7.0 ML (EoS) entfernt, insbesondere die Transformer und Schätzer, die in Apache Spark-ML-Pipelines verwendet werden.
Diese Seite ist nicht als Ressource für allgemeine Informationen zu Deep-Learning-Pipelines in Azure Databricks vorgesehen.
Bilder lesen
Das Paket „Deep Learning Pipelines“ enthält den Imagereader sparkdl.image.imageIO, der in Databricks Runtime 7.0 ML (EoS) entfernt wurde.
Verwenden Sie stattdessen die Bilddatenquelle oder Binärdateidatenquelle aus Apache Spark. Viele der Beispielnotebooks unter Laden von Daten für maschinelles Lernen und Deep Learning veranschaulichen Anwendungsfälle dieser beiden Datenquellen.
Transferlernen
Das Paket „Deep Learning Pipelines“ enthält den Spark-ML-Transformer sparkdl.DeepImageFeaturizer, um den Lerntransfer mit Deep-Learning-Modellen zu vereinfachen. DeepImageFeaturizer wurde in Databricks Runtime 7.0 ML (EoS) entfernt.
Verwenden Sie stattdessen Pandas-UDFs, um die Featurisierung mit Deep-Learning-Modellen durchzuführen. Pandas-UDFs und deren neuere Variante, Pandas-UDFs mit Skalariteratoren, bieten flexiblere APIs, unterstützen mehr Deep-Learning-Bibliotheken und ermöglichen eine bessere Leistung.
Unter Featurisierung für den Lerntransfer finden Sie Beispiele für den Lerntransfer mit Pandas-UDFs.
Verteilte Hyperparameteroptimierung
Das Paket „Deep Learning Pipelines“ enthält den Spark-ML-Schätzer sparkdl.KerasImageFileEstimator für die Hyperparameteroptimierung mithilfe von Spark-ML-Optimierungshilfsprogrammen. KerasImageFileEstimator wurde in Databricks Runtime 7.0 ML (EoS) entfernt.
Verwenden Sie stattdessen Hyperopt, um die Hyperparameteroptimierung für Deep-Learning-Modelle zu verteilen.
Verteilter Rückschluss
Das Paket „Deep Learning Pipelines“ enthält mehrere Spark-ML-Transformer für die Verteilung von Rückschlüssen, die alle in Databricks Runtime 7.0 ML (EoS) entfernt wurden:
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Verwenden Sie stattdessen Pandas-UDFs, um Rückschlüsse auf Spark-DataFrames auszuführen, während Sie den Beispielen unter Modelle für Rückschluss und Vorhersage bereitstellen folgen.