Migratiehandleiding voor Deep Learning-pijplijnen
Belangrijk
Deze documentatie is buiten gebruik gesteld en wordt mogelijk niet bijgewerkt. De producten, services of technologieën die in deze inhoud worden genoemd, worden niet meer ondersteund. Zie AI en machine learning in Databricks.
Deze pagina bevat tips voor het migreren van het open source Deep Learning Pipelines-pakket dat is opgenomen in Databricks Runtime 6.6 ML en hieronder. Onderdelen van de Deep Learning Pipelines-bibliotheek sparkdl zijn verwijderd in Databricks Runtime 7.0 ML (EoS), met name de transformatoren en schattingen die worden gebruikt in Apache Spark ML-pijplijnen.
Deze pagina is geen resource voor algemene informatie over deep learning-pijplijnen in Azure Databricks.
Afbeeldingen lezen
Het Deep Learning Pipelines-pakket bevat een afbeeldingslezer sparkdl.image.imageIO, die is verwijderd in Databricks Runtime 7.0 ML (EoS).
Gebruik in plaats daarvan de gegevensbron van de afbeelding of de binaire bestandsgegevensbron van Apache Spark. Veel van de voorbeeldnotebooks in Gegevens laden voor machine learning en deep learning tonen gebruiksvoorbeelden van deze twee gegevensbronnen.
Learning overdragen
Het Pakket Deep Learning Pipelines bevat een Spark ML-transformatieprogramma sparkdl.DeepImageFeaturizer voor het faciliteren van overdracht met Deep Learning-modellen. DeepImageFeaturizer is verwijderd in Databricks Runtime 7.0 ML (EoS).
Gebruik in plaats daarvan pandas UDF's om featurization uit te voeren met deep learning-modellen. pandas UDF's en hun nieuwere variant Scalar Iterator pandas UDF's, bieden flexibelere API's, ondersteunen meer deep learning-bibliotheken en bieden betere prestaties.
Zie Featurization voor overdrachtsleer voor voorbeelden van overdrachtsleer met pandas UDF's.
Gedistribueerde hyperparameterafstemming
Het pakket Deep Learning-pijplijnen bevat een Spark ML-estimator sparkdl.KerasImageFileEstimator voor het afstemmen van hyperparameters met behulp van spark ML-afstemmingshulpprogramma's. KerasImageFileEstimator is verwijderd in Databricks Runtime 7.0 ML (EoS).
Gebruik in plaats daarvan Hyperopt om hyperparameterafstemming te distribueren voor deep learning-modellen.
Gedistribueerde deductie
Het Deep Learning Pipelines-pakket bevat verschillende Spark ML-transformatieprogramma's voor het distribueren van deductie, die allemaal zijn verwijderd in Databricks Runtime 7.0 ML (EoS):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Gebruik in plaats daarvan pandas UDF's om deductie uit te voeren op Spark DataFrames, volgens de voorbeelden in Modellen implementeren voor batchdeductie en voorspelling.
Modellen implementeren als SQL UDF's
Het Pakket Deep Learning Pipelines bevat een hulpprogramma sparkdl.udf.keras_image_model.registerKerasImageUDF voor het implementeren van een Deep Learning-model als een UDF die kan worden aangeroepen vanuit Spark SQL. registerKerasImageUDF is verwijderd in Databricks Runtime 7.0 ML (EoS).
Gebruik in plaats daarvan MLflow om het model als UDF te exporteren, volgens het voorbeeld in de implementatie van scikit-learn-modellen in Azure ML.