Guia de migração do Deep Learning Pipelines
Importante
Esta documentação foi desativada e pode não ser atualizada. Os produtos, serviços ou tecnologias mencionados neste conteúdo não são mais suportados. Veja IA e aprendizado de máquina no Databricks.
Esta página inclui dicas para migrar do pacote de código aberto Deep Learning Pipelines que foi incluído no Databricks Runtime 6.6 ML e abaixo. Partes da biblioteca sparkdl Deep Learning Pipelines foram removidas no Databricks Runtime 7.0 ML (EoS), especificamente, os Transformers e Estimadores usados nos pipelines Apache Spark ML.
Esta página não é um recurso para obter informações gerais sobre pipelines de aprendizagem profunda no Azure Databricks.
Ler imagens
O pacote Deep Learning Pipelines inclui um leitor sparkdl.image.imageIOde imagens, que foi removido no Databricks Runtime 7.0 ML (EoS).
Em vez disso, use a fonte de dados de imagem ou a fonte de dados de arquivo binário do Apache Spark. Muitos dos blocos de anotações de exemplo em Carregar dados para aprendizado de máquina e aprendizado profundo mostram casos de uso dessas duas fontes de dados.
Transferir aprendizagem
O pacote Deep Learning Pipelines inclui um Spark ML Transformer sparkdl.DeepImageFeaturizer para facilitar a aprendizagem de transferência com modelos de aprendizagem profunda.
DeepImageFeaturizerfoi removido no Databricks Runtime 7.0 ML (EoS).
Em vez disso, use pandas UDFs para executar a featurização com modelos de aprendizagem profunda. Os pandas UDFs e a sua variante mais recente Scalar Iterator pandas UDFs oferecem APIs mais flexíveis, suportam mais bibliotecas de aprendizagem profunda e proporcionam um melhor desempenho.
Veja Featurization for transfer learning para exemplos de aprendizagem de transferência com pandas UDFs.
Ajuste distribuído de hiperparâmetros
O pacote Deep Learning Pipelines inclui um Spark ML Estimator sparkdl.KerasImageFileEstimator para ajustar hiperparâmetros usando utilitários de ajuste Spark ML.
KerasImageFileEstimatorfoi removido no Databricks Runtime 7.0 ML (EoS).
Em vez disso, use o Hyperopt para distribuir o ajuste de hiperparâmetros para modelos de aprendizado profundo.
Inferência distribuída
O pacote Deep Learning Pipelines inclui vários Transformadores Spark ML para distribuição de inferência, todos os quais foram removidos no Databricks Runtime 7.0 ML (EoS):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Em vez disso, use pandas UDFs para executar inferência em Spark DataFrames, seguindo os exemplos em Implantar modelos para inferência e previsão em lote.