Guia de migração de pipelines de aprendizado profundo
Importante
Esta documentação foi desativada e pode não estar atualizada. Não há mais suporte para os produtos, serviços ou tecnologias mencionados neste conteúdo. Confira IA e Machine Learning no Databricks.
Esta página inclui dicas para migrar do pacote de pipelines de aprendizado profundo de software livre incluído no Databricks Runtime 6.6 ML e abaixo. Algumas partes da biblioteca sparkdl de pipelines de Aprendizado Profundo foram removidas do Databricks Runtime 7.0 ML (EoS), especificamente, os transformadores e os avaliadores usados nos pipelines de ML do Apache Spark.
A página não se destina a ser um recurso para obter informações gerais sobre pipelines de aprendizado profundo no Azure Databricks.
Ler imagens
O pacote de pipelines de Aprendizado Profundo inclui um leitor de imagem sparkdl.image.imageIO, que foi removido do Databricks Runtime 7.0 ML (EoS).
Use a fonte de dados de imagem ou a fonte de dados de arquivo binário do Apache Spark. Muitos dos notebooks de exemplo em Carregar dados para aprendizado de máquina e aprendizado profundo mostram casos de uso dessas duas fontes de dados.
Aprendizado de transferência
O pacote de pipelines de aprendizado profundo inclui um transformador sparkdl.DeepImageFeaturizer de ML do Spark para facilitar a transferência de aprendizado com modelos de aprendizado profundo. DeepImageFeaturizer foi removido no Databricks Runtime 7.0 ML (EoS).
Use UDFs do Pandas para executar a definição de recursos com modelos de aprendizado profundo. As UDFs do Pandas e as novas UDFs variantes do Pandas de iterador escalar oferecem APIs mais flexíveis, dão suporte a mais bibliotecas de aprendizado profundo e proporcionam um desempenho melhor.
Confira Definição de recursos para transferência de aprendizado para ver exemplos de transferência de aprendizado com UDFs do Pandas.
Ajuste de hiperparâmetro distribuído
O pacote de pipelines de aprendizado profundo inclui um avaliador sparkdl.KerasImageFileEstimator de ML do Spark para ajustar hiperparâmetros usando utilitários de ajuste de ML do Spark. KerasImageFileEstimator foi removido no Databricks Runtime 7.0 ML (EoS).
Em vez disso, use Hyperopt para distribuir o ajuste de hiperparâmetro para modelos de aprendizado profundo.
Inferência distribuída
O pacote de pipelines de Aprendizado Profundo inclui vários transformadores de ML do Spark, para a distribuição de inferência, que foram removidos do Databricks Runtime 7.0 ML (EoS):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Use UDFs do Pandas para executar a inferência em DataFrames do Spark, seguindo os exemplos em Implantar modelos para inferência em lote e previsão.