Automatize suas transformações de dados
Preparar dados para aprendizado de máquina é uma etapa necessária quando você deseja criar modelos eficazes. O Azure Databricks pode processar e preparar grandes conjuntos de dados de forma eficiente devido ao poder de computação do Spark.
Vamos explorar como cada etapa do fluxo de trabalho de aprendizado de máquina relacionada a dados pode ser executada no Azure Databricks.
Armazenar dados coletados no armazenamento do Azure
Quando você coleta dados de várias fontes, é melhor armazenar seus dados em uma solução de armazenamento como o Armazenamento de Blobs do Azure ou o Azure Data Lake.
Armazenar dados em uma solução de armazenamento do Azure em vez de diretamente no Azure Databricks oferece melhor escalabilidade, segurança aprimorada e integração com outros serviços do Azure.
As soluções de armazenamento do Azure fornecem um ambiente robusto e flexível para gerenciar grandes conjuntos de dados, garantindo que seus dados estejam prontamente disponíveis para processamento e análise.
Para gerenciar o acesso a todos os dados armazenados no armazenamento em nuvem, use o Unity Catalog. O Unity Catalog fornece uma solução de governança unificada para todos os ativos de dados, permitindo que você gerencie permissões e controles de acesso em todo o seu patrimônio de dados.
Gorjeta
Saiba mais sobre como se conectar ao armazenamento de objetos na nuvem usando o Unity Catalog
Explore e prepare os seus dados
Depois de se conectar aos seus dados, você deseja explorar os dados por meio da Análise Exploratória de Dados (EDA). Com base em suas descobertas, você prepara seus dados para lidar com dados ausentes, executar engenharia de recursos e fazer quaisquer outras transformações de dados que você acha que beneficiam o desempenho do modelo.
Para análise inicial, use blocos de anotações Databricks para explorar e entender os dados. Você pode usar o Spark SQL ou o PySpark para trabalhar com grandes conjuntos de dados, resumir os dados, verificar valores nulos e entender as distribuições de dados.
Automatize a engenharia de recursos no Azure Databricks
Ferramentas e bibliotecas automatizadas de engenharia de recursos, como Featuretools e AutoFeat, estão ganhando popularidade à medida que simplificam o processo de geração e seleção de recursos. Essas ferramentas usam algoritmos para criar automaticamente recursos a partir de dados brutos, avaliar sua importância e selecionar os mais relevantes para a modelagem. Essa abordagem economiza tempo e reduz a dependência da engenharia manual de recursos.
Automatize suas transformações de dados no Azure Databricks
Após a exploração, você pode optar por automatizar as transformações de dados configurando pipelines. Uma maneira de obter automação é configurando trabalhos no Azure Databricks para automatizar blocos de anotações e scripts. Os Trabalhos do Azure Databricks permitem-lhe agendar e executar os seus blocos de notas ou ficheiros JAR como trabalhos, permitindo-lhe automatizar os seus fluxos de trabalho de processamento de dados.
Para configurar um trabalho no Azure Databricks, siga estas etapas:
- Criar um trabalho: no espaço de trabalho Databricks, navegue até a guia trabalhos e selecione
Create job. Forneça um nome para seu trabalho e especifique o bloco de anotações ou arquivo JAR que deseja executar. - Configurar o trabalho: defina os parâmetros para o seu trabalho, como a configuração do cluster, o agendamento para executar o trabalho e quaisquer dependências. Você também pode especificar notificações por e-mail para atualizações de status do trabalho.
- Executar e monitorar o trabalho: Depois que o trabalho estiver configurado, você poderá executá-lo manualmente ou deixá-lo ser executado de acordo com o cronograma definido. Você pode monitorar o progresso do trabalho e exibir logs para solucionar quaisquer problemas.
Gorjeta
Saiba mais sobre como criar e executar trabalhos do Azure Databricks.
Como alternativa, você pode usar os serviços do Azure para criar pipelines de dados automatizados.
Automatize a integração de dados com o Azure Data Factory
O Azure Data Factory é uma ferramenta para criar e gerenciar pipelines de dados. Ele permite que você crie fluxos de trabalho orientados por dados para orquestrar a movimentação e a transformação de dados.
Para criar um pipeline de dados no Azure Data Factory, siga estas etapas:
- Criar um Data Factory: no portal do Azure, crie uma nova instância do Data Factory.
- Criar um pipeline: na interface do usuário do Data Factory, crie um novo pipeline e adicione atividades a ele. As atividades podem incluir movimentação de dados, transformação de dados e operações de fluxo de controle.
- Configurar atividades: defina os parâmetros para cada atividade, como os armazenamentos de dados de origem e destino, a lógica de transformação e quaisquer dependências.
- Agendar e monitorar: Programe o pipeline para ser executado em intervalos especificados e monitore sua execução. Você pode visualizar logs e configurar alertas para quaisquer problemas.
Gorjeta
Saiba mais sobre o Azure Data Factory.
Ao automatizar transformações de dados e fluxos de trabalho com o Azure Databricks Jobs ou o Azure Data Factory, você garante um processamento de dados consistente, tornando seus modelos de aprendizado de máquina mais eficientes e confiáveis.