Automatizar suas transformações de dados
Preparar dados para aprendizado de máquina é uma etapa necessária quando você deseja criar modelos eficazes. O Azure Databricks pode processar e preparar conjuntos de dados grandes com eficiência devido ao poder de computação do Spark.
Vamos explorar como cada etapa no fluxo de trabalho de aprendizado de máquina relacionada aos dados pode ser executada no Azure Databricks.
Armazenar dados coletados no armazenamento do Azure
Quando você coleta dados de várias fontes, é melhor armazenar seus dados em uma solução de armazenamento, como o Armazenamento de Blobs do Azure ou o Azure Data Lake.
Armazenar dados em uma solução de armazenamento do Azure em vez de diretamente no Azure Databricks oferece melhor escalabilidade, segurança aprimorada e integração com outros serviços do Azure.
As soluções de armazenamento do Azure fornecem um ambiente robusto e flexível para gerenciar grandes conjuntos de dados, garantindo que seus dados estejam prontamente disponíveis para processamento e análise.
Para gerenciar o acesso a todos os dados armazenados no armazenamento em nuvem, use o Catálogo do Unity. O Catálogo do Unity fornece uma solução de governança unificada para todos os ativos de dados, permitindo que você gerencie permissões e controles de acesso em seu patrimônio de dados.
Dica
Saiba mais sobre como se conectar ao armazenamento de objetos de nuvem usando o Catálogo do Unity
Explorar e preparar seus dados
Depois de se conectar aos seus dados, você deseja explorar os dados por meio da Análise Exploratória de Dados (EDA). Com base em suas descobertas, você prepara seus dados para lidar com dados ausentes, executar engenharia de recursos e fazer quaisquer outras transformações de dados que você acha que beneficiam o desempenho do modelo.
Para análise inicial, use notebooks do Databricks para explorar e entender os dados. Você pode usar o Spark SQL ou o PySpark para trabalhar com grandes conjuntos de dados, resumir os dados, verificar se há valores nulos e entender as distribuições de dados.
Automatizar a engenharia de recursos no Azure Databricks
As ferramentas e bibliotecas automatizadas de engenharia de recursos, como Featuretools e AutoFeat, estão ganhando popularidade à medida que simplificam o processo de geração e seleção de recursos. Essas ferramentas usam algoritmos para criar automaticamente recursos com base em dados brutos, avaliar sua importância e selecionar os mais relevantes para modelagem. Essa abordagem economiza tempo e reduz a dependência da engenharia manual de recursos.
Executar transformações de dados no Azure Databricks
Após a exploração, você pode optar por automatizar transformações de dados configurando pipelines. Uma maneira de obter automação é configurando trabalhos no Azure Databricks para automatizar notebooks e scripts. Os Trabalhos do Azure Databricks permitem agendar e executar seus notebooks ou arquivos JAR como trabalhos, permitindo que você automatize seus fluxos de trabalho de processamento de dados.
Para configurar um trabalho no Azure Databricks, siga essas etapas:
- Crie um trabalho: No workspace do Databricks, navegue até a guia trabalhos e selecione
Create job. Forneça um nome para seu trabalho e especifique o bloco de anotações ou o arquivo JAR que você deseja executar. - Configure o trabalho: Defina os parâmetros para seu trabalho, como a configuração do cluster, o agendamento para executar o trabalho e quaisquer dependências. Você também pode especificar notificações por email para atualizações de status do trabalho.
- Execute e monitore o trabalho: Depois que o trabalho estiver configurado, você poderá executá-lo manualmente ou deixá-lo ser executado de acordo com o agendamento definido. Você pode monitorar o progresso do trabalho e exibir logs para solucionar problemas.
Dica
Saiba mais sobre como criar e executar trabalhos do Azure Databricks.
Como alternativa, você pode usar os serviços do Azure para criar pipelines de dados automatizados.
Atomatizar a integração de dados com o Azure Data Factory
O Azure Data Factory é uma ferramenta para criar e gerenciar pipelines de dados. Ele permite que você crie fluxos de trabalho controlados por dados para orquestrar a movimentação e a transformação de dados.
Para criar um pipeline de dados no Azure Data Factory, siga estas etapas:
- Crie um Data Factory: No portal do Azure, crie uma nova instância do Data Factory.
- Crie um pipeline: Na interface do usuário do Data Factory, crie um pipeline e adicione atividades a ele. As atividades podem incluir movimentação de dados, transformação de dados e operações de fluxo de controle.
- Configure atividades: Defina os parâmetros para cada atividade, como os armazenamentos de dados de origem e de destino, a lógica de transformação e quaisquer dependências.
- Agende e monitore: Agende o pipeline para ser executado em intervalos especificados e monitore sua execução. Você pode exibir logs e configurar alertas para quaisquer problemas.
Dica
Saiba mais sobre o Azure Data Factory.
Ao automatizar transformações de dados e fluxos de trabalho com Trabalhos do Azure Databricks ou Azure Data Factory, você garante o processamento de dados consistente, tornando seus modelos de aprendizado de máquina mais eficientes e confiáveis.