Engenharia de dados com Databricks

A Databricks fornece um conjunto avançado de recursos de engenharia de dados que incluem um ambiente robusto para colaboração entre cientistas de dados, engenheiros e analistas. No centro dele estão os pipelines que ingerem e transformam os dados. Para facilitar a engenharia dos pipelines mais eficientes, a Databricks oferece Streaming Estruturado e Delta Live Tables. Confira Streaming no Azure Databricks e O que é Delta Live Tables?.

Para obter uma visão geral de por que o processamento de fluxo incremental de dados fornecidos pelo Streaming Estruturado e Delta Live Tables é a melhor opção para pipelines de dados, consulte Por que o processamento de fluxo incremental?.

Recursos adicionais de engenharia de dados

O Databricks fornece recursos para tarefas de engenharia de dados para muitos cenários adicionais:

• Os notebooks do Databricks são uma ferramenta popular para colaboração.
• Agende e orquestre seus fluxos de trabalho usando os trabalhos do Databricks.
• Consulte o Databricks Mosaic AI se você estiver arquitetando soluções de machine learning.

Observação

Se você trabalha principalmente com consultas SQL e ferramentas de BI, consulte Databricks SQL.

Para obter tutoriais de introdução e informações introdutórias, consulte Introdução ao Azure Databricks e O que é o Azure Databricks?.

Nome	Use esta ferramenta quando quiser...
Delta Live Tables	Saiba como criar pipelines de dados para ingestão e transformação com o Databricks Delta Live Tables.
Streaming estruturado	Saiba mais sobre cargas de trabalho de streaming, incrementais e em tempo real alimentadas pelo Streaming Estruturado no Databricks.