Engenharia de dados com Databricks

O Databricks fornece um rico conjunto de recursos de engenharia de dados que incluem um ambiente robusto para colaboração entre cientistas de dados, engenheiros e analistas. Pelo centro dele passam os pipelines que ingerem e transformam os dados. Para permitir a engenharia fácil dos pipelines mais eficientes, a Databricks oferece Streaming Estruturado e DLT. Consulte Streaming no Azure Databricks e O que é DLT?.

Para obter uma visão geral de por que o processamento de fluxo incremental de dados fornecidos pelo Structured Streaming e DLT é a melhor opção para pipelines de dados, consulte Como criar pipelines de dados simples, eficientes e de baixa latência.

Recursos adicionais de engenharia de dados

O Databricks fornece recursos para tarefas de engenharia de dados para muitos cenários adicionais:

• os notebooks Databricks são uma ferramenta popular de colaboração.
• Agende e orquestre seus fluxos de trabalho usando Databricks Jobs.
• Consulte o Mosaic AI do Databricks caso esteja a arquitetar soluções de aprendizado de máquina.

Observação

Se você trabalha principalmente com consultas SQL e ferramentas de BI, consulte Databricks SQL.

Para obter tutoriais de introdução e informações introdutórias, consulte Introdução ao Azure Databricks e O que é o Azure Databricks?.

Nome	Use isso quando quiser...
DLT	Saiba como criar pipelines de dados para ingestão e transformação com o Databricks DLT.
Streaming estruturado	Saiba mais sobre cargas de trabalho de streaming, em tempo real e incrementais, impulsionadas pelo Structured Streaming no Databricks.