Engenharia de dados com Databricks

O Databricks fornece um rico conjunto de recursos de engenharia de dados que incluem um ambiente robusto para colaboração entre cientistas de dados, engenheiros e analistas. Através do centro dele estão os pipelines que ingerem e transformam os dados. Para permitir a engenharia fácil dos pipelines mais eficientes, a Databricks oferece Streaming Estruturado e Tabelas Delta Live. Consulte Streaming no Azure Databricks e O que é Delta Live Tables?.

Para obter uma visão geral de por que o processamento de fluxo incremental de dados fornecidos pelo Structured Streaming e Delta Live Tables é a melhor opção para pipelines de dados, consulte Por que processamento de fluxo incremental?.

Recursos adicionais de engenharia de dados

O Databricks fornece recursos para tarefas de engenharia de dados para muitos cenários adicionais:

• Os notebooks Databricks são uma ferramenta popular para colaboração.
• Agende e orquestre seus fluxos de trabalho usando o Databricks Jobs.
• Consulte Databricks Mosaic AI se estiver arquitetando soluções de aprendizado de máquina.

Nota

Se você trabalha principalmente com consultas SQL e ferramentas de BI, consulte Databricks SQL.

Para obter tutoriais de introdução e informações introdutórias, consulte Introdução ao Azure Databricks e O que é o Azure Databricks?.

Nome	Use isso quando quiser...
Mesas Delta Live	Saiba como criar pipelines de dados para ingestão e transformação com o Databricks Delta Live Tables.
Transmissão em Fluxo Estruturada	Saiba mais sobre cargas de trabalho de streaming, incrementais e em tempo real com o Structured Streaming on Databricks.