Инженерия данных с использованием Databricks

Databricks предоставляет широкий набор функций проектирования данных, которые включают надежную среду для совместной работы среди специалистов по обработке и анализу данных, инженеров и аналитиков. В центре этого конвейера приема и преобразования данных. Чтобы обеспечить простую инженерию наиболее эффективных конвейеров, Databricks предлагает структурированную потоковую передачу и DLT. См. стриминг в Azure Databricks и Что такое DLT?.

Общие сведения о том, почему добавочная потоковая обработка данных, предоставляемых структурированной потоковой передачей и DLT, является лучшим вариантом для конвейеров данных, см. в статье Создание простых, эффективных и низкой задержки конвейеров данных.

Дополнительные ресурсы по инженерии данных

Databricks предоставляет функции для задач проектирования данных для многих дополнительных сценариев:

• Ноутбуки Databricks — популярный инструмент для совместной работы.
• Организуйте и управляйте своими рабочими процессами с помощью заданий Databricks.
• Ознакомьтесь с Databricks Mosaic AI, если вы проектируете решения машинного обучения.

Заметка

Если вы работаете с sql-запросами и инструментами бизнес-аналитики, ознакомьтесь с Databricks SQL.

Сведения о том, как начать работу, и ознакомительную информацию см. в статье Начало работы с Azure Databricks и Что такое Azure Databricks?.

Имя	Используйте это, если вы хотите...
DLT	Узнайте, как создавать конвейеры данных для приема и преобразования с помощью Databricks DLT.
Структурированное потоковое вещание	Узнайте о стриминге, инкрементных и рабочих нагрузках в режиме реального времени на базе Structured Streaming в Databricks.