Проектирование данных с помощью Databricks

Databricks предоставляет широкий набор функций проектирования данных, которые включают надежную среду для совместной работы среди специалистов по обработке и анализу данных, инженеров и аналитиков. Через центр это конвейеры, которые получают и преобразуют данные. Чтобы упростить проектирование наиболее эффективных конвейеров, Databricks предлагает Structured Streaming (Структурированная потоковая обработка) и Delta Live Tables (Дельта живые таблицы). См. трансляции в Azure Databricks и Что такое Delta Live Tables?.

Общие сведения о том, почему добавочная потоковая обработка данных, предоставляемых структурированной потоковой передачей и разностными динамическими таблицами, является лучшим вариантом для конвейеров данных, см. в статье Почему добавочная обработка потоков?.

Дополнительные ресурсы по проектированию данных

Databricks предоставляет функции для задач проектирования данных для многих дополнительных сценариев:

• Записные книжки Databricks — это популярное средство для совместной работы.
• Планирование и оркестрация рабочих процессов с помощью заданий Databricks.
• См. статью Databricks Mosaic AI , если вы архитекторируете решения машинного обучения.

Примечание.

Если вы работаете с sql-запросами и инструментами бизнес-аналитики, см. статью Databricks SQL.

Сведения о начале работы и вступительную информацию см. в статье Начало работы с Azure Databricks и Что такое Azure Databricks?.

Имя.	Предназначение
Delta Live Tables	Узнайте, как создавать конвейеры данных для приема и преобразования с помощью Databricks Delta Live Tables.
Структурированная потоковая передача	Сведения о потоковой передаче, добавочной и рабочей нагрузке в режиме реального времени, на основе структурированной потоковой передачи в Databricks.