Что такое Фабрика данных Azure?
Начнем с обзора Фабрика данных Azure, чтобы определить, является ли это хорошим выбором для организации данных для создания бизнес-аналитики.
Фабрика данных Azure — это облачная служба извлечения, преобразования, загрузки (ETL) и службы интеграции данных, которая помогает создавать управляемые данными рабочие процессы:
- управления перемещением данных;
- масштабного преобразования данных.
Примечание.
Рабочие процессы, управляемые данными, также называют конвейерами.
С помощью Фабрика данных Azure можно реорганизовать необработанные данные в значимые хранилища данных и озера данных, что дает вам основу для принятия лучших бизнес-решений.
Что такое аналитика данных?
Аналитика данных — это процесс сбора необработанных данных и их изучения, чтобы сделать из них выводы. Этот процесс может быть сложным, если данные расположены в нескольких расположениях, таких как размещенные базы данных и локальные расположения.
Совет
Необработанные данные — это данные, которые были собраны из источника и не были обработаны. Иногда это называется неорганизованными данными.
Azure предоставляет несколько технологий, которые можно реализовать для поддержки аналитики данных вашей организации, в том числе:
- Azure Synapse Analytics
- Хранилище BLOB-объектов Azure
- Azure Data Lake Storage
- Аналитика озера данных Azure
- Azure Analysis Services
- Azure HDInsight
- Azure Databricks
- Машинное обучение Azure
При необходимости вы можете использовать некоторые или все эти службы для анализа данных вашей организации. Однако ни одна из этих услуг не предназначена для интеграции данных. Интеграция данных позволяет собирать данные из нескольких источников, а затем загружать эти объединенные данные в расположение, подходящее для анализа данных. При необходимости вы можете преобразовать данные во время этого процесса. Хотя вы можете выполнить эти задачи вручную, вы можете рассмотреть возможность использования фабрики данных Azure.
Определение фабрики данных Azure
Фабрика данных Azure — это облачная служба интеграции данных, предназначенная для решения потребностей двух конкретных сообществ, как описано в следующей таблице:
| Сообщество | Описание потребностей сообщества |
|---|---|
| Сообщество больших данных | Это сообщество полагается на технологии для управления большими объемами разнообразных данных. Для них фабрика данных Azure предоставляет средства для создания и запуска конвейеров в облаке. Эти конвейеры могут получать доступ как к облачным, так и к локальным службам данных. Эти конвейеры обычно работают с такими технологиями, как Azure Synapse Analytics, Azure Blobs и Azure Data Lake. Кроме того, Azure HDInsight, Azure Databricks и Машинное обучение Azure. |
| Сообщество реляционных хранилищ данных | Это сообщество обычно полагается на такие технологии, как Microsoft SQL Server. Службы интеграции SQL Server (SSIS) часто используются для создания пакетов SSIS. Фабрика данных Azure предоставляет этому сообществу возможность запускать пакеты служб SSIS в Azure, предоставляя им доступ как к облачным, так и к локальным службам данных. |
Примечание.
Пакет похож на конвейер фабрики данных Azure. Каждый пакет определяет процесс извлечения, загрузки, преобразования или иной работы с данными.
Главное, что фабрика данных Azure — это единая облачная служба для интеграции данных. Он предоставляет один набор средств и общий интерфейс управления для всей интеграции данных, поддерживая все источники данных, где бы они ни находились:
- Azure
- В локальной среде
- Сторонняя общедоступная облачная платформа
Как фабрика данных Azure может помочь в аналитике данных
Используя фабрику данных Azure, вы можете:
Создавайте сложные процессы ETL. Эти процессы могут преобразовывать данные визуально с помощью потоков данных или вычислительных служб, таких как:
- Azure HDInsight Hadoop;
- Azure Databricks
- База данных SQL Azure
Опубликуйте эти преобразованные данные в хранилищах данных, которые будут использоваться приложениями бизнес-аналитики.
На следующем рисунке внешние источники данных подключены к фабрике данных Azure. Большой двоичный объект хранилища используется для приема данных, а Azure Synapse Analytics — в качестве хранилища. Эти элементы обеспечивают оркестрацию. Компоненты анализа и визуализации, служба анализа Azure и Power BI также подключены к фабрике данных Azure.
Совет
Фабрика данных Azure предоставляет более 90 встроенных соединителей без обслуживания.