Когда использовать фабрику данных Azure
В этом уроке мы обсудим, как определить, является ли Фабрика данных Azure подходящим решением для интеграции данных для вашей организации. Мы оцениваем Фабрика данных Azure по следующим критериям:
- Требования к интеграции данных
- Ресурсы по кодированию
- Поддержка нескольких источников данных
- Бессерверная инфраструктура
Условия принятия решений
Чтобы определить, следует ли использовать фабрику данных Azure, используйте критерии, описанные в следующей таблице.
| Критерии | Анализ |
|---|---|
| Нужна ли вам вообще интеграция данных? | Если ваша организация работает с большими данными или является традиционной организацией хранения реляционных данных, вам может потребоваться решение интеграции с данными. |
| У вас есть необходимые ресурсы для кодирования? | Не все, кто работает с данными, имеют опыт программирования. Некоторые из них могут предпочесть работать с графическими инструментами, которые предоставляют визуализации для создания задач, которые работают с исходными данными. |
| Вам нужно работать с несколькими источниками данных? | Необработанные данные некоторых организаций могут храниться в различных системах, как локальных, так и облачных. Решение для аналитики данных должно легко подключаться ко многим источникам данных. |
| Можете ли вы создавать, управлять и поддерживать отдельные компоненты интеграции данных? | Без управляемого сервиса для анализа данных предприятиям необходимо создавать собственные компоненты для перемещения данных. В качестве альтернативы они могут создавать настраиваемые службы для интеграции своих источников данных и обработки. Интеграция и обслуживание таких систем может быть дорогостоящим и трудным. Кроме того, не все такие системы имеют мониторинг, оповещение и элементы управления, которые предлагает полностью управляемая служба. |
Применение критериев
Ознакомьтесь со следующими вопросами при рассмотрении Фабрика данных Azure в качестве решения для интеграции данных.
Нужна ли вам вообще интеграция данных?
Если ваша организация небольшая и работает с ограниченными источниками данных, вам может не потребоваться служба интеграции данных вообще. Однако если ваша организация работает с большими данными или является традиционной организацией хранения реляционных данных, вы можете воспользоваться решением для интеграции данных. Примите во внимание следующее:
- Организации больших данных полагаются на технологии для обработки больших объемов разнообразных данных. Для них фабрика данных Azure предоставляет средства для создания и запуска конвейеров в облаке. Эти конвейеры могут получать доступ как к облачным, так и к локальным службам данных. Эти конвейеры обычно работают с такими технологиями, как Azure Synapse Analytics, Azure Blobs и Azure Data Lake. Кроме того, Azure HDInsight, Azure Databricks и Машинное обучение Azure.
- Организации, занимающиеся хранением реляционных данных, обычно полагаются на такие технологии, как SQL Server. Службы интеграции SQL Server (SSIS) часто используются для создания пакетов SSIS. Для таких организаций Фабрика данных Azure предоставляет им возможность запускать пакеты служб SSIS в Azure, позволяя им получать доступ как к облачным, так и к локальным службам данных.
У вас есть необходимые ресурсы для кодирования?
Если в вашей организации отсутствуют необходимые ресурсы кодирования для создания необходимых действий, рассмотрите возможность использования фабрики данных Azure. Фабрика данных Azure предоставляет процесс с низким кодом/без кода для работы с источниками данных и связанных действий. Например, средство разработки и мониторинга Фабрика данных Azure позволяет создавать конвейеры графически путем перетаскивания действий на поверхность конструктора. На следующем снимках экрана показан интерфейс, в котором инженер данных создает конвейер с несколькими действиями:
Вам нужно работать с несколькими источниками данных?
Если у вашей организации есть требование к доступу к данным в нескольких расположениях и из нескольких источников, необходимо рассмотреть решение для интеграции с данными, которое обеспечивает эту поддержку. Фабрика данных Azure использует соединители для интеграции с разнородными источниками данных. В настоящее время поддерживается более 90 источников данных. Кроме того, Фабрика данных Azure поддерживает расширяемые параметры для доступа к другим источникам данных.
Можете ли вы создавать, управлять и поддерживать отдельные компоненты интеграции данных?
Это может быть сложно и много времени для создания собственного решения интеграции данных на основе сервера и управления ими. Однако если такое решение работает в центре обработки данных вашей организации, вам не нужно учитывать Фабрика данных Azure. Однако есть преимущества в использовании полностью управляемого бессерверного решения для интеграции данных. Основные преимущества:
- Возможность масштабирования по мере необходимости для поддержки дополнительных рабочих нагрузок.
- Нет необходимости развертывать, настраивать и обслуживать серверы для размещения рабочих нагрузок по интеграции данных.
Итоги
Таким образом, рассмотрите возможность использования фабрики данных Azure, если вы соответствуете одному или нескольким из следующих критериев:
- У ваших инженеров по данным не хватает времени, необходимого для создания кода для выполнения задач анализа данных.
- У вас есть несколько источников данных в разных местах.
- Вы хотите воспользоваться полностью управляемым облачным решением.