Приложения данных (согласованные с источником данных)
Если вы решили не внедрять систему независимую от типов данных для единоразовой загрузки данных из операционных источников, или если сложные подключения не поддерживаются в вашей системе независимой обработки данных, следует создать приложение данных, которое соответствует источнику. Он должен следовать тому же потоку, что и подсистема, не зависящая от данных, при приеме данных из внешних источников данных.
Обзор
Группа ресурсов приложения отвечает за прием данных и обогащение только из внешних источников, таких как телеметрия, финансы или CRM. Этот уровень может работать в режиме реального времени, режиме пакетной и микропакетной обработки.
В этом разделе описывается инфраструктура, развернутая для каждой группы ресурсов приложения для работы с данными, привязанных к источнику, в вашей целевой зоне данных.
Совет
Для сети данных вы можете выбрать развертывание одного экземпляра на каждый источник или одного на домен. Принципы стандартизации данных, качества данных и происхождения данных по-прежнему должны соблюдаться. Операционные команды платформы данных могут разрабатывать фрагменты стандартного кода и вызывать их, чтобы достичь этого.
Для каждой группы ресурсов данных приложения (выровненного по источнику) в зоне размещения данных необходимо создать следующее:
- Хранилище ключей Azure
- Фабрика данных Azure для запуска разработанных инженерных конвейеров, которые преобразуют данные из необработанных в обогащенные
- Субъект-служба, используемый приложением данных (с выравниванием источника) для развертывания заданий приема в Azure Databricks (только при использовании Azure Databricks)
Вы также можете создавать экземпляры других служб, таких как Центры событий Azure, Центр Интернета вещей Azure, Azure Stream Analytics и Машинное обучение Azure.
Azure Key Vault
Используйте функцию Azure Key Vault для хранения секретов в Azure по возможности.
Для каждой группы ресурсов приложения данных (с учетом источника) или домена данных (если это сетка) имеется Azure Key Vault, который:
- Гарантирует, что ключ шифрования, секрет и производный сертификат соответствуют требованиям вашей среды.
- Обеспечивает более эффективное разделение административных обязанностей
- Снижает риск смешивания ключей, интеграции и секретов разных классификаций
Все ключи, связанные с вашим приложением для работы с данными (синхронизированные с источником), должны храниться в Azure Key Vault.
Важный
Хранилища ключей прикладных данных (с точно установленным источником) должны следовать модели наименьших привилегий и избегать ограничений на масштабирование транзакций, а также совместного использования секретов между средами.
Фабрика данных Azure
Разверните фабрику данных Azure, чтобы позволить конвейерам, написанным командой приложений данных, принимать данные из необработанных в обогащенные с помощью разработанных конвейеров. Используйте потоки данных для преобразований, а для более сложных преобразований переходите к использованию Azure Databricks, Azure Synapse Spark или Microsoft Fabric.
Необходимо подключить Azure Data Factory к DevOps-версии репозитория вашего приложения данных, отражающей исходную структуру. Это подключение позволяет развертывать CI/CD.
Центры событий
Если ваше приложение для работы с данными (выровненное по источнику) требует поступления потоков данных, вы можете развернуть шины событий в группе ресурсов вашего приложения для работы с данными (выровненное по источнику).