Посадочная зона управления данными
Зона посадки для управления данными — это ключевая управленческая функция в аналитике в облачных средах. Она отвечает за управление платформой аналитики.
Целевая зона управления данными — это отдельная подписка, которая имеет те же стандартные службы целевой зоны Azure. Это позволяет структурировать управление вашими данными с помощью сканеров данных, которые подключаются к озерам данных и многоязычным хранилищам в зонах размещения данных. Пиринг виртуальной сети подключает целевую зону управления данными к целевым зонам и подписке на подключение.
Эта архитектура является отправной точкой, и ее можно изменить в соответствии с конкретными бизнес-требованиями и техническими требованиями при планировании реализации целевой зоны управления данными.
Примечание.
Полиглотное постоянство — это термин из области хранения данных, означающий выбор между различными технологиями хранения данных для поддержки различных типов данных и их нужд в хранении. По сути, сохраняемость polyglot — это концепция, которую приложение может использовать более одной основной базы данных или технологии хранения.
Внимание
Целевая зона управления данными должна быть развернута как отдельная подписка в группе управления с соответствующим управлением. Затем вы можете контролировать управление в вашей организации. Акселератор целевой зоны Azure иллюстрирует подход к целевым зонам Azure.
Управление данными
Cloud Scale Analytics предлагает использовать Microsoft Purview. Кроме того, решения Microsoft Partner можно развернуть для управления определенными функциями управления данными. Ключевые функции, которые следует учитывать в архитектуре, включают глобальный каталог данных, управление основными данными, общий доступ к данным и контракты, каталог API, управление качеством данных и репозиторий моделирования данных.
Продукты управления данными партнера Майкрософт, требующие развертывания в подписке, должны быть развернуты в группе ресурсов управления данными в целевой зоне управления данными.
Каталог данных
Каталог данных регистрирует и сохраняет сведения о данных в централизованном месте и делает его доступным для организации. Это гарантирует, что предприятия избежать дублирования продуктов данных, вызванных приемом избыточных данных различными командами проектов. Рекомендуется создать службу каталога данных, чтобы определить метаданные продуктов данных, хранящихся в целевых зонах данных.
Аналитика в масштабе облака зависит от Microsoft Purview для регистрации корпоративных источников данных, классификации их, обеспечения качества данных и обеспечения безопасного, самостоятельного доступа.
Microsoft Purview — это служба на основе клиента и может взаимодействовать с каждой целевой зоной данных, создав управляемую виртуальную сеть, развернутую в регионе целевых зон данных. Вы можете развернуть управляемые виртуальная сеть Среды выполнения интеграции Azure (IR) в управляемых виртуальная сеть Microsoft Purview в любом доступном регионе Microsoft Purview. Оттуда среда ir управляемой виртуальной сети может использовать частные конечные точки для безопасного подключения и проверки поддерживаемых источников данных. Дополнительные сведения см. в статье Об использовании управляемой виртуальной сети с учетной записью Microsoft Purview. Создание управляемой виртуальной сети IR в управляемом виртуальная сеть гарантирует изоляцию и безопасность процесса интеграции данных.
При использовании Azure Databricks мы рекомендуем использовать каталог Azure Databricks Unity в дополнение к Microsoft Purview. Azure Databricks Unity Catalog предоставляет централизованный контроль доступа, аудит, отслеживание происхождения и возможности обнаружения данных для рабочих областей Databricks. Для получения рекомендаций по настройке каталога Unity см. лучшие практикикаталога Unity.
Примечание.
Хотя в этой документации основное внимание уделяется использованию Microsoft Purview для управления, предприятия могут инвестировать в другие продукты, такие как Alation, Okera или Collibra. Эти решения предлагаются по подписке, и мы рекомендуем развернуть их в входной зоне управления данными. Имейте в виду, что может потребоваться определенная настраиваемая интеграция.
Управление основными данными
Управление главными данными находится в целевой зоне управления данными. Управление главными данными в сетке данных содержит конкретные рекомендации, которые следует вызывать для сетки данных.
Многие решения по управлению главными данными полностью интегрируются с идентификатором Microsoft Entra. Эта интеграция позволяет защитить данные и предоставить различные представления для разных групп пользователей.
Дополнительные сведения см. в разделе "Система управления главными данными".
Общий доступ к данным и контракты
Аналитика в масштабе облака использует управление правами Microsoft Entra или политики Microsoft Purview для управления доступом к данным. Даже в этом случае может потребоваться общий доступ и репозиторий контрактов. Этот репозиторий является организационной функцией и должен находиться в целевой зоне управления данными.
Ваши контракты должны предоставлять сведения о проверке данных, моделях и политиках безопасности.
Дополнительные сведения см. в контрактах данных .
Каталог API
Команды приложений данных создают различные API для своих приложений данных. Эти API-интерфейсы могут быть трудно обнаружить в вашей организации. Размещение каталога API в целевой зоне управления данными может решить эту проблему.
Каталог API может помочь стандартизировать документацию и предлагает место для внутренней совместной работы в API. Кроме того, он может управлять потреблением, публикацией и управлением в организации.
Управление качеством данных
Продолжайте работу с текущим решением.
Управление качеством данных как можно ближе к источнику данных, чтобы предотвратить распространение проблем качества между системами аналитики и искусственного интеллекта. Интегрируя метрики качества и проверку в процессы данных, вы выравниваете управление качеством с наиболее знакомыми с данными командами, обеспечивая более глубокое понимание и лучшую обработку ресурсов данных.
Происхождение данных также обеспечивает достоверность качества данных, и ее следует предоставить для всех продуктов данных.
Дополнительные сведения об управлении качеством данных см. в разделе "Качество данных".
Репозиторий моделирования данных
Вы должны записывать и хранить модели связей сущностей в центральном расположении в целевой зоне управления данными, предоставляя потребителям данных одно место для поиска концептуальных схем.
Многие клиенты используют ER Studio и OrbusInfinity для моделирования своих продуктов данных перед вводом данных.
Уровень служб
Ваша организация может решить создать множество служб автоматизации для расширения возможностей облачной аналитики. Эти службы автоматизации управляют соответствием и подключением решений для состояния аналитики.
Если вы решите создать эти службы автоматизации, у вас должен быть пользовательский интерфейс, который выступает как в marketplace данных, так и в консоли управления. Этот интерфейс должен полагаться на базовое хранилище метаданных, например стандарты метаданных.
Ваша консоль управления или Marketplace данных вызывает средний уровень микрослужб для упрощения подключения, регистрации метаданных, подготовки безопасности, жизненного цикла данных и наблюдаемости.
Вы можете настроить уровень службы , группу ресурсов, для размещения хранилища метаданных.
Внимание
Ни одна из этих служб автоматизации не является продуктами, и они не иллюстрируют какой-либо элемент стратегии. Они перечислены, чтобы помочь вам рассмотреть, какие элементы может потребоваться автоматизировать.
| Service | Область службы |
|---|---|
| Подготовка целевой зоны данных | Эта служба создает новую целевую зону данных. Вряд ли будет высоким уровень использования, но включено для полноты решения по внедрению. Дополнительные сведения см. в статье "Подготовка облачной аналитики" |
| Подключение продукта к данным | Эта служба создает и изменяет группы ресурсов, относящиеся к подключенного клиента. Она также содержит возможности для обновления и понижения номеров SKU, а также для активации и деактивации групп ресурсов для любого подключенного клиента или службы. Он создает новую целевую зону данных DevOps. Дополнительные сведения см. в статье "Подготовка облачной аналитики" |
| Не зависят от приема данных | Эта микрослужба создает новые источники данных для загрузки в зоны приземления данных, взаимодействуя с хранилищем метаданных SQL базы данных в Azure Data Factory в каждой зоне приземления данных. Дополнительные сведения см. в статье О том, как автоматизированные платформы приема поддерживают облачную аналитику в Azure. |
| Метаданные | Эта служба предоставляет и создает метаданные для платформы. Дополнительные сведения см. в разделе "Стандарты метаданных" |
| Подготовка доступа | Эта служба создает пакеты доступа, политики доступа и процессы утверждения доступа к ресурсам (вручную или автоматически) с использованием SPN/UPN. Он также может предоставить API для предоставления списка запросов подписки (активов), которые пользователи отправили за последние 90 дней. Дополнительные сведения см. в разделе "Управление доступом к данным" |
| Жизненный цикл данных | Эта служба отвечает за обслуживание жизненного цикла данных на основе метаданных. Это обслуживание может включать перемещение данных в холодное хранилище и удаление записей, которые больше не должны храниться. Дополнительные сведения см. в разделе "Управление жизненным циклом данных" |
| Подключение домена данных | ПРИМЕНИМО ТОЛЬКО К СЕТКЕ ДАННЫХ. Эта служба записывает метаданные, относящиеся к новым доменам, и при необходимости подключены новые домены. Он также может создавать, обновлять, активировать и деактивировать любой домен или строку обслуживания, которые могут быть вложены в микрослужбу. Дополнительные сведения см. в статье "Подготовка облачной аналитики" |
Реестр контейнеров Azure
Целевая зона управления данными размещает Реестр контейнеров Azure. Реестр контейнеров Azure позволяет операциям платформы данных развертывать стандартные контейнеры для использования в проектах обработки и анализа данных, используемых командами приложений данных.