Master Управление данными с semarchy

Современные организации создают большие объемы данных, часто из многочисленных разрозненных источников. Платформа данных Semarchy — это интеллектуальный центр данных для интеграции данных, master управления данными (MDM), управления эталонами данных (RDM), управления данными приложений (ADM), интеграции данных, качества и управления. Semarchy Управление данными (xDM) обеспечивает исключительную гибкость при определении и реализации приложений управления данными и их выпуске в рабочую среду.

В этой архитектуре показано, как включить master Управление данными (MDM) в экосистему Azure, чтобы обеспечить качество, проверку, сопоставление, дедупликацию, разработку, курирование и совместную работу для критически важных ресурсов данных.

Архитектура

Следующая архитектура иллюстрирует архитектуру и поток данных Semarchy xDM.

Поток данных

Метаданные и поток данных включают следующие действия.

• Интеграция исходных данных из идентифицированных исходных систем:

  • Эта интеграция использует Фабрика данных Azure, Semarchy xDI (компонент интеграции данных Semarchy) или решение интеграции.
  • semarchy xDM предоставляет конечные точки SQL или REST для пакетной интеграции и интеграции в режиме реального времени.
  • Входящие данные можно профилировать с помощью обнаружения Semarchy xDM и просмотреть их, чтобы помочь определить структуру и правила модели данных master.
  • В любое время конечные точки REST также могут использоваться приложениями для взаимодействия (чтения и записи) с master данными, управляемыми в xDM, и использовать xDM в качестве серверной части данных master.

• Автоматическая сертификация данных

  • Данные претерпевают обогащение, стандартизацию и проверку качества с помощью сочетания правил, подключаемых модулей, моделей ИИ (включая Машинное обучение Azure и Azure OpenAI) и сторонних служб. semarchy xDM поддерживает эти автоматизированные процессы качества с помощью рециркуляции данных и включает исправления пользователей для обеспечения оптимального качества данных.
  • Процессы сопоставления, объединения и выживания автоматически выполняются путем объединения сложной автоматизации с обоснованными решениями пользователей для создания точных и надежных консолидированных золотых записей.
  • Золотые записи, созданные функцией процесса сертификации, заполняют происхождение исходных систем, отслеживание изменений пользователей и необязательную историзацию. Это гарантирует целостность данных, возможность отслеживания и всестороннее отслеживание исторических записей.

• Настраиваемые приложения Управление данными доступны пользователям для:

  • Проверка подлинности с помощью Microsoft Entra ID
  • Просмотр и поиск сертифицированных данных с полной прослеживаемостью на каждом этапе сертификации, наряду с комплексным анализом,
  • Управление данными и их проверка.
    • Пользователи могут создавать и импортировать новые данные,
    • просмотр и исправление ошибок,
    • вручную сопоставлять и объединять записи с параметрами переопределения;
    • и выполнить обратимое или жесткое удаление при необходимости,
  • Совместная работа с рабочими процессами Data-Driven.

• Распределение данных в операционные и аналитические приложения потребителей, такие как Azure Synapse Analytics, Power BI, Машинное обучение Azure и Azure OpenAI, обеспечивает непрерывную интеграцию и использование на разных платформах:

  • Эта интеграция использует Фабрика данных Azure, Semarchy xDI или решение интеграции.
  • Semarchy xDM предоставляет встроенные конечные точки SQL и REST, а также уведомления о данных для распространения на основе событий в Служебная шина Azure.

• Синхронизируйте метаданные xDM с Microsoft Purview, чтобы получить полную видимость и происхождение всего потока данных master.

Компоненты

Эта архитектура включает следующие компоненты.

Основные компоненты

• Semarchy xDM — это платформа без кода, которая позволяет командам по обработке данных быстро разрабатывать настраиваемые master решения для управления данными, предоставляя широкий спектр возможностей для сложных экосистем данных.
• База данных Azure для SQL Server и PostgreSQL — это полностью управляемые базы данных как услуга со встроенными возможностями, такими как высокий уровень доступности и аналитика. Они хранят метаданные Semarchy и master концентраторы данных, управляемые в xDM. Обработка данных выполняется на уровне базы данных, гарантируя наилучшую производительность и масштабируемость.
• Microsoft Entra ID для проверки подлинности пользователей и единого входа на платформу Semarchy.
• Azure Key Vault — это облачная служба, предоставляющая безопасное хранилище секретов. Его можно использовать для шифрования, расшифровки и хранения секретов (например, паролей), используемых в xDM.

Компоненты ИИ

• Машинное обучение Azure — это облачная служба для ускорения проектов машинного обучения (ML) и управления ими. Semarchy xDM может использовать настраиваемые модели Машинного обучения Azure в процессах сертификации центра данных.
• Azure OpenAI — это набор служб ИИ, предоставляющих доступ к мощным языковым моделям OpenAI. Semarchy xDM включает встроенные подключаемые модули, использующие эти языковые модели для обогащения и сертификации данных, например для создания контента, формирования сводных данных или перевода.

Компоненты управления

• Microsoft Purview — это решение для управления данными, которое обеспечивает широкую видимость локальных и облачных хранилищ данных. Semarchy xDM интегрируется с Microsoft Purview для предоставления аналитических сведений о Центрах данных Semarchy в качестве продуктов данных и комплексных master происхождения данных.

Исходные и потребительские системы Среди прочего, эта архитектура включает следующие системы, из которых вы собираете master данные для управления в Semarchy xDM или в которые отправляются золотые данные, созданные Semarchy xDM.

• Azure Synapse Analytics — это быстрое, гибкое и надежное облачное хранилище данных, использующее архитектуру массовой параллельной обработки. Центры данных Semarchy выступают в качестве поставщиков сертифицированных метаданных для Azure Synapse.
• Power BI — это набор бизнес-аналитики, предоставляющий аналитические сведения во всей организации. Power BI можно использовать для создания панелей мониторинга и отчетов на основе метрик обнаружения Semarchy и Центров данных Semarchy.

Сведения о сценарии

Для инициатив, управляемых данными, таких как цифровая трансформация, бизнес-аналитика или проекты ИИ, требуются точные и надежные данные. Главный Управление данными является важным шагом для предоставления этих чистых и точных данных.

Распространенным вариантом использования решения MDM является консолидация master данных из нескольких источников, что позволяет совместно создавать и управлять данными master для обслуживания аналитических и операционных приложений с использованием золотых данных.

Разработка приложений для работы с данными

Приложения Semarchy xDM Управление данными предоставляют всем пользователям настраиваемый интерфейс для доступа к данным и управления ими. С помощью этих приложений записи данных master отображаются в полностью настраиваемых интерфейсах, поддерживающих операции управления данными, разработки и управления. Пользователи с разными ролями и пользователями совместно работают в рабочих процессах Data-Driven для управления данными. Сила Semarchy xDM заключается в гибкости при проектировании приложений данных, что позволяет им адаптироваться к вашим доменам, организации и бизнес-потребностям.

Интеграция и сертификация данных master

Данные, курируемые во внешних исходных системах, таких как Управление отношениями с клиентами (CRM), Enterprise Resource Planning (ERP) или других системах (известных как издатели), отправляются в центры данных Semarchy xDM через уровень интеграции, например Фабрика данных Azure или Semarchy xDI.

По мере появления изменений данных в концентраторе данных, при загрузке или разработке данных он проходит весь процесс сертификации, в ходе которого он обогащается, стандартизирована, проверяется на качество данных, а затем сопоставляется и объединяет записи.

Использование данных из концентратора

Данные могут быть отправлены или использованы из Semarchy xDM с помощью конечных точек REST API или через SQL. Изменения, внесенные в данные через концентратор данных, также могут распространяться в режиме реального времени на подчиненные системы с помощью уведомлений о данных.

Рекомендации

Платформа данных Semarchy имеет несколько функций, которые решают проблемы надежности, безопасности, оптимизации затрат, операционной эффективности и эффективности производительности. Дополнительные сведения об архитектуре можно найти в этой статье о ** основных принципах хорошо спроектированных платформ Azure.**

Надежность

Надежность гарантирует, что ваше приложение выполняет обещания, которые вы делаете своим клиентам. Дополнительные сведения см. в статье Общие сведения о принципах надежности.

Semarchy xDM изначально работает в базе данных Служба Azure Kubernetes и Azure SQL, которая предлагает встроенные возможности для поддержки высокого уровня доступности.

Безопасность

Защита от преднамеренных атак и неправильного использования ценных данных и систем. Дополнительные сведения см. в статье Общие сведения о безопасности на странице Microsoft Learn.

Semarchy xDM проверяет подлинность пользователей с помощью уровня управления удостоверениями, который поддерживает сопоставление ролей, подстановку и синхронизацию профилей. Он обеспечивает встроенную поддержку для нескольких поставщиков удостоверений, включая Microsoft Entra ID. Он также включает расширенные функции безопасности, такие как точные привилегии для защиты доступа и операций.

Эффективность производительности

Эффективность производительности — это возможность вашей системы масштабироваться и эффективно удовлетворять потребности пользователей. Дополнительные сведения см. на странице сведений об эффективности производительности в Microsoft Learn.

Semarchy xDM изначально выполняется в базе данных Служба Azure Kubernetes и Azure SQL. Вы можете настроить Служба Azure Kubernetes для увеличения и увеличения масштаба. Вы можете развернуть и настроить базу данных Azure SQL, чтобы сбалансировать производительность, масштабируемость и затраты.

Оптимизация затрат

Оптимизация затрат включает в себя поиск способов сокращения ненужных расходов и повышения операционной эффективности. Дополнительные сведения см. на странице сведений об оптимизации затрат в Microsoft Learn.

Эксплуатационные расходы включают лицензию на подписку на программное обеспечение Semarchy и потребление Azure. За дополнительными сведениями обратитесь к Semarchy.

Развертывание этого сценария

Чтобы развернуть этот сценарий, выполните следующие действия:

1. Развертывание Semarchy xDM с помощью служб Azure Kubernetes.
2. Настройте управление секретами для использования Key Vault Azure.
3. Настройте проверку подлинности с помощью Microsoft Entra ID.
4. Проектирование и развертывание настраиваемой модели данных master в xDM
5. Интеграция данных в xDM с помощью Фабрика данных Azure.

Участники этого документа

• Дэвид Кокс
• Седрик Блан
• François-Xavier Николя (FX)

Справочный документ

• Развертывание Semarchy xDM
• Управление копированием секретов
• Настройка проверки подлинности с помощью Microsoft Entra ID
• Интеграция данных в xDM с помощью Фабрика данных Azure