Интеграция Microsoft Purview и Profisee для управления master данными (MDM)

Статья
11/20/2024

Корпоративные системы могут иметь несколько источников master данных — общих данных, которые используются в разных системах. Этот факт может стать очевидным при каталоге источников данных. Примеры master данных включают данные о клиенте, продукте, расположении, активе и поставщике. При использовании Profisee для слияния, проверки и исправления данных master эти данные можно сделать эффективными. В частности, его можно использовать для создания общей доверенной платформы для аналитики и улучшения операционной деятельности. Используя определения системы управления, аналитические сведения и опыт, описанные в Microsoft Purview, вы можете эффективно создавать платформу.

Эта эталонная архитектура представляет собой решение для управления и управления данными, включающее Microsoft Purview и платформу Profisee master управления данными (MDM). Эти службы работают вместе, чтобы обеспечить основу высококачественных, надежных данных, что повышает ценность данных в Azure для бизнеса. Краткое видео об этом решении см. в статье Возможности полностью интегрированного master управления данными в Azure.

Архитектура

На следующей схеме показаны действия, выполняемые при разработке и эксплуатации решения master данных. Эти шаги считаются весьма итеративными. По мере развития решения вы можете повторять эти шаги и этапы, иногда автоматически, а иногда и вручную. Выбор автоматических или ручных действий зависит от изменений, которые будут изменены в решении для master данных, метаданных и данных.

Поток данных

Метаданные и поток данных включают следующие шаги, которые показаны на предыдущем рисунке:

Предварительно созданные соединители Microsoft Purview используются для создания Единый каталог из исходных бизнес-приложений. Соединители сканируют источники данных и заполняют Единый каталог.
Модель данных master публикуется в Microsoft Purview. Сущности основных данных, созданные в Profisee MDM, легко публикуются в Microsoft Purview. Этот шаг дополнительно заполняет Единый каталог и гарантирует наличие записи этого критического источника данных в Microsoft Purview.
Стандарты и политики управления для управления данными используются для обогащения master определений сущностей данных. Данные обогащены в Microsoft Purview словарем данных и глоссарием, данными о владельцах и классификациями конфиденциальных данных. Все определения и метаданные, доступные в Microsoft Purview, отображаются в режиме реального времени в Profisee в качестве руководства для хранимых данных MDM.
Основные данные из исходных систем загружаются в MDM Profisee. Набор средств интеграции данных, например Фабрика данных Azure, извлекает данные из исходных систем с помощью любого из более чем 100 предварительно созданных соединителей или шлюза REST. Несколько потоков master данных загружаются в Profisee MDM.
Данные master стандартизированы, сопоставляются, объединяются, обогащаются и проверяются в соответствии с правилами управления. Другие системы, такие как Microsoft Purview, могут определять правила качества данных и управления. Но Profisee MDM — это система, которая применяет эти правила. Исходные записи сопоставляются и объединяются внутри и между исходными системами для создания максимально полной и правильной записи. Правила качества данных проверка каждой записи для соответствия бизнес-требованиям и техническим требованиям. Любая запись, которая не проходит проверку или возвращает низкую оценку вероятности, подлежит исправлению. Чтобы исправить неудачные проверки, рабочий процесс назначает записи, требующие проверки, администраторам данных, которые являются экспертами в области бизнес-данных. После проверки или исправления записи ее можно использовать в качестве золотой записи master.
Транзакционные данные загружаются в подчиненное решение для аналитики. Набор средств интеграции данных, например Фабрика данных, извлекает транзакционные данные из исходных систем с помощью более чем 100 предварительно созданных соединителей или шлюза REST. Набор инструментов загружает данные непосредственно в платформу аналитических данных, например Azure Synapse Analytics. Анализ этой необработанной информации без надлежащего master золотых данных может быть некорректным, так как перекрытия, несоответствия и конфликты данных еще не разрешены.
Соединители Power BI предоставляют прямой доступ к проверенным master данным. Пользователи Power BI могут использовать данные master непосредственно в отчетах. Выделенный соединитель Power BI распознает и обеспечивает безопасность на основе ролей. Он также скрывает различные системные поля для упрощения использования.
Высококачественные, проверенные master данные публикуются в нижестоящем аналитическом решении. Если master записей данных были объединены в одну золотую запись, ссылки на исходные записи сохраняются.
Платформа аналитики содержит набор данных, сертифицированных в том смысле, что они полные, согласованные и точные. Эти данные включают в себя правильно проверенные master данные и связанные данные транзакций. Такое сочетание формирует прочную основу надежных данных, доступных для дальнейшего анализа.
Высококачественные master данные визуализируются и анализируются, а также применяются модели машинного обучения. Система предоставляет полезные аналитические сведения для ведения бизнеса.

Компоненты

Microsoft Purview — это решение для управления данными, которое обеспечивает широкую видимость локальных и облачных хранилищ данных. Microsoft Purview предлагает сочетание обнаружения и классификации данных, происхождения, поиска и обнаружения метаданных, а также аналитики использования. Все эти функции помогают управлять данными в корпоративном ландшафте данных и понимать их.
Profisee MDM — это быстрая и интуитивно понятная платформа MDM, которая легко интегрируется с технологиями Майкрософт и экосистемой управления данными Azure.
Фабрика данных — это гибридная служба интеграции данных. Фабрику данных можно использовать для создания, планирования и оркестрации рабочих процессов извлечения, преобразования и загрузки (ETL), а также извлечения, загрузки и преобразования (ELT). Фабрика данных также предлагает более 100 предварительно созданных соединителей и шлюз REST, который можно использовать для извлечения данных из исходных систем.
Azure Synapse Analytics — это быстрое, гибкое и надежное облачное хранилище данных, использующее массивную архитектуру параллельной обработки. Вы можете использовать Azure Synapse Analytics для масштабирования, вычисления и хранения данных эластично и независимо.
Power BI — это набор средств бизнес-аналитики, которые предоставляют аналитические сведения во всей организации. Power BI можно использовать для подключения к сотням источников данных, упрощения подготовки данных и выполнения импровизированного анализа. Вы также можете создавать красивые отчеты, а затем публиковать их в вашей организации для использования в Интернете и на мобильных устройствах.

Альтернативы

Если у вас нет выделенного приложения MDM, вы можете найти некоторые технические возможности, необходимые для создания решения MDM в Azure:

Качество данных. При загрузке данных на платформу аналитики можно повысить качество данных в процессах интеграции. Например, можно использовать жестко заданные скрипты для применения преобразований качества данных в конвейере фабрики данных .
Стандартизация и обогащение данных. Azure Maps может обеспечить проверку и стандартизацию данных адреса. Стандартизированные данные можно использовать в Функции Azure и Фабрике данных. Чтобы стандартизировать другие данные, может потребоваться разработка жестко заданных скриптов.
Управление повторяющимися данными. Фабрику данных можно использовать для дедупликации строк, если доступно достаточно идентификаторов для точного соответствия. Скорее всего, вам потребуются пользовательские жестко запрограммированные скрипты для реализации логики, необходимой для объединения соответствующих строк при применении соответствующих методов выживания данных.
Управление данными. Power Apps можно использовать для быстрой разработки базовых решений по управлению данными для управления данными в Azure. Вы также можете разработать соответствующие пользовательские интерфейсы для проверок, рабочих процессов, оповещений и проверок.

В средах, ориентированных на Майкрософт, в качестве службы аналитики предпочтительнее Azure Synapse Analytics. Но вы можете использовать любую базу данных аналитики. Snowflake и Databricks являются общим выбором.

Сведения о сценарии

По мере увеличения объема данных, которые вы загружаете в Azure, потребность в правильном управлении ими во всех источниках данных и потребителях данных возрастает. Данные, которые кажутся достаточными в исходной системе, часто обнаруживаются недостаточными при их совместном использовании. В ней могут быть отсутствующие или неполные сведения, а также дублирование и конфликты. Его общее качество может быть плохим. Требуются полные, согласованные и точные данные.

Без высококачественных данных в хранилище данных Azure бизнес-ценность Azure может быть подорвана, возможно, критически. Решение заключается в создании основы для управления данными, которая может создавать и предоставлять источник истины для высококачественных надежных данных. Microsoft Purview и Profisee MDM совместно формируют эту корпоративную платформу.

Microsoft Purview каталогизирует все источники данных и определяет конфиденциальную информацию и происхождение. Это дает архитектору данных возможность рассмотреть соответствующие стандарты данных, которые будут применяться ко всем данным. Microsoft Purview фокусируется на управлении для поиска, классификации и определения политик и стандартов. Задачи применения политик и стандартов, каталогизации источников данных и устранения недостатков данных ложась на такие технологии, как системы MDM.

Profisee MDM предназначен для приема master данных из любого источника. Затем Profisee MDM сопоставляет, объединяет, стандартизирует, проверяет, исправляет и синхронизирует данные в разных системах. Этот процесс гарантирует правильную интеграцию данных и их соответствие потребностям подчиненных систем, таких как бизнес-аналитика (BI) и приложения машинного обучения. Интегративная платформа Profisee применяет стандарты управления в нескольких разрозненных хранилищах данных.

Вместе еще лучше

Microsoft Purview и Profisee MDM лучше работают вместе. При интеграции они упрощают задачи управления данными и гарантируют, что все системы работают для применения одинаковых стандартов. Profisee MDM публикует свою модель данных master в Microsoft Purview, где она может участвовать в управлении. Затем Microsoft Purview предоставляет выходные данные системы управления, например сведения о Единый каталог и глоссарии. Profisee может просматривать выходные данные и применять стандарты. Работая совместно, Microsoft Purview и Profisee создают естественную, более эффективную совместную синергию, которая глубже, чем каждое независимое предложение.

Например, после каталогизации корпоративных источников данных можно определить, что master данные присутствуют в нескольких системах. Основные данные — это данные, определяющие сущность домена. Примеры данных master включают данные о клиенте, продукте, активе, расположении, поставщике, пациенте, домашнем обиходе, элементе меню и ингредиентах. Разрешение различных определений, сопоставление и объединение этих данных между системами имеет решающее значение для возможности эффективного использования этих данных. Чтобы обеспечить эффективность, следует объединить, проверить и исправить данные master в Profisee MDM с помощью определений управления, аналитических сведений и опыта, подробно описанных в Microsoft Purview. Таким образом, Microsoft Purview и Profisee MDM формируют основу для управления и управления данными, и они максимально эффективно ценят данные в Azure.

Альтернативой является использование любой информации, которую вы можете получить. Но при таком подходе вы рискуете получить вводящие в заблуждение результаты, которые могут нанести ущерб вашему бизнесу. При использовании высококачественных master данных вы устраняете распространенные проблемы с качеством данных. Затем ваша система предоставляет аналитические сведения, которые можно использовать для управления бизнесом, независимо от того, какие средства вы используете для анализа, машинного обучения и визуализации. Хорошо проверенные master данные являются ключевым аспектом создания надежной и надежной основы данных.

При использовании Profisee MDM с Microsoft Purview вы пользуются следующими преимуществами:

Общая техническая основа. Profisee возникла в технологиях Майкрософт. Profisee и Майкрософт используют общие средства, базы данных и инфраструктуру, благодаря чему решение Profisee знакомо всем, кто работает с технологиями Майкрософт. На самом деле, в течение многих лет Profisee MDM была построена на microsoft Master Data Services. Теперь Master Data Services приближается к концу своего жизненного цикла, и Profisee — это основное решение для обновления и замены.
Совместная работа с разработчиками и совместная разработка. Разработчики Profisee и Microsoft Purview активно сотрудничают, чтобы обеспечить хорошее взаимодополняющее соответствие между соответствующими решениями. Такая совместная работа обеспечивает беспроблемную интеграцию, которая отвечает потребностям клиентов.
Совместные продажи и развертывания. Profisee имеет больше развертываний MDM в Azure и совместно с Microsoft Purview, чем любой другой поставщик MDM. Вы можете приобрести Profisee через Azure Marketplace. В 2023 финансовом году Profisee является единственным поставщиком MDM с сертификацией партнера Майкрософт верхнего уровня, который имеет инфраструктуру как услугу (IaaS), контейнеры как услугу (CaaS) или программное обеспечение как услуга (SaaS) на Azure Marketplace.
Быстрое и надежное развертывание. Важной функцией всего корпоративного программного обеспечения является быстрое и надежное развертывание. Согласно платформе Gartner Peer Insights , Profisee имеет больше реализаций, которые занимают менее 90 дней, чем любой другой поставщик MDM.
Несколько доменов. Profisee предлагает подход к MDM, который по своей сути использует несколько доменов. Количество доменов данных master, которые можно создать, не ограничено. Такая конструкция хорошо согласуется с клиентами, которые планируют модернизировать свои хранилища данных. Клиент может начать с ограниченного числа доменов, но в конечном итоге он получает выгоду от максимального охвата домена во всем своем пространстве данных. Этот охват домена соответствует охвату системы управления данными.
Проектирование, предназначенное для Azure. Profisee разработан как собственный облачный с возможностями SaaS и управляемых развертываний IaaS или CaaS в Azure.

Возможные варианты использования

Подробный список вариантов использования MDM для этого решения см. в разделе Варианты использования MDM далее в этой статье. Ключевые варианты использования MDM включают следующие примеры розничной торговли и производства:

Консолидация данных клиентов для аналитики.
Наличие 360-градусного представления данных о продукте в согласованной и доступной форме, например название, описание и характеристики каждого продукта.
Создание эталонных данных для последовательного расширения описания master данных. Например, справочные данные включают списки стран или регионов, валют, цветов, размеров и единиц измерения.

Эти решения MDM также помогают финансовым организациям, которые в значительной степени полагаются на данные для критически важных действий, таких как своевременные отчеты.

Интеграция MDM с Microsoft Purview

На следующей схеме подробно показана интеграция MDM Profisee в Microsoft Purview. Для поддержки этой интеграции подсистема управления Profisee обеспечивает двунаправленную интеграцию с Microsoft Purview, которая состоит из двух отдельных потоков:

Публикация метаданных решения происходит, когда ваши моделиторы данных вносят изменения в модель данных master, стратегии сопоставления и связанные с ними подартификты. Эти изменения легко публикуются в Microsoft Purview по мере их возникновения. Публикация этих изменений синхронизирует метаданные, связанные с моделью данных и решением master. В результате Единый каталог заполняется, и Microsoft Purview имеет запись об этом критическом источнике данных.
Сведения об управлении возвращаются и предоставляются администраторам данных и бизнес-пользователям. Эти сведения доступны, когда пользователи просматривают данные, обогащают данные и устраняют проблемы с качеством данных с помощью портала Profisee FastApp.

Схема, на которую показано, как Profisee MDM интегрируется с Microsoft Purview для приема, моделирования и управления данными.

Возможности интеграции с Microsoft Purview

Каталог и глоссарий Microsoft Purview помогут вам максимально эффективно интегрироваться.

Проектирование модели основных данных

Одной из задач подготовки решения MDM является определение того, что представляет собой данные master и какие источники данных следует использовать при заполнении модели данных master. Вы можете использовать Microsoft Purview, чтобы помочь в этом. Вы можете воспользоваться возможностью сканирования критически важных источников данных, а также привлечь администраторов данных и экспертов по предмету (МСП). Таким образом, вы можете дополнить Единый каталог сведениями, к которым затем смогут получить доступ ваши стюарды, чтобы лучше согласовать модель данных master с бизнес-системами. Вы можете согласовать конфликтующую терминологию. Этот процесс дает master модель данных, которая оптимально отражает терминологию и определения, которые требуется стандартизировать для бизнеса. Это также позволяет избежать устаревших и вводящих в заблуждение словосоверений.

Следующий отрывок из более широкой схемы иллюстрирует этот вариант использования интеграции. Во-первых, вы используете функции проверки системы Microsoft Purview для приема метаданных из бизнес-систем. Затем ваши говоры по обработке данных и МСП подготовят надежный каталог и контакты. Затем специалисты по моделированию данных, работающие со службами моделирования Profisee MDM, могут подготовить и усовершенствовать модель данных master. Эта работа соответствует стандартам, заданным в Microsoft Purview.

Схема, на которую показан вариант использования интеграции Profisee MDM с Microsoft Purview для приема, моделирования и управления данными.

По мере того как администраторы данных развивают модель, службы моделирования на платформе Profisee MDM публикуют изменения, которые получают службы управления Profisee MDM. В свою очередь, Profisee MDM подготавливает и пересылает эти изменения в Microsoft Purview для включения в обновленный Единый каталог. Эти дополнения к каталогу гарантируют, что определения данных master включены в более широкий набор данных и что они могут управляться и контролироваться так же, как и метаданные бизнес-системы. Убедив, что эти сведения каталогизуются вместе, вы сможете лучше управлять связями между данными master и данными бизнес-системы.

Управление данными

Крупные предприятия с соответствующими сложными и обширными ресурсами данных могут создавать проблемы для управляющих данными, которые отвечают за управление и устранение проблем по мере их возникновения. Ключевые домены данных могут быть сложными, с множеством неясных атрибутов, которые понимают только сотрудники, обладающие значительными институциональными знаниями. Благодаря интеграции MDM Profisee с Microsoft Purview вы можете захватить эти институциональные знания в Microsoft Purview и сделать их доступными для использования в Profisee MDM. В результате вы избавляете от большой потребности в знаниях о корпоративных данных при управлении критически важной и конфиденциальной информацией.

На следующем рисунке показан поток информации из Microsoft Purview для диспетчеров данных, работающих на портале Profisee FastApp. Служба данных управления интегрируется с Microsoft Purview и Microsoft Entra ID. Эта служба предоставляет функции подстановки. Пользователи портала FastApp могут использовать эту функцию для получения обогащенных данных системы управления о сущностях и атрибутах, с которыми они работают.

Схема, на которую показано, как управляющие данными используют портал Profisee для работы с данными, управляемыми Microsoft Purview и Profisee MDM.

Службы управления также разрешают контакты, полученные от Microsoft Purview, в полные сведения о профиле, доступные в Microsoft Entra ID. Благодаря полным сведениям о профиле стюарды могут эффективно сотрудничать с владельцами данных и экспертами, поскольку они работают над повышением качества master данных.

Диалоговое окно Profisee MDM Governance — это интерфейс, через который администраторы данных и пользователи взаимодействуют со сведениями на уровне управления. Этот пользовательский интерфейс отображает сведения, полученные из Microsoft Purview, для пользователей. Используя эти сведения, пользователи могут просматривать сведения о данных, из которых было запущено диалоговое окно. Если информации, предоставленной в диалоговом окне "Управление", недостаточно, пользователи могут перейти непосредственно к пользовательскому интерфейсу Microsoft Purview.

Диспетчеры данных и бизнес-пользователи могут получить доступ к трем типам ресурсов данных Profisee MDM через портал FastApp:

Экземпляр Profisee, предоставляющий свойства инфраструктуры конкретного экземпляра платформы Profisee MDM, который просматривает пользователь.
Сущность Profisee, которая предоставляет свойства сущности данных master (таблицы), которую в настоящее время просматривает администратор или пользователь.
Атрибут Profisee, предоставляющий свойства атрибута (например, поля или столбца), в котором заинтересован пользователь.

На следующем рисунке показано, как пользователи, работающие на портале FastApp, могут просматривать сведения об управлении для каждого из этих типов ресурсов. Сведения на уровне экземпляра можно найти в меню Справка . Вы можете получить доступ к сведениям о сущностях из заголовка зоны страницы, который содержит сетку сущностей. Сведения об атрибуте см. в форме, связанной с сеткой сущностей. Получите доступ к сведениям из меток, связанных с атрибутом .

Чтобы просмотреть сводные сведения, наведите указатель мыши на значок управления, например Microsoft Purview. Щелкните значок, чтобы отобразить диалоговое окно полного управления:

Чтобы перейти к полному интерфейсу microsoft Purview, щелкните значок управления в заголовке диалогового окна. Если щелкнуть значок, вы перейдете в Microsoft Purview в контексте просматриваемого ресурса. Затем вы можете легко перемещаться в Microsoft Purview в зависимости от потребностей обнаружения.

Обработка MDM

Сила решения MDM заключается в деталях.

Моделирование данных

Сердцем решения MDM является базовая модель данных. Он представляет определение master данных в организации. Разработка модели данных master включает следующие задачи:

Определите элементы исходных данных из всей системной среды, которые имеют решающее значение для операций вашей компании и имеют центральное значение для анализа производительности.
Дополните модель элементами, полученными из других сторонних источников, которые делают данные более полезными, точными и надежными.
Определите четкое владение и разрешения, связанные с элементами модели данных. Эта практика помогает обеспечить учет видимости и управления изменениями в структуре модели.

Управление данными обеспечивает критически важную основу поддержки:

Ваши Единый каталог системы управления, словарь, глоссарий и вспомогательные ресурсы являются бесценными источниками информации для администраторов данных системы управления. Эти ресурсы помогают стюардам определить, что следует включить в модель данных master. Они также помогают определить классификации владения и конфиденциальных данных в Microsoft Purview. Вы можете усилить терминологию в модели. Благодаря этой практике вы можете установить официальный лексикон для вашего бизнеса. Интегрируя терминологию, модель данных master также может перевести любые эзотерические термины, используемые в различных исходных системах, на утвержденный язык бизнеса.
Сторонние системы часто являются источником master данных, которые отделены от бизнес-систем. Очень важно добавить элементы в модель, чтобы захватить информацию, которую эти системы добавляют в данные, и отразить эти источники информации обратно в Единый каталог.
Вы можете использовать права владения и доступ к данным, как указано в каталоге управления, для принудительного применения разрешений на доступ и управление изменениями в решении MDM. В результате вы согласовываете корпоративные политики и потребности с инструментами, которые используются для управления данными master и управления ими.

Загрузка исходных данных

В идеале разрозненные бизнес-системы загружают данные в модель данных master практически без изменений или преобразования. Цель состоит в том, чтобы иметь централизованную версию данных в том виде, в который они существуют в исходной системе. Между исходной системой и репозиторием данных master должно быть как можно меньше точности. Ограничивая сложность процесса загрузки, вы упрощаете происхождение данных. При использовании таких технологий, как конвейеры фабрики данных, ваше решение для управления может проверить поток. Затем ваше решение сможет определить связи между исходной системой и моделью данных master. В частности, решение может извлекать данные из исходных систем с помощью любого из более чем 100 предварительно созданных соединителей и шлюза REST.

Обогащение и стандартизация данных

После загрузки исходных данных в модель их можно расширить, перейдя к богатым источникам сторонних данных. Эти системы можно использовать для улучшения данных, получаемых из бизнес-систем. Эти системы также можно использовать для дополнения исходных данных информацией, которая расширяет их использование для других подчиненных потребителей. Например:

Вы можете использовать службы проверки адресов, такие как Bing, для исправления и улучшения адресов исходной системы. Эти службы могут стандартизировать и добавлять недостающие сведения, которые имеют решающее значение для географического расположения и доставки почты.
Сторонние информационные службы, такие как Dun & Bradstreet, могут предоставлять данные общего назначения или отраслевые данные. Эти данные можно использовать для расширения значения золотой записи master. В частности, можно добавить сведения, которые были недоступны или конфликтуют в разрозненных бизнес-системах.

Инфраструктура публикации и подписки Profisee упрощает интеграцию собственных сторонних источников в решение по мере необходимости.

Способность понимать источники и значение этих данных так же важна для сторонних данных, как и для внутренних бизнес-систем. Интегрируя модель данных master в Единый каталог управления, вы можете управлять отношениями между внутренними и внешними источниками данных, обогащая модель подробными сведениями об управлении.

Проверка качества данных и управление ими

После загрузки и обогащения данных важно проверка их для качества и соблюдения стандартов, устанавливаемого в процессе управления. Microsoft Purview снова может стать богатым источником сведений о стандартах. Microsoft Purview можно использовать для управления правилами качества данных, применяемыми решением MDM. Profisee MDM также может публиковать правила качества данных в качестве ресурсов в каталоге управления. Правила могут быть подвергнуты проверке и утверждению, что помогает обеспечить контроль над стандартами качества, связанными с вашими master данными. Ваши правила привязаны к master сущностям и атрибутам данных, и эти атрибуты можно отследить в исходной системе. По этим причинам можно установить основную причину низкого качества данных, поступающих из бизнес-систем.

Администраторы данных являются экспертами в своей области управления. По мере того как администраторы устраняют проблемы, возникающие в решении master данных, они могут использовать каталог управления данными Microsoft Purview. Каталог помогает стюардам понять и устранить проблемы с качеством по мере их возникновения. При поддержке владельцев данных и экспертов стюарды готовы быстро и точно решать проблемы с качеством данных.

Сопоставление и выживаниеhip

Благодаря обогащенным и высококачественным исходным данным вы можете создать золотую запись master, которая представляет наиболее точную информацию в разрозненных бизнес-системах. На следующем рисунке показано, как все шаги завершаюся высококачественными данными, которые можно использовать для бизнес-анализа. В любое время эти данные можно синхронизировать в пространстве данных.

Механизм сопоставления Profisee MDM создает золотой рекорд master как часть процесса выживших. Правила survivorship выборочно заполняют золотую запись информацией, выбранной во всех исходных системах.

Подсистема отслеживания журналов и аудита Profisee MDM отслеживает изменения, внесенные пользователями. Эта подсистема также отслеживает изменения, которые системные процессы, такие как survivorship. Сопоставление и выживание позволяют отслеживать поток информации из исходных записей в master. Profisee MDM содержит запись исходной системы, которая отвечает за определенную исходную запись. Вы также знаете, как разнородные исходные записи заполняют золотую запись. В результате можно обеспечить происхождение данных из аналитики обратно в исходные данные, на которые ссылаются ваши отчеты.

Варианты использования MDM

Хотя существует множество вариантов использования MDM, некоторые варианты использования охватывают большинство реальных реализаций MDM. Эти варианты использования сосредоточены на одном домене, но они вряд ли будут созданы только из этого домена. Даже эти варианты использования, скорее всего, связаны с несколькими доменами. В каждом варианте использования MDM отвечает цели предоставления 360-градусного или единого представления основных типов данных.

Данные клиента

Консолидация и стандартизация данных клиентов для аналитики бизнес-аналитики является наиболее распространенным вариантом использования MDM. Организации собирают данные клиентов во все большем числе систем и приложений. Дублировать результат записей данных клиента. Эти дубликаты находятся в приложениях и между приложениями и содержат несоответствия и несоответствия. Низкое качество данных клиента ограничивает ценность современных аналитических решений. Симптомы включают следующие проблемы:

Трудно ответить на основные бизнес-вопросы, такие как "Кто наши лучшие клиенты?" и "Сколько новых клиентов у нас есть?" Ответы на эти вопросы требуют значительных усилий вручную.
У вас отсутствуют и неточные сведения о клиентах, что затрудняет свертывание или детализацию данных.
Вы не можете однозначно идентифицировать или проверить клиента в пределах организации и системы. В результате вы не можете анализировать данные клиентов в разных системах или подразделениях.
У вас есть некачественная аналитика из ИИ и машинного обучения из-за низкого качества входных данных.

Данные о продукте

Данные о продуктах часто распространяются в нескольких корпоративных приложениях, таких как планирование корпоративных ресурсов (ERP), управление жизненным циклом продукта (PLM) или приложения электронной коммерции. В результате сложно понять общий каталог продуктов, которые имеют несовместимые определения свойств, таких как название продукта, описание и характеристики. Различные определения эталонных данных усложняют эту ситуацию. Симптомы включают следующие проблемы:

Вы не можете поддерживать различные альтернативные иерархические пути свертывания и детализации для аналитики продуктов.
С готовыми товарами или материальными запасами вы испытываете трудности при оценке запасов продуктов и установленных поставщиков. У вас также есть дубликаты продуктов, что приводит к избытку запасов.
Трудно рационализировать продукты из-за конфликтующих определений. Такая ситуация приводит к отсутствующим или неточным сведениям в аналитике.

Справочные данные

В контексте аналитики эталонные данные существуют в виде многочисленных списков данных. Эти списки часто используются для дальнейшего описания других наборов master данных. Например, справочные данные включают списки стран или регионов, валют, цветов, размеров и единиц измерения. Несогласованные ссылочные данные приводят к очевидным ошибкам в нижестоящей аналитике. Симптомы:

Несколько представлений одного значения. Например, штат Джорджия указан как GA и Грузия, что затрудняет последовательное агрегирования и детализации данных.
Трудности с оптимизацией данных в разных системах из-за невозможности перехода или сопоставления ссылочных значений данных между системами. Например, красный цвет представлен R в системе ERP и красный в системе PLM.
Сложность связывания чисел между организациями из-за различий в установленных эталонных значениях данных, используемых для классификации данных.

Финансовые данные

Финансовые организации в значительной степени полагаются на данные для критически важных видов деятельности, таких как ежемесячные, квартальные и ежегодные отчеты. Организации с несколькими финансовыми и учетными системами часто имеют финансовые данные в нескольких общих реестрах, которые необходимо объединить для создания финансовых отчетов. MDM может предоставлять централизованный центр для сопоставления счетов, центров затрат, бизнес-сущностей и других финансовых наборов данных и управления ими. Через централизованный концентратор MDM предоставляет консолидированное представление этих наборов данных. Симптомы включают следующие проблемы:

Сложность агрегирования финансовых данных в нескольких системах в консолидированном представлении
Отсутствие процесса добавления и сопоставления новых элементов данных в финансовых системах
Задержки с подготовкой финансовых отчетов за конец периода

Развертывание этого сценария

Profisee MDM — это упакованая служба Kubernetes. Вы можете развернуть Profisee MDM как PaaS в клиенте Azure, в любом другом облачном или локальном клиенте. Вы также можете развернуть Profisee MDM как SaaS, который Profisee размещает и управляет.

Получите файл лицензии из Profisee, вызвав запрос в службу поддержки на https://support.profisee.com/. Единственным предварительным требованием для этого шага является необходимость предварительно определить URL-адрес, разрешенный DNS, настроенный profisee в Azure. Другими словами, сохраните DNS-имя узла подсистемы балансировки нагрузки, используемой в развертывании. Это будет что-то вроде "[profisee_name]. [регион].cloudapp.azure.com". Например, DNSHOSTNAME="purviewprofisee.southcentralus.cloudapp.azure.com". Укажите это DNSHOSTNAME в службу поддержки Profisee при запросе в службу поддержки, и Profisee отменить изменения с файлом лицензии. Этот файл необходимо указать во время следующих действий по настройке ниже.
Создайте управляемое удостоверение, назначаемое пользователем, в Azure. Для запуска развертывания необходимо создать управляемое удостоверение. После завершения развертывания управляемое удостоверение можно удалить. В зависимости от выбора шаблона ARM вам потребуются некоторые или все из следующих ролей и разрешений, назначенных управляемому удостоверению:
- Роль участника в группе ресурсов, в которой будет развернут AKS. Его можно назначить непосредственно группе ресурсов или на уровне подписки и вниз.
- Роль участника зоны DNS для конкретной зоны DNS, в которой будет создана запись , ИЛИ роль участника для группы ресурсов зоны DNS. Эта роль DNS необходима только при обновлении DNS, размещенной в Azure.
- Роль администратора приложения в Microsoft Entra ID, чтобы можно было назначить необходимые разрешения, необходимые для регистрации приложения.
- Участник управляемого удостоверения и администратор доступа пользователей на уровне подписки. Требуется для того, чтобы управляемое удостоверение шаблона ARM могло создать Key Vault определенное управляемое удостоверение, которое будет использоваться Profisee для извлечения значений, хранящихся в Key Vault.
Создайте регистрацию приложения , которое будет выступать в качестве удостоверения входа после установки Profisee. Он должен быть частью Microsoft Entra ID, который будет использоваться для входа в Profisee. Сохраните идентификатор приложения (клиента) для последующего использования.
- Настройте проверку подлинности в соответствии с приведенными ниже параметрами:
  - Поддержка маркеров идентификаторов (используется для неявных и гибридных потоков)
  - Задайте url-адрес перенаправления: https://< your-deployment-url>/profisee/auth/signin-microsoft
    - URL-адрес развертывания — это URL-адрес, который вы предоставили profisee на шаге 1.
Создайте субъект-службу , который Microsoft Purview будет использовать для выполнения некоторых действий во время развертывания Profisee. Чтобы создать субъект-службу, создайте приложение, как вы делали на предыдущем шаге, а затем создайте секрет приложения. Сохраните идентификатор объекта для приложения и значение созданного секрета для последующего использования.
- Предоставьте этому субъекту-службе (используя имя или идентификатор объекта, чтобы найти его) разрешения куратора данных в корневой коллекции учетной записи Microsoft Purview.
Перейдите к https://github.com/Profisee/kubernetes и выберите Microsoft Purview Azure ARM.
- Шаблон ARM развернет Profisee в инфраструктуре AKS с балансировкой нагрузки (Служба Azure Kubernetes) с помощью контроллера входящего трафика.
- Файл сведений включает шаги по устранению неполадок.
- Внимательно прочитайте все шаги и вики-страницу по устранению неполадок.
Выберите "Развернуть в Azure"
- Мастер конфигуратора запросит входные данные, как описано здесь. Развертывание кластера AKS с помощью шаблона ARM
- Убедитесь, что в развертывании предоставляется тот же RG (группа ресурсов), что и разрешения для управляемого удостоверения на шаге 1.
После завершения развертывания выберите Microsoft Purview "Перейти к группе ресурсов" и откройте кластер Profisee AKS.

Этапы типичного запуска развертывания Microsoft Purview — Profisee

На странице основные сведения выберите назначаемое пользователем управляемое удостоверение, созданное ранее , чтобы развернуть ресурсы.
Для конфигурации Profisee вы можете хранить сведения в Key Vault или предоставлять сведения во время развертывания.
1. Выберите версию Profisee и укажите учетную запись администратора и лицензию.
2. Выберите , чтобы настроить с помощью Microsoft Purview.
3. В поле Идентификатор клиента регистрации приложений укажите идентификатор приложения (клиента) для регистрации приложения, созданного ранее.
4. Выберите учетную запись Microsoft Purview.
5. Добавьте идентификатор объекта для субъекта-службы, созданного ранее.
6. Добавьте значение секрета, созданного для этого субъекта-службы.
7. Присвойте веб-приложению имя.
При необходимости на странице Kubernetes можно выбрать более старую версию Kubernetes, но оставить поле пустым , чтобы развернуть последнюю версию.

Совет

В большинстве случаев достаточно оставить поле версии пустым, если нет причин для развертывания с помощью более старой версии Kubernetes AKS.
На странице конфигурации SQL можно развернуть новый сервер Azure SQL или использовать существующий сервер Azure SQL. Вы укажите сведения об имени входа и имя базы данных для этого развертывания.
На странице конфигурации хранилища можно создать новую учетную запись хранения или использовать существующую. При выборе существующей учетной записи необходимо указать ключ доступа и имя существующей общей папки.
На странице конфигурации сети вы решите использовать Azure DNS по умолчанию или указать собственное имя узла DNS.

Совет

Да, рекомендуется использовать Azure DNS по умолчанию . Выбрав Да, средство развертывания автоматически создает сертификат Let's Encrypt для HTTP/TLS. При выборе параметра Нет необходимо указать различные параметры конфигурации сети и собственный сертификат HTTPS/TLS.

Предупреждение

URL-адрес Azure DNS по умолчанию (например, URL="https://purviewprofisee.southcentralus.cloudapp.azure.com/profisee") будет выбран мастером развертывания шаблонов ARM из файла лицензии, предоставленного вам Profisee. Если вы планируете внести изменения и не использовать Azure DNS по умолчанию, обязательно сообщите полную dns и полный URL-адрес Profisee DNS группе поддержки Profisee, чтобы они могли повторно создать и предоставить обновленный файл лицензии. Это приведет к неисправной установке Profisee.
На странице проверка и создание просмотрите сведения, чтобы убедиться, что они верны, пока мастер проверит вашу конфигурацию. После завершения проверки нажмите кнопку Создать.
Развертывание займет около 45–50 минут, чтобы завершить установку Profisee. Во время развертывания вы увидите все аспекты, которые выполняются, и можете обновить страницу, чтобы просмотреть ход выполнения. Развертывание будет отображаться как завершенное по завершении. Завершение этапа InstallProfiseePlatform также означает, что развертывание завершено!
После завершения развертывания откройте группу ресурсов, в которой развернута интеграция.
В разделе Выходные данные извлеките окончательный URL-адрес развертывания. Окончательный WEBURL — это то, что вам нужно вставить в адресную строку браузера и начать наслаждаться Profisee-Purview интеграции! Этот URL-адрес будет таким же, как вы предоставили службе поддержки Profisee при получении файла лицензии. Если вы не решили изменить формат URL-адреса, он будет выглядеть примерно так: "https://[profisee_name]. [регион].cloudapp.azure.com/profisee/
Заполните и увяжите данные в только что установленную среду Profisee, установив FastApp. Перейдите по URL-адресу развертывания Profisee и выберите /Profisee/api/client. Он должен выглядеть примерно так: "https://[profisee_name]. [регион].cloudapp.azure.com/profisee/api/client". Выберите служебную программу "Загрузки" для "Profisee FastApp Studio" и "Средства платформы Profisee". Установите оба этих средства на локальном клиентском компьютере.
Войдите в FastApp Studio и выполните оставшуюся часть администрирования MDM и управления конфигурацией для Profisee. После входа с помощью адреса электронной почты администратора, указанного во время настройки; Вы увидите меню администрирования на левой панели Profisee FastApp Studio. Перейдите к этим меню и выполните оставшуюся часть пути mdm с помощью средства FastApp. Возможность увидеть меню администрирования, как показано на рисунке ниже, подтверждает успешную установку Profisee на платформе Azure.
В качестве заключительного шага проверки для успешной установки и проверки успешности подключения Profisee к экземпляру Microsoft Purview перейдите по адресу /Profisee/api/governance/health Он должен выглядеть примерно так: "https://[profisee_name]. [регион].cloudapp.azure.com//Profisee/api/governance/health". Выходной ответ будет указывать слова "Состояние": "Работоспособен" во всех подсистемах Microsoft Purview.

{
  "OverallStatus": "Healthy",
  "TotalCheckDuration": "0:XXXXXXX",
  "DependencyHealthChecks": {
    "purview_service_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": "Successfully connected to Purview."
    },
    "governance_service_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": "Purview cache loaded successfully. 
      Total assets: NNN; Instances: 1; Entities: NNN; Attributes: NNN; Relationships: NNN; Hierarchies: NNN"
    },
    "messaging_db_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": null
    },
    "logging_db_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": null
    }
  }
}

Выходной ответ, похожий на приведенный выше, подтверждает успешную установку и завершает все шаги развертывания; и проверяет, успешно ли выполнено подключение Profisee к Microsoft Purview, и указывает, что две системы могут взаимодействовать должным образом.

Дальнейшие действия

Изучите возможности соединителя копирования REST в Фабрике данных.
Узнайте больше об использовании Profisee в Azure.
Узнайте, как развернуть Profisee в Azure с помощью шаблона Resource Manager Azure (arm).
Просмотрите шаблоны Фабрики данных Profisee.

Поделиться через