通过

具有 Semarchy 的主数据管理

  • 项目

现代组织生成大量数据，通常来自众多不同的源。 Semarchy 数据平台是用于数据集成、主数据管理 (MDM) 、参考数据管理 (RDM) 、应用程序数据管理 (ADM) 、数据集成、质量和治理的智能数据中心。 semarchy 数据管理 (xDM) 为定义和实现数据管理应用程序并将其发布到生产环境带来了极大的灵活性。

此体系结构演示如何将 Master 数据管理 (MDM) 包含在 Azure 生态系统中，以便为关键数据资产启用质量、验证、匹配、重复数据删除、创作、策展和协作。

体系结构

以下体系结构演示了 Semarchy xDM 体系结构和数据流。

MDM 体系结构的屏幕截图。

数据流

元数据和数据流包括以下步骤：

  • 来自已标识源系统的源数据集成：

    • 此集成使用 Azure 数据工厂、Semarchy xDI (Semarchy 的数据集成组件) 或集成解决方案。
    • semarchy xDM 公开用于批处理和实时集成的 SQL 或 REST 终结点。
    • 可以使用 Semarchy xDM Discovery 分析传入数据，并查看这些数据以帮助定义主数据模型结构和规则。
    • 应用程序也可以随时使用 REST 终结点来 (读/写) 与 xDM 中管理的主数据进行交互，并使用 xDM 作为其主数据后端。

  • 自动数据认证

    • 数据通过规则、插件、AI 模型 (（包括 Azure 机器学习和 Azure OpenAI) ）以及第三方服务的组合进行扩充、标准化和质量验证。 semarchy xDM 通过数据回收支持这些自动化质量流程，并整合用户更正以确保最佳数据质量。
    • 通过将复杂的自动化与明智的用户决策相结合，自动执行匹配、合并和幸存过程，以生成准确可靠的合并黄金记录。
    • 认证过程生成的黄金记录具有源系统的完整世系、用户更改跟踪和可选的历史记录。 这可以保证数据完整性、可跟踪性和全面的历史记录跟踪。

  • 自定义数据管理应用程序可供用户：

    • 通过 Microsoft Entra ID 进行身份验证，
    • 浏览和搜索每个认证阶段的完整可追溯性的认证数据，以及全面的历史记录，
    • 管理和策展数据：
      • 用户可以创作和导入新数据，
      • 查看并修复错误，
      • 使用替代选项手动匹配和合并记录，
      • 并根据需要执行软删除或硬删除，
    • 使用 Data-Driven 工作流进行协作。

  • 向使用者操作和分析应用程序（如 Azure Synapse Analytics、Power BI、Azure 机器学习和 Azure OpenAI）分发黄金数据可确保跨平台不间断集成和使用：

    • 此集成使用 Azure 数据工厂、Semarchy xDI 或集成解决方案。
    • Semarchy xDM 提供内置的 SQL 和 REST 终结点，以及用于Azure 服务总线中基于事件的传播的数据通知。

  • 将 xDM 元数据 与 Microsoft Purview 同步，以获取整个主数据流的全面可见性和世系。

组件

此体系结构涉及以下组件。

核心组件

  • Semarchy xDM 是一个无代码平台，允许数据团队快速开发自定义的主数据管理解决方案，为复杂的数据生态系统提供广泛的功能。
  • Azure Database for SQL Server 和 PostgreSQL 是完全托管的数据库即服务，具有高可用性和智能等内置功能。 它们存储 XDM 中托管的 Semarchy 元数据和主数据中心。 数据处理在数据库层中执行，保证最佳性能和可伸缩性。
  • Microsoft Entra ID，用于用户身份验证和单一登录 Semarchy 平台。
  • Azure 密钥保管库 是一种云服务，可为机密提供安全存储。 可以使用它来加密、解密和存储密码 (机密，例如在 xDM 中使用的) 。

AI 组件

  • Azure 机器学习 是一项云服务，用于加速和管理机器学习 (ML) 项目。 Semarchy xDM 可以在数据中心认证过程中使用自定义的 Azure 机器学习模型。
  • Azure OpenAI 是一套 AI 服务，提供对 OpenAI 强大语言模型的访问权限。 Semarchy xDM 包括使用这些语言模型来扩充和认证数据的内置插件，例如用于内容生成、摘要或翻译。

治理组件

  • Microsoft Purview 是一种数据治理解决方案，可提供对本地和云数据资产的广泛可见性。 Semarchy xDM 与 Microsoft Purview 集成，以提供对 Semarchy Data Hub 作为数据产品和端到端主数据世系的见解。

源和使用者系统 此外，此体系结构包括以下系统，从中收集主数据以在 Semarchy xDM 中管理，或者将 Semarchy xDM 生成的黄金数据发送到其中。

  • Azure Synapse Analytics 是一个快速、灵活且受信任的云数据仓库，它使用大规模并行处理体系结构。 Semarchy Data Hub 充当Azure Synapse认证元数据的提供者。
  • Power BI 是一个业务分析套件，可在整个组织中提供见解。 可以使用 Power BI 基于 Semarchy Discovery 指标和 Semarchy Data Hub 生成仪表板和报表。

方案详细信息

数据驱动的计划（如数字化转型、商业智能或 AI 项目）需要准确且可信的数据。 主数据管理是提供此干净、准确的数据的重要步骤。

MDM 解决方案的一个常见用例是合并来自多个源的主数据，同时允许协作创作和管理此主数据，以使用黄金数据为分析和操作应用程序提供服务。

设计数据应用程序

Semarchy xDM 数据管理 应用程序为所有用户提供访问和管理其数据的自定义体验。 通过这些应用程序，主数据记录显示在完全可自定义的界面中，支持数据管理、创作和管理操作。 具有不同角色和角色的用户在 Data-Driven 工作流中协作管理数据。 Semarchy xDM 的强大功能在于数据应用程序设计的灵活性，使它们能够适应域、组织和业务需求。

集成和认证主数据

在外部源系统（例如客户关系管理 (CRM) 、企业资源规划 (ERP) ）或其他系统 (（称为发布者) ）中策展的数据通过集成层（如 Azure 数据工厂 或 Semarchy xDI）推送到 Semarchy xDM 的数据中心。

当数据更改出现在数据中心时，通过数据加载或创作，它将通过整个认证过程，在此期间，数据质量得到扩充、标准化、验证，然后匹配和合并记录。

使用中心中的数据

可以使用 REST API 终结点或通过 SQL 将数据推送到 Semarchy xDM 或使用数据。 通过数据中心对数据所做的更改还可以使用数据通知实时传播到下游系统。

注意事项

Semarchy 数据平台具有多项功能，可解决可靠性、安全性、成本优化、卓越运营和性能效率等问题。 有关卓越体系结构的详细信息，请参阅本文关于架构完善的 Azure 框架的 **支柱。**

可靠性

可靠性可确保应用程序履行对客户的承诺。 有关详细信息，请参阅可靠性支柱概述。

Semarchy xDM 在 Azure Kubernetes 服务 和 Azure SQL Database 上本机运行，该数据库提供现可用的功能来支持高可用性。

安全性

安全防护，防止故意攻击和滥用有价值的数据和系统。 有关详细信息，请参阅Microsoft学习页中的安全概述。

Semarchy xDM 通过其支持角色映射、查找和配置文件同步的标识管理层对用户进行身份验证。 它为多个 IDP（包括Microsoft Entra ID）提供本机支持。 它还包括高级安全功能，例如用于保护访问和操作的细化特权。

性能效率

性能效率是系统缩放和有效满足用户需求的能力。 有关详细信息，请参阅 microsoft learn 中的性能效率学习页。

Semarchy xDM 在 Azure Kubernetes 服务 和 Azure SQL Database 上本机运行。 可以将Azure Kubernetes 服务配置为纵向扩展和横向扩展。可以部署和配置 Azure SQL 数据库，以平衡性能、可伸缩性和成本。

成本优化

成本优化涉及找到减少不必要的费用和提高运营效率的方法。 有关详细信息，请参阅Microsoft learn 中的成本优化学习页。

运行成本包括 Semarchy 软件订阅许可证和 Azure 消耗。 有关详细信息，请联系 Semarchy。

部署此方案

若要部署此方案，请：

  1. 使用 Azure Kubernetes 服务部署 Semarchy xDM。
  2. 将机密管理配置为使用 Azure 密钥保管库。
  3. 使用 Microsoft Entra ID 配置身份验证。
  4. 在 xDM 中设计和部署自定义主数据模型
  5. 使用 Azure 数据工厂 将数据集成到 xDM 中。

本文档的参与者

  • David Cox
  • 塞德里克·布兰克
  • François-Xavier 尼古拉斯 (FX)

参考文档