Meister Datenverwaltung mit Semarchie

Hinweis

Der Microsoft Purview Data Catalog ändert seinen Namen in Microsoft Purview Unified Catalog. Alle Features bleiben unverändert. Die Namensänderung wird angezeigt, wenn die neue Microsoft Purview Data Governance-Benutzeroberfläche in Ihrer Region allgemein verfügbar ist. Überprüfen Sie den Namen in Ihrer Region.

Moderne Organisationen generieren große Datenmengen, häufig aus zahlreichen unterschiedlichen Quellen. Die Semarchy Data Platform ist der intelligente Datenhub für Datenintegration, master Datenverwaltung (MDM), Reference Data Management (RDM), Application Data Management (ADM), Datenintegration, Qualität und Governance. Semarchy Datenverwaltung (xDM) bietet extreme Flexibilität beim Definieren und Implementieren von Datenverwaltungsanwendungen und deren Freigabe für die Produktion.

Diese Architektur veranschaulicht, wie Sie Master Datenverwaltung (MDM) in das Azure-Ökosystem integrieren, um Qualität, Validierung, Abgleich, Deduplizierung, Erstellung, Zusammenstellung und Zusammenarbeit für Ihre kritischen Datenressourcen zu ermöglichen.

Architektur

Die folgende Architektur veranschaulicht die xDM-Architektur und den Datenfluss der Semarchie.

Datenfluss

Metadaten und Datenfluss umfassen die folgenden Schritte:

• Quelldatenintegration aus identifizierten Quellsystemen:

  • Diese Integration verwendet Azure Data Factory, Semarchy xDI (Datenintegrationskomponente von Semarchy) oder Ihre Integrationslösung.
  • semarchy xDM macht SQL- oder REST-Endpunkte für die Batch- und Echtzeitintegration verfügbar.
  • Eingehende Daten können mit semarchy xDM Discovery profiliert und überprüft werden, um die master Datenmodellstruktur und -regeln zu definieren.
  • Die REST-Endpunkte können jederzeit auch von Anwendungen verwendet werden, um mit den in xDM verwalteten master Daten zu interagieren (Lese-/Schreibzugriff) und xDM als master Daten-Back-End zu verwenden.

• Automatische Datenzertifizierung

  • Daten werden durch eine Kombination aus Regeln, Plug-Ins, KI-Modellen (einschließlich Azure Machine Learning und Azure OpenAI) und Diensten von Drittanbietern anreichern, Standardisierung und Qualität überprüft. semarchy xDM unterstützt diese automatisierten Qualitätsprozesse mit Datenrecycling und integriert Benutzerkorrekturen, um eine optimale Datenqualität zu gewährleisten.
  • Abgleichs-, Zusammenführungs- und Survivorship-Prozesse werden automatisch durchgeführt, indem eine komplexe Automatisierung mit fundierten Benutzerentscheidungen kombiniert wird, um genaue und zuverlässige konsolidierte goldene Datensätze zu erstellen.
  • Goldene Datensätze, die vom Zertifizierungsprozess erstellt werden, bieten vollständige Herkunft zu den Quellsystemen, Benutzeränderungsnachverfolgung und optionale Historisierung. Dies garantiert Datenintegrität, Rückverfolgbarkeit und umfassende Nachverfolgung von Verlaufsdatensätzen.

• Benutzerdefinierte Datenverwaltung Anwendungen sind für Benutzer verfügbar, um:

  • Authentifizieren über Microsoft Entra ID,
  • Durchsuchen und Durchsuchen von zertifizierten Daten mit vollständiger Rückverfolgbarkeit in jeder Zertifizierungsphase, zusammen mit einer umfassenden Historisierung,
  • Verwalten und Zusammenstellen von Daten:
    • Benutzer können neue Daten erstellen und importieren,
    • Fehler überprüfen und beheben,
    • manuelles Abgleichen und Zusammenführen von Datensätzen mit Außerkraftsetzungsoptionen,
    • und nach Bedarf vorläufiges oder hartes Löschen durchführen,
  • Zusammenarbeiten mit Data-Driven Workflows.

• Die goldene Datenverteilung an betriebliche und analytische Consumeranwendungen wie Azure Synapse Analytics, Power BI, Azure Machine Learning und Azure OpenAI stellt eine unterbrechungsfreie Integration und Nutzung auf verschiedenen Plattformen sicher:

  • Diese Integration verwendet Azure Data Factory, Semarchy xDI oder Ihre Integrationslösung.
  • Semarchy xDM bietet integrierte SQL- und REST-Endpunkte sowie Datenbenachrichtigungen für die ereignisbasierte Weitergabe in Azure Service Bus.

• Synchronisieren Sie xDM-Metadaten mit Microsoft Purview, um umfassende Transparenz und Herkunft des gesamten master Datenflusses zu erhalten.

Komponenten

Diese Architektur umfasst die folgenden Komponenten.

Kernkomponenten

• Semarchy xDM ist eine Plattform ohne Code, mit der Datenteams schnell angepasste master Datenverwaltungslösungen entwickeln können, die eine vielzahl von Funktionen für komplexe Datenökosysteme bieten.
• Azure Database for SQL Server und PostgreSQL sind vollständig verwaltete Datenbanken als Dienst mit integrierten Funktionen wie Hochverfügbarkeit und Intelligenz. Sie speichern sowohl die Semarchiemetadaten als auch master Datenhubs, die in xDM verwaltet werden. Die Datenverarbeitung erfolgt auf Datenbankebene und garantiert die beste Leistung und Skalierbarkeit.
• Microsoft Entra ID für die Benutzerauthentifizierung und einmaliges Anmelden bei der Semarchy-Plattform.
• Azure Key Vault ist ein Clouddienst, der sicheren Speicher für Geheimnisse bereitstellt. Sie können es verwenden, um in xDM verwendete Geheimnisse (z. B. Kennwörter) zu verschlüsseln, zu entschlüsseln und zu speichern.

KI-Komponenten

• Azure Machine Learning ist ein Clouddienst zum Beschleunigen und Verwalten von Machine Learning-Projekten (ML). Semarchy xDM kann benutzerdefinierte Azure Machine Learning-Modelle in den Datenhub-Zertifizierungsprozessen verwenden.
• Azure OpenAI ist eine Suite von KI-Diensten, die Zugriff auf die leistungsstarken Sprachmodelle von OpenAI bieten. Semarchy xDM enthält integrierte Plug-Ins, die diese Sprachmodelle verwenden, um Daten anzureichern und zu zertifizieren, z. B. für die Inhaltsgenerierung, Zusammenfassung oder Übersetzung.

Governancekomponenten

• Microsoft Purview ist eine Datengovernancelösung, die einen umfassenden Einblick in lokale und Clouddatenressourcen bietet. Semarchy xDM ist in Microsoft Purview integriert, um Einblicke in Semarchy Data Hubs als Datenprodukte und End-to-End-master Datenherkunft zu bieten.

Quell- und Verbrauchersysteme Diese Architektur umfasst unter anderem die folgenden Systeme, von denen Sie master Daten sammeln, die in Semarchy xDM verwaltet werden sollen, oder an die Sie goldene Daten senden, die von Semarchy xDM erzeugt werden.

• Azure Synapse Analytics ist ein schnelles, flexibles und vertrauenswürdiges Cloud-Data Warehouse, das eine Architektur mit massiver paralleler Verarbeitung verwendet. Semarchy Data Hubs fungieren als Anbieter zertifizierter Metadaten für Azure Synapse.
• Power BI ist eine Business Analytics-Suite, die Einblicke in Ihre organization liefert. Sie können Power BI verwenden, um Dashboards und Berichte auf Grundlage von Semarchy Discovery-Metriken und den Semarchy Data Hubs zu erstellen.

Szenariodetails

Datengesteuerte Initiativen wie digitale Transformation, Business Intelligence oder KI-Projekte erfordern genaue und vertrauenswürdige Daten. Master Datenverwaltung ist ein wesentlicher Schritt, um diese sauber genauen Daten bereitzustellen.

Ein gängiger Anwendungsfall für eine MDM-Lösung besteht darin, master Daten aus mehreren Quellen zu konsolidieren und gleichzeitig die gemeinsame Erstellung und Verwaltung dieser master Daten zu ermöglichen, um analytische und operative Anwendungen mit goldenen Daten zu bedienen.

Entwerfen von Datenanwendungen

Semarchy xDM Datenverwaltung Applications bieten allen Benutzern eine angepasste Benutzeroberfläche für den Zugriff auf und die Verwaltung ihrer Daten. Durch diese Anwendungen werden master Datensätze in vollständig anpassbaren Schnittstellen angezeigt, die Datenverwaltungs-, Erstellungs- und Stewardship-Vorgänge unterstützen. Benutzer mit unterschiedlichen Rollen und Personas arbeiten in Data-Driven Workflows zusammen, um Daten zu verwalten. Die Leistungsfähigkeit von Semarchy xDM liegt in der Flexibilität beim Entwerfen Ihrer Datenanwendungen, sodass sie sich an Ihre Domänen, organization und Geschäftsanforderungen anpassen können.

Integrieren und Zertifizieren master Daten

Daten, die in externen Quellsystemen zusammengestellt werden, z. B. Customer Relationship Management (CRM), Enterprise Resource Planning (ERP) oder anderen Systemen (als Herausgeber bezeichnet), werden über eine Integrationsschicht wie Azure Data Factory oder Semarchy xDI an die Datenhubs von Semarchy xDM gepusht.

Wenn Datenänderungen im Datenhub angezeigt werden, durchlaufen sie durch Das Laden oder Erstellen von Daten den gesamten Zertifizierungsprozess, in dem sie angereichert, standardisiert, auf Datenqualität überprüft und dann die Datensätze abgeglichen und zusammengeführt werden.

Nutzen von Daten aus dem Hub

Daten können mithilfe von REST-API-Endpunkten oder über SQL an Semarchy xDM gepusht oder von dort genutzt werden. Änderungen an den Daten, die über den Datenhub vorgenommen werden, können auch in Echtzeit mithilfe von Datenbenachrichtigungen an nachgeschaltete Systeme weitergegeben werden.

Überlegungen

Die Semarchy Data Platform verfügt über mehrere Features, die die Probleme der Zuverlässigkeit, Sicherheit, Kostenoptimierung, erstklassigen Betrieb und Leistungseffizienz behandeln. Weitere Informationen zu herausragender Architektur finden Sie in diesem Artikel zu den ** Säulen von gut entworfenen Azure-Frameworks.**

Zuverlässigkeit

Zuverlässigkeit stellt sicher, dass Ihre Anwendung die Versprechen erfüllt, die Sie Ihren Kunden geben. Weitere Informationen finden Sie unter Übersicht über die Zuverlässigkeitssäule.

Semarchy xDM wird nativ auf Azure Kubernetes Service und Azure SQL-Datenbank ausgeführt, die standardmäßige Funktionen zur Unterstützung von Hochverfügbarkeit bietet.

Sicherheit

Sicherheit schützt vor absichtlichen Angriffen und Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Sicherheitsübersicht auf der Microsoft Learn-Seite.

Semarchy xDM authentifiziert Benutzer über die Identitätsverwaltungsebene, die Rollenzuordnung, Suche und Profilsynchronisierung unterstützt. Es bietet native Unterstützung für mehrere IDPs, einschließlich Microsoft Entra ID. Es enthält auch erweiterte Sicherheitsfeatures wie differenzierte Berechtigungen zum Schützen von Zugriff und Vorgängen.

Leistungseffizienz

Leistungseffizienz ist die Fähigkeit Ihres Systems, die Anforderungen der Benutzer zu skalieren und effektiv zu erfüllen. Weitere Informationen finden Sie auf der Lernseite zur Leistungseffizienz in Microsoft Learn.

Semarchy xDM wird nativ auf Azure Kubernetes Service und Azure SQL-Datenbank ausgeführt. Sie können Azure Kubernetes Service für das hoch- und horizontale Hochskalieren konfigurieren. Sie können Azure SQL-Datenbank bereitstellen und konfigurieren, um Leistung, Skalierbarkeit und Kosten auszugleichen.

Kostenoptimierung

Bei der Kostenoptimierung geht es darum, Wege zu finden, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu steigern. Weitere Informationen finden Sie auf der Seite "Learn zur Kostenoptimierung" in Microsoft Learn.

Die laufenden Kosten bestehen aus der Lizenz für das Semarchy-Softwareabonnement und dem Azure-Verbrauch. Weitere Informationen finden Sie unter Semarchy.

Bereitstellen dieses Szenarios

So stellen Sie dieses Szenario bereit:

1. Bereitstellen von Semarchy xDM mithilfe von Azure Kubernetes Services
2. Konfigurieren Sie die Geheimnisverwaltung für die Verwendung von Azure Key Vault.
3. Konfigurieren der Authentifizierung mit Microsoft Entra ID.
4. Entwerfen und Bereitstellen Ihres angepassten master Datenmodells in xDM
5. Integrieren Sie Ihre Daten mithilfe von Azure Data Factory in xDM.

Mitwirkende an diesem Dokument

• David Cox
• Cedric Blanc
• François-Xavier Nicolas (FX)

Referenzdokument

• Bereitstellen von Semarchy xDM
• Verwaltung von Kopiergeheimnissen
• Konfigurieren der Authentifizierung mit Microsoft Entra ID
• Integrieren Ihrer Daten in xDM mithilfe von Azure Data Factory