Master Gestion des données avec Semarchy

Les organisations modernes génèrent de grandes quantités de données, souvent à partir de nombreuses sources disparates. Semarchy Data Platform est le hub de données intelligent pour l’intégration des données, master la gestion des données (GPM), la gestion des données de référence (RDM), la gestion des données d’application (ADM), l’intégration des données, la qualité et la gouvernance. Semarchy Gestion des données (xDM) offre une agilité extrême pour la définition et l’implémentation d’applications de gestion des données et leur mise en production.

Cette architecture montre comment inclure master Gestion des données (MDM) dans l’écosystème Azure pour permettre la qualité, la validation, la correspondance, la déduplication, la création, la curation et la collaboration pour vos ressources de données critiques.

Architecture

L’architecture suivante illustre l’architecture et le flux de données Semarchy xDM.

Data Flow

Les métadonnées et le flux de données incluent les étapes suivantes :

• Intégration des données sources à partir de systèmes sources identifiés :

  • Cette intégration utilise Azure Data Factory, Semarchy xDI (composant d’intégration de données de Semarchy) ou votre solution d’intégration.
  • semarchy xDM expose des points de terminaison SQL ou REST pour l’intégration par lots et en temps réel.
  • Les données entrantes peuvent être profilées avec semarchy xDM Discovery et examinées pour aider à définir la structure et les règles du modèle de données master.
  • À tout moment, les points de terminaison REST peuvent également être utilisés par les applications pour interagir (en lecture/écriture) avec les données master gérées dans xDM, et utiliser xDM comme master back-end de données.

• Certification automatique des données

  • Les données sont enrichies, standardisées et validées par le biais d’une combinaison de règles, de plug-ins, de modèles IA (y compris Azure Machine Learning et Azure OpenAI) et de services tiers. semarchy xDM prend en charge ces processus de qualité automatisés avec le recyclage des données et intègre des corrections utilisateur pour garantir une qualité optimale des données.
  • Les processus de correspondance, de fusion et de survie sont automatiquement exécutés en combinant une automatisation sophistiquée avec des décisions avisées des utilisateurs, afin de produire des enregistrements d’or consolidés précis et fiables.
  • Les enregistrements dorés produits par le processus de certification proposent une traçabilité complète aux systèmes sources, le suivi des modifications utilisateur et l’historisation facultative. Cela garantit l’intégrité des données, la traçabilité et le suivi complet des enregistrements historiques.

• Les applications Gestion des données personnalisées sont disponibles pour permettre aux utilisateurs de :

  • Authentifiez-vous via Microsoft Entra ID,
  • Parcourir et rechercher des données certifiées avec une traçabilité complète à chaque étape de certification, ainsi qu’une historisation complète,
  • Gérer et organiser les données :
    • Les utilisateurs peuvent créer et importer de nouvelles données,
    • examiner et corriger les erreurs,
    • faire correspondre et fusionner manuellement des enregistrements avec des options de remplacement,
    • et effectuer des suppressions réversibles ou définitives si nécessaire,
  • Collaborez avec Data-Driven workflows.

• La distribution de données de référence aux applications opérationnelles et analytiques grand public, telles que Azure Synapse Analytics, Power BI, Azure Machine Learning et Azure OpenAI, garantit une intégration et une utilisation ininterrompues entre les plateformes :

  • Cette intégration utilise Azure Data Factory, Semarchy xDI ou votre solution d’intégration.
  • Semarchy xDM fournit des points de terminaison SQL et REST intégrés, ainsi que des notifications de données pour la propagation basée sur les événements dans Azure Service Bus.

• Synchronisez les métadonnées xDM avec Microsoft Purview pour obtenir une visibilité et une traçabilité complètes de l’ensemble du flux de données master.

Composants

Cette architecture implique les composants suivants.

Composants principaux

• Semarchy xDM est une plateforme sans code qui permet aux équipes de données de développer rapidement des solutions de gestion de données master personnalisées, offrant un large éventail de fonctionnalités pour les écosystèmes de données complexes.
• Azure Database pour SQL Server et PostgreSQL sont des bases de données entièrement managées en tant que service avec des fonctionnalités intégrées, telles que la haute disponibilité et l’intelligence. Ils stockent les métadonnées Semarchy et master hubs de données gérés dans xDM. Le traitement des données est effectué dans la couche de base de données, garantissant les meilleures performances et la scalabilité.
• Microsoft Entra ID, pour l’authentification utilisateur et l’authentification unique sur la plateforme Semarchy.
• Azure Key Vault est un service cloud qui fournit un stockage sécurisé pour les secrets. Vous pouvez l’utiliser pour chiffrer, déchiffrer et stocker des secrets (mots de passe, par exemple) utilisés dans xDM.

Composants IA

• Azure Machine Learning est un service cloud permettant d’accélérer et de gérer des projets Machine Learning (ML). Semarchy xDM peut utiliser des modèles Azure Machine Learning personnalisés dans les processus de certification du hub de données.
• Azure OpenAI est une suite de services IA qui donne accès aux modèles de langage puissants d’OpenAI. Semarchy xDM inclut des plug-ins intégrés utilisant ces modèles de langage pour enrichir et certifier des données, par exemple pour la génération de contenu, le résumé ou la traduction.

Composants de gouvernance

• Microsoft Purview est une solution de gouvernance des données qui offre une visibilité étendue sur les patrimoines de données locaux et cloud. Semarchy xDM s’intègre à Microsoft Purview pour fournir des insights sur Semarchy Data Hubs en tant que produits de données et master traçabilité des données de bout en bout.

Systèmes source et consommateur Entre autres, cette architecture inclut les systèmes suivants à partir desquels vous collectez master données à gérer dans Semarchy xDM, ou vers lesquels vous envoyez des données golden produites par Semarchy xDM.

• Azure Synapse Analytics est un entrepôt de données cloud rapide, flexible et fiable qui utilise une architecture de traitement massivement parallèle. Les hubs de données Semarchy agissent en tant que fournisseurs de métadonnées certifiées pour Azure Synapse.
• Power BI est une suite d’analytique métier qui fournit des insights tout au long de votre organization. Vous pouvez utiliser Power BI pour créer des tableaux de bord et des rapports sur les métriques de découverte de Semarchy et les hubs de données Semarchy.

Détails du scénario

Les initiatives pilotées par les données, telles que les projets de transformation numérique, d’intelligence décisionnelle ou d’IA, nécessitent des données précises et fiables. Master Gestion des données est une étape essentielle pour fournir ces données propre et précises.

Un cas d’usage courant pour une solution GPM consiste à consolider master données provenant de plusieurs sources tout en permettant la création et la gestion collaboratives de ces données master afin de servir des applications analytiques et opérationnelles avec des données golden.

Concevoir des applications de données

Les applications Semarchy xDM Gestion des données offrent à tous les utilisateurs une expérience personnalisée pour accéder à leurs données et les gérer. Grâce à ces applications, master enregistrements de données sont affichés dans des interfaces entièrement personnalisables, prenant en charge les opérations de gestion des données, de création et de gestion. Les utilisateurs ayant des rôles et des personnages différents collaborent dans Data-Driven workflows pour gérer les données. La puissance de Semarchy xDM réside dans la flexibilité de la conception de vos applications de données, ce qui leur permet de s’adapter à vos domaines, organization et besoins métier.

Intégrer et certifier des données master

Les données organisées dans des systèmes sources externes, tels que la gestion de la relation client (CRM), la planification des ressources d’entreprise (ERP) ou d’autres systèmes (appelés éditeurs) sont envoyées aux hubs de données de Semarchy xDM via une couche d’intégration, telle qu’Azure Data Factory ou Semarchy xDI.

À mesure que les modifications de données apparaissent dans le hub de données, par le biais de chargements de données ou de création, elles passent tout le processus de certification, au cours duquel elles sont enrichies, standardisées, validées pour la qualité des données, puis mises en correspondance et fusionnées les enregistrements.

Consommer des données à partir du hub

Les données peuvent être envoyées (push) ou consommées à partir de Semarchy xDM à l’aide de points de terminaison d’API REST ou via SQL. Les modifications apportées aux données via le hub de données peuvent également être propagées en temps réel aux systèmes en aval à l’aide de notifications de données.

Considérations

Semarchy Data Platform propose plusieurs fonctionnalités qui répondent aux problèmes de fiabilité, de sécurité, d’optimisation des coûts, d’excellence opérationnelle et d’efficacité des performances. Vous trouverez plus d’informations sur l’excellence architecturale dans cet article sur les ** piliers des infrastructures Azure bien conçues.**

Fiabilité

La fiabilité garantit que votre application remplit les promesses que vous faites à vos clients. Pour plus d’informations, consultez Vue d’ensemble du pilier de fiabilité.

Semarchy xDM s’exécute en mode natif sur Azure Kubernetes Service et Azure SQL Database, qui offre des fonctionnalités prêtes à l’emploi pour prendre en charge la haute disponibilité.

Sécurité

Boucliers de sécurité contre les attaques intentionnelles et l’utilisation abusive de vos données et systèmes précieux. Pour plus d’informations, consultez Vue d’ensemble de la sécurité dans la page Microsoft Learn.

Semarchy xDM authentifie les utilisateurs via sa couche de gestion des identités qui prend en charge le mappage des rôles, la recherche et la synchronisation de profils. Il fournit une prise en charge native pour plusieurs fournisseurs d’identité, y compris Microsoft Entra ID. Il inclut également des fonctionnalités de sécurité avancées telles que des privilèges affinés pour sécuriser l’accès et les opérations.

Efficacité des performances

L’efficacité des performances est la capacité de votre système à mettre à l’échelle et à répondre efficacement aux besoins des utilisateurs. Pour plus d’informations, consultez la page d’apprentissage sur l’efficacité des performances dans microsoft learn.

Semarchy xDM s’exécute en mode natif sur Azure Kubernetes Service et Azure SQL Database. Vous pouvez configurer Azure Kubernetes Service pour effectuer un scale-up et un scale-out. Vous pouvez déployer et configurer Azure SQL Base de données pour équilibrer les performances, la scalabilité et les coûts.

Optimisation des coûts

L’optimisation des coûts consiste à trouver des moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez la page d’apprentissage optimisation des coûts dans Microsoft learn.

Les coûts d’exécution se composent de la licence d’abonnement logiciel Semarchy et de la consommation Azure. Pour plus d’informations, contactez Semarchy.

Déployer ce scénario

Pour déployer ce scénario :

1. Déployez Semarchy xDM à l’aide d’Azure Kubernetes Services.
2. Configurez La gestion des secrets pour utiliser Azure Key Vault.
3. Configurez l’authentification avec Microsoft Entra ID.
4. Concevoir et déployer votre modèle de données master personnalisé dans xDM
5. Intégrez vos données à xDM à l’aide de Azure Data Factory.

Contributeurs à ce document

• David Cox
• Cédric Blanc
• François-Xavier Nicolas (FX)

Document de référence

• Déployer Semarchy xDM
• Gestion des secrets de copie
• Configurer l’authentification avec Microsoft Entra ID
• Intégrer vos données dans xDM à l’aide de Azure Data Factory