Master Gestione dati con Semarchy

Le organizzazioni moderne generano grandi quantità di dati, spesso da numerose origini diverse. Semarchy Data Platform è l'hub dati intelligente per l'integrazione dei dati, la gestione dei dati master (MDM), la gestione dei dati di riferimento (RDM), la gestione dei dati delle applicazioni (ADM), l'integrazione dei dati, la qualità e la governance. Semarchy Gestione dati (xDM) offre estrema agilità per la definizione e l'implementazione di applicazioni di gestione dei dati e il loro rilascio in produzione.

Questa architettura illustra come includere Master Gestione dati (MDM) nell'ecosistema di Azure per abilitare qualità, convalida, corrispondenza, deduplicazione, creazione, cura e collaborazione per gli asset di dati critici.

Architettura

L'architettura seguente illustra l'architettura xDM di Semarchy e il flusso di dati.

Flusso di dati

I metadati e il flusso di dati includono i passaggi seguenti:

• Integrazione dei dati di origine da sistemi di origine identificati:

  • Questa integrazione usa Azure Data Factory, Semarchy xDI (componente di integrazione dei dati di Semarchy) o la soluzione di integrazione.
  • semarchy xDM espone gli endpoint SQL o REST per l'integrazione batch e in tempo reale.
  • I dati in ingresso possono essere profilati con l'individuazione xDM di Semarchy ed esaminati per definire la struttura e le regole del modello di dati master.
  • In qualsiasi momento, gli endpoint REST possono essere usati anche dalle applicazioni per interagire (lettura/scrittura) con i dati master gestiti in xDM e usare xDM come back-end dei dati master.

• Certificazione automatica dei dati

  • I dati vengono sottoposti a arricchimento, standardizzazione e convalida della qualità tramite una combinazione di regole, plug-in, modelli di intelligenza artificiale (inclusi Azure Machine Learning e Azure OpenAI) e servizi di terze parti. semarchy xDM supporta questi processi di qualità automatizzati con riciclo dei dati e incorpora correzioni utente per garantire una qualità ottimale dei dati.
  • I processi di corrispondenza, unione e sopravvivenza vengono eseguiti automaticamente combinando automazione sofisticata con decisioni informate degli utenti, per produrre record d'oro consolidati accurati e affidabili.
  • I record golden prodotti dal processo di certificazione funzionalità completa derivazione per i sistemi di origine, rilevamento delle modifiche utente, e istorizzazione facoltativa. Ciò garantisce l'integrità dei dati, la tracciabilità e il rilevamento completo dei record cronologici.

• Le applicazioni Gestione dati personalizzate sono disponibili per gli utenti per:

  • Eseguire l'autenticazione tramite Microsoft Entra ID,
  • Esplorare e cercare i dati certificati con la tracciabilità completa in ogni fase di certificazione, insieme a una istorizzazione completa,
  • Gestire e curare i dati:
    • Gli utenti possono creare e importare nuovi dati,
    • rivedere e correggere gli errori,
    • associare e unire manualmente i record con le opzioni di sostituzione,
    • ed eseguire eliminazioni morbide o rigide in base alle esigenze,
  • Collaborare con i flussi di lavoro Data-Driven.

• La distribuzione dei dati golden alle applicazioni operative e analitiche per i consumer, ad esempio Azure Synapse Analytics, Power BI, Azure Machine Learning e Azure OpenAI, garantisce l'integrazione e l'utilizzo ininterrotti tra le piattaforme:

  • Questa integrazione usa Azure Data Factory, Semarchy xDI o la soluzione di integrazione.
  • Semarchy xDM fornisce endpoint SQL e REST predefiniti e notifiche dei dati per la propagazione basata su eventi in bus di servizio di Azure.

• Sincronizzare i metadati xDM con Microsoft Purview per ottenere visibilità completa e derivazione dell'intero flusso di dati master.

Componenti

Questa architettura include i componenti seguenti.

Componenti di base

• Semarchy xDM è una piattaforma senza codice che consente ai team di dati di sviluppare rapidamente soluzioni di gestione dei dati master personalizzate, offrendo un'ampia gamma di funzionalità per ecosistemi di dati complessi.
• Database di Azure per SQL Server e PostgreSQL sono database completamente gestiti come servizio con funzionalità predefinite, ad esempio disponibilità elevata e intelligence. Archiviano sia i metadati di Semarchy che gli hub dati master gestiti in xDM. L'elaborazione dei dati viene eseguita a livello di database, garantendo prestazioni e scalabilità ottimali.
• Microsoft Entra ID, per l'autenticazione utente e l'accesso Single Sign-On alla piattaforma Semarchy.
• Azure Key Vault è un servizio cloud che fornisce archiviazione sicura per i segreti. È possibile usarlo per crittografare, decrittografare e archiviare i segreti (ad esempio le password) usati in xDM.

Componenti di intelligenza artificiale

• Azure Machine Learning è un servizio cloud per l'accelerazione e la gestione di progetti di Machine Learning (ML). Semarchy xDM può usare modelli di Azure Machine Learning personalizzati nei processi di certificazione dell'hub dati.
• Azure OpenAI è una suite di servizi di intelligenza artificiale che fornisce l'accesso ai potenti modelli linguistici di OpenAI. Semarchy xDM include plug-in predefiniti che usano questi modelli linguistici per arricchire e certificare i dati, ad esempio per la generazione di contenuto, il riepilogo o la traduzione.

Componenti di governance

• Microsoft Purview è una soluzione di governance dei dati che offre un'ampia visibilità sui data estate locali e cloud. Semarchy xDM si integra con Microsoft Purview per fornire informazioni dettagliate su Semarchy Data Hub come prodotti dati e derivazione dei dati master end-to-end.

Sistemi di origine e consumer Tra gli altri, questa architettura include i sistemi seguenti da cui si raccolgono i dati master da gestire in Semarchy xDM o ai quali si inviano dati golden prodotti da Semarchy xDM.

• Azure Synapse Analytics è un data warehouse cloud veloce, flessibile e attendibile che usa un'architettura di elaborazione parallela elevata. Semarchy Data Hubs funge da provider di metadati certificati per Azure Synapse.
• Power BI è una suite di analisi aziendale che offre informazioni dettagliate in tutta l'organizzazione. È possibile usare Power BI per creare dashboard e report in cima alle metriche di Individuazione Semarchy e all'hub dati di Semarchy.

Dettagli dello scenario

Le iniziative basate sui dati, ad esempio la trasformazione digitale, la business intelligence o i progetti di intelligenza artificiale, richiedono dati accurati e attendibili. Master Gestione dati è un passaggio essenziale per fornire questi dati puliti e accurati.

Un caso d'uso comune per una soluzione MDM consiste nel consolidare i dati master da più origini, consentendo al contempo la creazione collaborativa e la gestione di questi dati master per servire applicazioni analitiche e operative con dati golden.

Progettare applicazioni dati

Semarchy xDM Gestione dati Applications offre a tutti gli utenti un'esperienza personalizzata per accedere ai dati e gestirli. Tramite queste applicazioni, i record dei dati master vengono visualizzati in interfacce completamente personalizzabili, che supportano la gestione dei dati, la creazione e le operazioni di gestione dei dati. Gli utenti con ruoli e persone diversi collaborano ai flussi di lavoro Data-Driven per gestire i dati. La potenza di Semarchy xDM risiede nella flessibilità nella progettazione delle applicazioni dati, consentendo loro di adattarsi ai domini, all'organizzazione e alle esigenze aziendali.

Integrare e certificare i dati master

I dati curati nei sistemi di origine esterna, ad esempio Customer Relationship Management (CRM), Enterprise Resource Planning (ERP) o altri sistemi (noti come server di pubblicazione) vengono sottoposti a push negli hub dati di Semarchy xDM tramite un livello di integrazione, ad esempio Azure Data Factory o Semarchy xDI.

Quando le modifiche dei dati vengono visualizzate nell'hub dati, tramite caricamento o creazione di dati, passa attraverso l'intero processo di certificazione, durante il quale viene arricchita, standardizzata, convalidata per la qualità dei dati e quindi confrontata e unita i record.

Usare i dati dall'hub

È possibile eseguire il push o l'utilizzo dei dati da Semarchy xDM usando gli endpoint dell'API REST o tramite SQL. Le modifiche apportate ai dati tramite l'hub dati possono anche essere propagate in tempo reale ai sistemi downstream usando le notifiche dei dati.

Considerazioni

Semarchy Data Platform offre diverse funzionalità che affrontano i problemi di affidabilità, sicurezza, ottimizzazione dei costi, eccellenza operativa ed efficienza delle prestazioni. Altre informazioni sull'eccellenza dell'architettura sono disponibili in questo articolo sui **pilastri di framework di Azure ben progettati.**

Affidabilità

L'affidabilità garantisce che l'applicazione soddisfi le promesse fatte ai clienti. Per altre informazioni, vedere Panoramica del pilastro dell'affidabilità.

Semarchy xDM viene eseguito in modo nativo nel database servizio Azure Kubernetes e Azure SQL, che offre funzionalità predefinite per supportare la disponibilità elevata.

Sicurezza

La sicurezza protegge dagli attacchi intenzionali e dall'uso improprio di dati e sistemi preziosi. Per altre informazioni, vedere Panoramica della sicurezza nella pagina di Microsoft Learn.

Semarchy xDM autentica gli utenti tramite il livello di gestione delle identità che supporta il mapping dei ruoli, la ricerca e la sincronizzazione dei profili. Fornisce supporto nativo per più indirizzi IP, tra cui Microsoft Entra ID. Include anche funzionalità di sicurezza avanzate, ad esempio privilegi granulari per proteggere l'accesso e le operazioni.

Efficienza delle prestazioni

L'efficienza delle prestazioni è la capacità del sistema di ridimensionare e soddisfare in modo efficace le esigenze degli utenti. Per altre informazioni, vedere la pagina informazioni sull'efficienza delle prestazioni in Microsoft Learn.

Semarchy xDM viene eseguito in modo nativo nel database servizio Azure Kubernetes e Azure SQL. È possibile configurare servizio Azure Kubernetes per aumentare e ridurre le prestazioni. È possibile distribuire e configurare Azure SQL database per bilanciare prestazioni, scalabilità e costi.

Ottimizzazione costi

L'ottimizzazione dei costi implica la ricerca di modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere la pagina informazioni sull'ottimizzazione dei costi in Microsoft Learn.

I costi di esecuzione sono costituiti dalla licenza di sottoscrizione software Semarchy e dall'utilizzo di Azure. Per altre informazioni, contattare Semarchy.

Distribuire questo scenario

Per distribuire questo scenario:

1. Distribuire Semarchy xDM usando i servizi Azure Kubernetes.
2. Configurare La gestione dei segreti per l'uso di Azure Key Vault.
3. Configurare l'autenticazione con Microsoft Entra ID.
4. Progettare e distribuire il modello di dati master personalizzato in xDM
5. Integrare i dati in xDM usando Azure Data Factory.

Collaboratori di questo documento

• David Cox
• Cedric Blanc
• François-Xavier Nicolas (FX)

Documento di riferimento

• Distribuire Semarchy xDM
• Gestione dei segreti di copia
• Configurare l'autenticazione con Microsoft Entra ID
• Integrare i dati in xDM usando Azure Data Factory