Applicazioni dati (allineate alla fonte)
Se si sceglie di non implementare un motore indipendente dai dati per l'inserimento di dati una sola volta dalle origini operative o se le connessioni complesse non sono facilitate nel motore indipendente dai dati, è necessario creare un'applicazione dati allineata all'origine. Dovrebbe seguire lo stesso flusso di un motore agnostico rispetto ai dati quando assimila dati da fonti esterne.
Panoramica
Il gruppo di risorse dell'applicazione è responsabile dell'inserimento e dell'arricchimento dei dati solo da origini esterne, ad esempio dati di telemetria, finanza o CRM. Questo livello può funzionare in tempo reale, batch e micro-batch.
Questa sezione illustra l'infrastruttura distribuita per ogni gruppo di risorse dell'applicazione dati (allineato all'origine) all'interno della zona di destinazione dei dati.
Consiglio
Per il data mesh, puoi scegliere di distribuirne una per ogni fonte o una per dominio. I principi della standardizzazione dei dati, della qualità dei dati e della derivazione dei dati devono comunque essere seguiti. I team operativi della piattaforma dati possono sviluppare frammenti di codice standard e richiedere loro di ottenere questo risultato.
Per ogni gruppo di risorse dell'applicazione dati (allineato all'origine) nella zona di destinazione dei dati, è necessario creare:
- Un insieme di credenziali delle chiavi di Azure
- Azure Data Factory per eseguire pipeline di ingegneria sviluppate che trasformano i dati da grezzi ad arricchiti
- Principal di servizio usato dall'applicazione dati (allineato alla sorgente) per la distribuzione di processi di ingestione in Azure Databricks (solo se si usa Azure Databricks)
È anche possibile creare istanze di altri servizi, ad esempio Hub eventi di Azure, hub IoT di Azure, Analisi di flusso di Azure e Azure Machine Learning.
Azure Key Vault
Usare la funzionalità di Azure Key Vault per archiviare i segreti all'interno di Azure quando possibile.
Ogni gruppo di risorse allineato all'origine o ogni dominio di dati dell'applicazione (se mesh) ha un Azure Key Vault che:
- Garantisce che la chiave di crittografia, il segreto e la derivazione del certificato soddisfino i requisiti dell'ambiente
- Consente una migliore separazione dei compiti amministrativi
- Riduce il rischio di combinare chiavi, integrazioni e segreti di classificazioni diverse
Tutte le chiavi relative alla tua applicazione dati (allineate alla fonte) devono essere contenute nel tuo Azure Key Vault.
Importante
Gli archivi delle chiavi per l'applicazione di dati (allineati alla fonte) devono seguire il modello del privilegio minimo ed evitare sia i limiti di scalabilità delle transazioni sia la condivisione dei segreti tra gli ambienti.
Azure Data Factory
Distribuire un'istanza di Azure Data Factory per consentire alle pipeline scritte dal team dell'applicazione dati di acquisire dati da non elaborati a arricchiti usando pipeline sviluppate. Utilizzare i flussi di dati di mapping per le trasformazioni e passare a utilizzare Azure Databricks, Azure Synapse Spark o Microsoft Fabric per trasformazioni complesse.
È necessario connettere Azure Data Factory all'istanza di DevOps del repository dell'applicazione dati (allineato alla sorgente). Questa connessione consente distribuzioni CI/CD.
Hub eventi
Se la tua applicazione dati (allineata all'origine) ha un requisito per lo streaming dei dati, puoi distribuire gli Event Hub a valle nel gruppo di risorse della tua applicazione dati (allineata all'origine).