Gegevenstoepassingen (bron uitgelijnd)
Als u ervoor kiest geen gegevensagnostische engine te implementeren voor het eenmaal opnemen van gegevens uit operationele bronnen of als complexe verbindingen niet worden gefaciliteerd in uw gegevensagnostische engine, moet u een gegevenstoepassing maken die is uitgelijnd op de bron. Deze moet dezelfde stroom volgen als een gegevensagnostische engine bij het opnemen van gegevens uit externe gegevensbronnen.
Overzicht
Uw toepassingsresourcegroep is alleen verantwoordelijk voor gegevensopname en verrijking van externe bronnen, zoals telemetrie, financiën of CRM. Deze laag kan in realtime, batch en microbatch worden uitgevoerd.
In deze sectie wordt de infrastructuur uitgelegd die is geïmplementeerd voor elke gegevenstoepassing (op de bron afgestemde) resourcegroep binnen uw gegevenslandingszone.
Fooi
Voor data mesh kunt u ervoor kiezen om een van deze te implementeren per bron of één per domein. De principes van gegevensstandaardisatie, gegevenskwaliteit en gegevensherkomst moeten nog steeds worden gevolgd. Data platform ops teams kunnen codefragmenten van standaardcode ontwikkelen en ze aanroepen om dit te bereiken.
Voor elke gegevenstoepassing (bron uitgelijnde) resourcegroep in uw gegevenslandingszone moet u het volgende maken:
- Een Azure Key Vault
- Een Azure Data Factory om ontwikkelde technische pijplijnen uit te voeren die gegevens transformeren van onbewerkte naar verrijkte
- Een service-principal die wordt gebruikt door de gegevenstoepassing (bron uitgelijnd) voor het implementeren van opnametaken in Azure Databricks (alleen als u Azure Databricks gebruikt)
U kunt ook exemplaren van andere services maken, zoals Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics en Azure Machine Learning.
Azure Key Vault
Azure Key Vault-functionaliteit gebruiken om geheimen in Azure op te slaan, indien mogelijk.
Elke gegevenstoepassing (bron-uitgelijnde) resourcegroep of gegevensdomein (indien mesh) heeft een Azure Key Vault die:
- Zorgt ervoor dat de versleutelingssleutel, het geheim en de certificaatversleuteling voldoen aan de vereisten van uw omgeving
- Maakt een betere scheiding van administratieve taken mogelijk
- Vermindert het risico op het combineren van sleutels, integraties en geheimen van verschillende classificaties
Alle sleutels met betrekking tot uw gegevenstoepassing (bron uitgelijnd) moeten zijn opgenomen in uw Azure Key Vault.
Belangrijk
Sleutelkluizen voor gegevenstoepassingen (bron uitgelijnd) moeten het model met minimale bevoegdheden volgen en moeten zowel limieten voor transactieschaal als het delen van geheimen in omgevingen voorkomen.
Azure Data Factory
Implementeer een Azure Data Factory zodat pijplijnen die zijn geschreven door uw datatoepassingsteam, gegevens kunnen ophalen van onbewerkte gegevens naar verrijkt met behulp van ontwikkelde pijplijnen. Gebruik toewijzingsgegevensstromen voor transformaties, en stap over naar Azure Databricks, Azure Synapse Spark of Microsoft Fabric voor complexe transformaties.
u moet Azure Data Factory verbinden met het DevOps-exemplaar van uw gegevenstoepassing (bronuitgelijnde) repository. Met deze verbinding kunnen CI/CD-implementaties worden gebruikt.
Event Hubs
Als uw bronuitgelijnde gegevenstoepassing de vereiste heeft om gegevens te streamen, kunt u downstream Event Hubs implementeren in de resourcegroep van uw bronuitgelijnde gegevenstoepassing.