Dataapplikationer (källanpassade)
Om du väljer att inte implementera en dataagnostisk motor för att mata in data en gång från driftkällor, eller om komplexa anslutningar inte underlättas i din dataagnostiska motor, bör du skapa ett dataprogram som är källjusterat. Den bör följa samma flöde som en dataagnostisk motor skulle göra när data matas in från externa datakällor.
Överblick
Din programresursgrupp ansvarar endast för datainmatning och berikning från externa källor, till exempel telemetri, ekonomi eller CRM. Det här lagret kan användas i realtid, batch och mikrobatch.
I det här avsnittet beskrivs infrastrukturen som har distribuerats för varje datatillämpning (källa-anpassad) resursgrupp inom din datalagringszon.
Tips
För datanät kan du välja att distribuera en av dessa per källa eller en per domän. Principerna för datastandardisering, datakvalitet och data härkomst måste fortfarande följas. Dataplattformsteamen kan utveckla kodfragment av standardkod och använda dem för att uppnå detta.
För varje datatillämpning (källanpassad) resursgrupp i din datalandningszon bör du skapa:
- Ett Azure Key Vault
- En Azure Data Factory för att köra utvecklade tekniska pipelines som omvandlar data från rådata till berikade
- En tjänstprincip som används av dataapplikationen (anpassad till källan) för att distribuera inmatningsjobb till Azure Databricks (endast om Azure Databricks används)
Du kan också skapa instanser av andra tjänster, till exempel Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics och Azure Machine Learning.
Azure Key Vault
Använd Azure Key Vault-funktioner för att lagra hemligheter i Azure när det är möjligt.
Varje dataprogram (källanpassad) resursgrupp eller datadomän (om mesh) har ett Azure Key Vault som:
- Säkerställer att krypteringsnyckeln, hemligheten och certifikathärledning uppfyller kraven i din miljö
- Möjliggör bättre uppdelning av administrativa uppgifter
- Minskar risken för att blanda nycklar, integreringar och hemligheter för olika klassificeringar
Alla nycklar som är relaterade till din dataapplikation ska finnas i ditt Azure Key Vault.
Viktig
Nyckelvalv för dataapplikationer (källa-anpassade) bör följa modellen med minst behörighet och bör undvika både transaktionsskalningsgränser och delning av hemligheter mellan miljöer.
Azure Data Factory
Distribuera en Azure Data Factory så att ditt dataprogramteam kan använda pipelines för att omvandla data från rådata till berikade data genom utvecklade processteg. Använd mappning av dataflöden för omvandlingar och bryt ut för att använda antingen Azure Databricks, Azure Synapse Spark eller Microsoft Fabric för komplexa omvandlingar.
Du bör ansluta Azure Data Factory till DevOps-instansen av din dataapps (källjusterade) lagringsplats. Den här anslutningen tillåter CI/CD-distributioner.
Event Hubs
Om ditt dataprogram (källa-anpassat) har ett krav på att strömma in data kan du distribuera nedströms Event Hubs i din dataprogramresursgrupp (källa-anpassad).