Aplicações de dados (alinhadas à origem)
Se você optar por não implementar um mecanismo agnóstico de dados para ingerir dados uma vez de fontes operacionais, ou se conexões complexas não forem facilitadas em seu mecanismo agnóstico de dados, você deverá criar um aplicativo de dados alinhado à fonte. Ele deve seguir o mesmo fluxo que um mecanismo agnóstico de dados faria ao ingerir dados de fontes de dados externas.
Visão geral
Seu grupo de recursos de aplicativo é responsável pela ingestão e enriquecimento de dados somente de fontes externas, como telemetria, finanças ou CRM. Esta camada pode operar no tempo real, processamento em lote e microlote.
Esta seção explica a infraestrutura implementada para cada grupo de recursos de aplicativo de dados (alinhado à fonte) dentro da zona de destino de dados.
Dica
Para malha de dados, você pode optar por implantar um deles por origem ou um por domínio. Os princípios de padronização de dados, qualidade de dados e linhagem de dados ainda devem ser seguidos. As equipes de operações da plataforma de dados podem desenvolver trechos de código padrão e chamá-los para conseguir isso.
Para cada grupo de recursos de aplicação de dados (alinhado à origem) na sua zona de recepção de dados, você deve criar:
- Um Cofre da Chave do Azure
- Um Azure Data Factory para executar pipelines de engenharia desenvolvidos que transformam dados de brutos em enriquecidos
- Uma entidade de serviço usada pelo aplicativo de dados (alinhada à origem) para implantar trabalhos de ingestão no Azure Databricks (somente se estiver usando o Azure Databricks)
Você também pode criar instâncias de outros serviços, como Hubs de Eventos do Azure, Hub IoT do Azure, Azure Stream Analytics e Azure Machine Learning.
Azure Key Vault
Use a funcionalidade do Cofre da Chave do Azure para armazenar segredos no Azure sempre que possível.
Cada grupo de recursos de aplicativo de dados (alinhado à fonte) ou domínio de dados (se for malha) tem um Cofre de Chaves do Azure que:
- Garante que a chave de criptografia, o segredo e a derivação do certificado atendam aos requisitos do seu ambiente
- Permite uma melhor separação das funções administrativas
- Reduz o risco de misturar chaves, integrações e segredos de classificações diferentes
Todas as chaves relacionadas ao seu aplicativo de dados (alinhadas à origem) devem estar contidas no seu Cofre de Chaves do Azure.
Importante
Os cofres de chaves de aplicativos de dados (alinhados à origem) devem seguir o modelo de privilégios mínimos e devem evitar limites de escala de transação e compartilhamento de segredos entre ambientes.
Azure Data Factory
Implemente o Azure Data Factory para permitir que pipelines escritos pela sua equipa de aplicações de dados transformem dados em estado bruto para um estado enriquecido, utilizando pipelines desenvolvidos. Use fluxos de dados de mapeamento para transformações e recorra a utilizar Azure Databricks, Azure Synapse Spark ou Microsoft Fabric para transformações complexas.
Você deve conectar o Azure Data Factory à instância de DevOps do repositório da sua aplicação de dados (origem alinhada). Essa conexão permite implantações de CI/CD.
Hubs de Eventos
Se seu aplicativo de dados (alinhado à origem) tiver um requisito para transmitir dados, você poderá implantar Hubs de Eventos downstream em seu grupo de recursos de aplicativo de dados (alinhado à origem).