Aplicativos de dados (alinhados à origem)
Se você optar por não implementar um mecanismo independente de dados para ingerir dados uma vez de fontes operacionais ou se conexões complexas não forem facilitadas em seu mecanismo independente de dados, você deverá criar um aplicativo de dados alinhado à origem. Ele deve seguir o mesmo fluxo que um mecanismo independente de dados faria ao ingerir dados de fontes de dados externas.
Visão geral
O grupo de recursos do aplicativo é responsável pela ingestão e enriquecimento de dados somente de fontes externas, como telemetria, finanças ou CRM. Essa camada pode operar em tempo real, em lote e em microlote.
Esta seção explica a infraestrutura implantada para cada grupo de recursos de (alinhado à origem) de aplicativo de dados dentro da zona de destino.
Dica
Para a malha de dados, você pode optar por implantar um destes por origem ou um por domínio. Os princípios de padronização de dados, qualidade de dados e linhagem de dados ainda devem ser seguidos. As equipes de operações da plataforma de dados podem desenvolver trechos de código padrão e utilizá-los para isso.
Para cada grupo de recursos de aplicação de dados (alinhado à origem) na zona de destino de dados, você deve criar:
- Um Azure Key Vault
- Um Azure Data Factory para executar pipelines de engenharia desenvolvidos para transformar dados de brutos em enriquecidos
- Uma entidade de serviço usada pelo aplicativo de dados (alinhado à origem) para implantar trabalhos de ingestão no Azure Databricks (apenas se estiver usando o Azure Databricks)
Você também pode criar instâncias de outros serviços, como Hubs de Eventos do Azure, Hub IoT do Azure, Azure Stream Analytics e Azure Machine Learning.
Azure Key Vault
Use a funcionalidade do Azure Key Vault para armazenar segredos no Azure sempre que possível.
Cada grupo de recursos de aplicativo de dados (alinhado à origem) ou domínio de dados (se em malha) tem um Azure Key Vault que:
- Garante que a chave de criptografia, o segredo e a derivação de certificado atendam aos requisitos do seu ambiente
- Permite uma melhor separação de tarefas administrativas
- Reduz o risco de misturar chaves, integrações e segredos de classificações diferentes
Todas as chaves relacionadas ao aplicativo de dados (alinhadas à origem) devem estar contidas no Azure Key Vault.
Importante
Os cofres de chaves do aplicativo de dados (alinhado à origem) devem seguir o modelo de privilégios mínimos e evitar os limites de escala de transações e o compartilhamento de segredos entre ambientes.
Azure Data Factory
Implante um Azure Data Factory para permitir que pipelines criados pela sua equipe de desenvolvimento de dados transformem dados brutos em dados enriquecidos usando pipelines desenvolvidos. Use fluxos de dados de mapeamento para transformações e utilize Azure Databricks, Azure Synapse Spark ou Microsoft Fabric para transformações complexas.
Você deve conectar o Azure Data Factory à instância de DevOps do seu repositório de aplicativos de dados (alinhado à origem). Essa conexão permite implantações de CI/CD.
Hubs de Eventos
Se o aplicativo de dados (alinhado à origem) tiver um requisito de transmissão de entrada de dados, você poderá implantar Hubs de Eventos downstream no grupo de recursos de aplicativo de dados (alinhado à origem).