Applications de données (alignées sur la source)
Si vous choisissez de ne pas implémenter un moteur indépendant des données pour l’ingestion de données une fois à partir de sources opérationnelles ou si des connexions complexes ne sont pas facilitées dans votre moteur indépendant des données, vous devez créer une application de données alignée sur la source. Il doit suivre le même flux qu’un moteur indépendant des données lors de l’ingestion de données à partir de sources de données externes.
Aperçu
Votre groupe de ressources d’application est responsable de l’ingestion et de l’enrichissement des données uniquement à partir de sources externes, telles que la télémétrie, la finance ou CRM. Cette couche peut fonctionner en temps réel, en lots et en micro-lots.
Cette section explique l’infrastructure déployée pour chaque groupe de ressources d’application de données (aligné sur la source) à l’intérieur de votre zone d’atterrissage de données.
Conseil
Pour le maillage de données, vous pouvez choisir de déployer l’un de ces éléments par source ou un par domaine. Les principes de normalisation des données, de qualité des données et de traçabilité des données doivent toujours être suivis. Les équipes chargées des opérations des plateformes de données peuvent pour cela développer des extraits de code standard et y faire appel.
Pour chaque groupe de ressources d’utilisation de données (aligné sur la source) dans votre zone de réception de données, vous devez créer :
- Un coffre Azure Key Vault
- Azure Data Factory pour exécuter des pipelines d’ingénierie développés qui transforment les données brutes en enrichissement
- Principal de service utilisé par l’application de données (aligné sur la source) pour déployer des travaux d’ingestion sur Azure Databricks (uniquement si vous utilisez Azure Databricks)
Vous pouvez également créer des instances d’autres services, comme Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics et Azure Machine Learning.
Azure Key Vault
Utilisez la fonctionnalité Azure Key Vault pour stocker les secrets dans Azure dans la mesure du possible.
Chaque groupe de ressources d’application de données (alignée sur la source) ou domaine de données (si maillage) dispose d’un coffre Azure Key Vault qui :
- Garantit que la clé de chiffrement, le secret et la dérivation de certificat répondent aux exigences de votre environnement
- Permet une meilleure séparation des tâches administratives
- Réduit le risque de mélange de clés, d’intégrations et de secrets de classifications différentes
Toutes les clés liées à votre application de données (alignées sur la source) doivent être contenues dans votre coffre de clés Azure.
Important
Les coffres de clés d’application de données (alignée sur la source) doivent suivre le modèle des privilèges minimum, et éviter les limites de mise à l’échelle des transactions et le partage de secrets entre les environnements.
Azure Data Factory
Déployez une fabrique de données Azure pour permettre aux pipelines écrits par votre équipe d’application de données de prendre des données brutes et enrichies à l’aide de pipelines développés. Utilisez des flux de données de mappage pour les transformations et faites un saut pour utiliser Azure Databricks, Azure Synapse Spark ou Microsoft Fabric pour les transformations complexes.
Vous devez connecter Azure Data Factory à l’instance DevOps de votre dépôt d’application de données (aligné sur la source). Cette connexion autorise les déploiements CI/CD.
Event Hubs
Si votre application de données (alignée sur la source) a besoin de diffuser en continu des données, vous pouvez déployer des Hubs d’événements en aval dans votre groupe de ressources d’application de données (aligné sur la source).