Règles de collecte de données (DCR) dans Azure Monitor
Les règles de collecte de données (DCR) font partie d’un processus de collecte de données de type ETL qui améliore les méthodes de collecte de données héritées pour Azure Monitor. Ce processus utilise un pipeline d’ingestion des données commun pour toutes les sources de données et une méthode standard de configuration plus gérable et évolutive que les méthodes de collecte précédente.
Les avantages spécifiques de la collecte de données basée sur les DCR sont les suivants :
- Méthode cohérente pour la configuration de différentes sources de données.
- Possibilité d’appliquer une transformation pour filtrer ou modifier les données entrantes avant leur envoi vers la destination.
- Options de configuration évolutives prenant en charge l’infrastructure en tant que processus de code et DevOps.
- Option de pipeline de périphérie dans votre propre environnement pour fournir une scalabilité haut de gamme, des configurations réseau en couches et une connectivité périodique.
Affichage des DCR
Les règles de collecte de données (DCR) sont stockées dans Azure pour être déployées et gérées de manière centralisée comme toutes les autres ressources Azure. Elles fournissent un moyen cohérent et centralisé de définir et de personnaliser différents scénarios de collecte de données.
Affichez toutes les DCR de votre abonnement à partir de l’option Règles de collecte de données du menu Superviser dans le portail Azure. Quelle que soit la méthode utilisée pour créer la DCR et les détails de la DCR elle-même, toutes les DCR de l’abonnement sont répertoriées dans cet écran.
Méthodes de collecte de données héritées remplacées
Le processus de collecte DCR a remplacé ou est en cours de remplacement d’autres méthodes de collecte de données dans Azure Monitor. Le tableau suivant répertorie les méthodes héritées avec leurs remplacements basés sur DCR. D’autres méthodes de collecte de données dans Azure Monitor devraient également être remplacées par des DCR à l’avenir.
| Méthode héritée | Méthode DCR | Description |
|---|---|---|
| Agent Log Analytics | Agent Azure Monitor | L’agent Azure Monitor est désormais utilisé pour surveiller les machines virtuelles et les clusters Kubernetes prenant en charge VM Insights et Container Insights. |
| Paramètres de diagnostic (métriques uniquement) |
Exportation de métriques | Les paramètres de diagnostic sont toujours utilisés pour collecter les journaux des ressources à partir de ressources Azure. Les métriques de plateforme peuvent désormais être collectées à l’aide de l’exportation de métriques. |
| API de collecte de données | API d’ingestion de journaux | L’API d’ingestion des journaux est utilisée pour envoyer des données à un espace de travail Log Analytics à partir de n’importe quel client REST. Elle remplace l’API Collecteur de données qui était moins sécurisée et moins fonctionnelle. |
Pipeline Azure Monitor
Le processus de collecte de données pris en charge par les DCR est basé sur le pipeline Azure Monitor qui fournit un chemin de traitement commun pour les données entrantes. Le pipeline cloud est un composant du pipeline Azure Monitor (consultez Pipeline de périphérie ci-dessous pour l’autre composant) et est automatiquement disponible dans votre abonnement Azure dans le cadre de la plateforme Azure Monitor. Il ne nécessite aucune configuration et ne s’affiche pas dans le portail Azure.
Chaque scénario de collecte de données utilisant le pipeline Azure Monitor est défini dans une DCR qui fournit des instructions sur la façon dont le pipeline cloud doit traiter les données qu’il reçoit. Selon le scénario, les DCR spécifient tout ou une partie des éléments suivants :
- Les données à collecter et à envoyer au pipeline.
- Le schéma des données entrantes.
- Les transformations à appliquer aux données avant leur stockage.
- Destination où les données doivent être envoyées.
Utilisation d’une DCR
Il y a deux façons fondamentales de spécifier des DCR pour un scénario de collecte de données particulier, comme décrit dans les sections suivantes. Chaque scénario prend en charge l’une de ces méthodes, mais pas les deux.
Remarque
Les DCR de transformation d’espace de travail sont actives dès leur création. Elles n’utilisent pas de méthode décrite dans cette section.
Associations de règles de collecte de données (DCRA)
Les associations de règles de collecte de données (DCRA) sont utilisées pour associer une DCR à une ressource monitorée. Il s’agit d’une relation plusieurs-à-plusieurs, où une DCR peut être associée à plusieurs ressources, et une ressource peut être associée à plusieurs DCR. Cela vous permet de développer une stratégie pour assurer le monitoring sur différents ensembles de ressources qui ont des exigences différentes.
Par exemple, le diagramme suivant illustre la collecte de données pour l’agent Azure Monitor (AMA) exécuté sur une machine virtuelle. Une fois l’agent installé, il se connecte à Azure Monitor pour récupérer les DCR associées. Dans ce scénario, les DCR spécifient les événements et les données de performances à collecter, que l’agent utilise pour déterminer les données à collecter à partir de la machine et les envoyer à Azure Monitor. Une fois les données livrées, le pipeline cloud exécute la transformation spécifiée dans la DCR pour filtrer et modifier les données, puis envoie les données à l’espace de travail et à la table spécifiés.
Ingestion directe
Avec l’ingestion directe, une DCR particulière est spécifiée pour traiter les données entrantes. Par exemple, le diagramme suivant illustre les données d’une application personnalisée en utilisant l’API d’ingestion des journaux. Chaque appel d’API spécifie la DCR qui doit traiter ses données. La DCR comprend la structure des données entrantes, inclut une transformation qui garantit que les données sont au format de la table cible et spécifie un espace de travail et une table auxquels envoyer les données transformées.
Transformations
Les transformations sont des requêtes KQL incluses dans une DCR qui s’exécute sur chaque enregistrement envoyé au pipeline cloud. Elles vous permettent de modifier les données entrantes avant qu’elles ne soient stockées dans Azure Monitor ou envoyées à une autre destination. Vous pouvez filtrer les données inutiles pour réduire vos coûts d’ingestion, supprimer les données sensibles qui ne doivent pas être conservées dans l’espace de travail Log Analytics ou mettre en forme les données pour qu’elles correspondent au schéma de leur destination. Les transformations permettent également des scénarios avancés tels que l’envoi de données à plusieurs destinations ou l’enrichissement de données avec des informations supplémentaires.
Pipeline de périphérie
Le pipeline de périphérie étend le pipeline Azure Monitor à votre propre centre de données. Il active la collecte à grande échelle et le routage des données de télémétrie avant qu’elles ne soient livrées au pipeline cloud. Contrairement au pipeline cloud, le pipeline de périphérie est facultatif et nécessite une configuration.
Les cas d’usage spécifiques du pipeline de périphérie Azure Monitor sont les suivants :
- Scalabilité. Le pipeline de périphérie peut gérer de grands volumes de données provenant de ressources monitorées qui peuvent être limitées par d’autres méthodes de collecte telles que l’agent Azure Monitor.
- Connectivité périodique. Dans certains environnements, la connectivité au cloud peut ne pas être fiable ou des pertes de connexion inattendues peuvent survenir pendant de longues périodes. Le pipeline de périphérie peut mettre en cache les données localement et se synchroniser avec le cloud une fois la connectivité restaurée.
- Réseau en couches. Dans certains environnements, le réseau est segmenté et les données ne peuvent pas être envoyées directement au cloud. Vous pouvez utiliser le pipeline de périphérie pour collecter des données à partir de ressources monitorées sans accès au cloud et gérer la connexion à Azure Monitor dans le cloud.
Régions DCR
Les règles de collecte de données sont disponibles dans toutes les régions publiques où les espaces de travail Log Analytics et les clouds Azure Government et Chine sont pris en charge. Les clouds en « air gap » ne sont pas encore pris en charge. Une DCR est créée et stockée dans une région particulière, et est sauvegardée dans la région jumelée au sein de la même zone géographique. Le service est déployé sur les trois zones de disponibilité au sein de la région. Il s’agit donc d’un service redondant interzone, ce qui augmente encore la disponibilité.
Résidence des données monorégion est une fonctionnalité en préversion permettant le stockage de données client dans une seule région. Elle n’est actuellement disponible que dans la région Asie Sud-Est (Singapour) de la zone géographique Asie-Pacifique et dans la région Brésil Sud (État de Sao Paulo) de la zone géographique Brésil. La résidence monorégion est activée par défaut dans ces régions.
Étapes suivantes
Consultez les articles suivants pour plus d’informations sur la manière de travailler avec les DCR.
- Structure des règles de collecte des données pour obtenir une description de la structure JSON des DCR et des différents éléments utilisés pour les flux de travail.
- Exemples de règles de collecte de données (DCR) pour les exemples de DCR pour différents scénarios de collecte de données.
- Créer et modifier des règles de collecte de données (DCR) dans Azure Monitor pour différentes méthodes de création de DCR pour différents scénarios de collecte de données.
- Limites du service Azure Monitor pour connaître les limites qui s’appliquent à chaque règle de collecte de données.