Tutoriel : Ajouter une transformation pour les données de l’espace de travail Azure Cosmos DB à l’aide de la Portail Azure

Article
08/15/2024

Ce tutoriel vous guide tout au long de la configuration d’un exemple de transformation dans une règle de collecte de données (DCR) d’espace de travail en utilisant le portail Azure.

Notes

Pour améliorer les coûts d’activation de Log Analytics, nous prenons désormais en charge l’ajout de règles de collecte de données et de transformations sur vos ressources Log Analytics pour filtrer les colonnes, réduire le nombre de résultats retournés et créer de nouvelles colonnes avant que les données ne soient envoyées à la destination.

Les transformations d’espace de travail sont stockées ensemble dans une DCR pour l’espace de travail, qui est appelée DCR de l’espace de travail. Chaque transformation est associée à une table particulière. La transformation est appliquée à toutes les données envoyées à cette table à partir d’un flux de travail qui n’utilise pas de DCR.

Notes

Ce tutoriel utilise le portail Azure pour configurer une transformation de l’espace de travail. Pour le même tutoriel utilisant les modèles Azure Resource Manager et l’API REST, consultez Tutoriel : Ajouter une transformation dans la règle de collecte des données de l’espace de travail à Azure Monitor à l’aide des modèles de gestionnaire de ressources.

Dans ce tutoriel, vous allez apprendre à :

Configurer une transformation de l’espace de travail pour une table dans un espace de travail Log Analytics.
Écrivez une requête de journal pour une transformation d’espace de travail.

Prérequis

Pour suivre ce didacticiel, vous avez besoin des éléments suivants :

Un espace de travail Log Analytics dans lequel vous avez au moins des droits de contributeur.
Autorisations pour créer des objets de règle de collecte de données (DCR) dans l’espace de travail.
Table qui contient déjà des données.
La table ne peut pas être liée au DCR de transformation de l’espace de travail.

Vue d’ensemble du tutoriel

Dans ce didacticiel, vous réduisez les besoins de stockage de la table CDBDataPlaneRequests en filtrant certains enregistrements. Vous supprimez également le contenu d’une colonne lors de l’analyse des données de la colonne pour stocker une partie des données dans une colonne personnalisée. La table CDBDataPlaneRequests est créée lorsque vous activez l'analytique des journaux d'activité dans un espace de travail.

Ce tutoriel utilise le portail Azure, qui fournit un Assistant pour vous guider tout au long du processus de création d’une transformation de la durée d’ingestion. Une fois les étapes terminées, vous voyez que l’Assistant :

Met à jour le schéma de table avec toutes les autres colonnes de la requête.
Crée une DCR WorkspaceTransformation et associe cette règle à l’espace de travail si une DCR par défaut n’est pas déjà liée à l’espace de travail.
Création d’une transformation de la durée d’ingestion et ajout de celle-ci à la DCR.

Activer les journaux d’audit des requêtes

Vous devez activer l’analytique des journaux d'activité pour que votre espace de travail crée la table CDBDataPlaneRequests avec laquelle vous travaillez. Cette étape n’est pas obligatoire pour toutes les transformations de la durée d’ingestion. Il s’agit simplement de générer les exemples de données que nous utilisons.

Ajouter une transformation à la table

Maintenant que la table a été créée, vous pouvez y ajouter la transformation.

Dans le menu Espaces de travail Log Analytics du portail Azure, sélectionnez Tables. Recherchez la table CDBDataPlaneRequests et sélectionnez Création de transformation.
Comme il s’agit de la première transformation dans l’espace de travail, vous devez créer une DCR de transformation de l’espace de travail. Si vous créez des transformations pour d’autres tables dans le même espace de travail, elles sont stockées dans cette même DCR. Sélectionnez Créer une règle de collecte de données. L'abonnement et le groupe de ressources sont déjà renseignés pour l’espace de travail. Entrez un nom pour la DCR et sélectionnez Terminé.
Sélectionnez Suivant pour afficher des exemples de données à partir de la table. Au fur et à mesure que vous définissez la transformation, le résultat est appliqué aux exemples de données. Vous pouvez ainsi évaluer les résultats avant de les appliquer aux données réelles. Sélectionnez Éditeur de transformation pour définir la transformation.
Dans l’éditeur de transformation, vous pouvez voir la transformation qui est appliquée aux données avant leur ingestion dans la table. Les données entrantes sont représentées par une table virtuelle nommée source, qui a le même ensemble de colonnes que la table de destination proprement dite. La transformation contient initialement une requête simple qui retourne la table source sans aucune modification.
Modifiez la requête d’après l’exemple suivant :
```
source
| where StatusCode != 200 // searching for requests that are not successful
| project-away Type, TenantId
```
La modification apporte les changements suivants :
- Les lignes liées à l’interrogation de la table CDBDataPlaneRequests proprement dite ont été supprimées pour gagner de l’espace, car ces entrées de journal ne sont pas utiles.
- Les données des colonnes TenantId et Type ont été supprimées pour économiser de l’espace.
- Les transformations prennent également en charge l’ajout de colonnes à l’aide de l’opérateur extend dans votre requête.
Notes

À l’aide du portail Azure, la sortie de la transformation initie des modifications dans le schéma de la table si nécessaire. Les colonnes sont ajoutées pour correspondre à la sortie de la transformation si elles n’existent pas encore. Assurez-vous que votre sortie ne contient pas de colonnes que vous ne souhaitez pas ajouter à la table. Si la sortie n’inclut pas les colonnes qui se trouvent déjà dans la table, ces colonnes ne sont pas supprimées, mais les données ne sont pas ajoutées.

Toutes les colonnes personnalisées ajoutées à une table intégrée doivent se terminer par _CF. Ce suffixe n’est pas nécessaire dans le nom des colonnes ajoutées à une table personnalisée. Une table personnalisée a un nom qui se termine par _CL.
Copiez la requête dans l’éditeur de transformation, puis sélectionnez Exécuter pour afficher les résultats de l’exemple de données. Vous pouvez vérifier que la nouvelle colonne Workspace_CF est dans la requête.
Sélectionnez Appliquer pour enregistrer la transformation, puis Suivant pour vérifier la configuration. Sélectionnez Créer pour mettre à jour la DCR avec la nouvelle transformation.

Tester la transformation

Laissez environ 30 minutes pour que la transformation prenne effet et testez-la en exécutant une requête sur la table. Cette transformation affecte uniquement les données envoyées à la table après l’application de la transformation.

Pour ce didacticiel, exécutez des exemples de requêtes pour envoyer des données à la table CDBDataPlaneRequests. Incluez certaines requêtes à CDBDataPlaneRequests pour vous permettre de vérifier que la transformation filtre ces enregistrements.

Dépannage

Cette section décrit différentes conditions d’erreur que vous pouvez recevoir et explique comment les résoudre.

IntelliSense dans Log Analytics ne reconnaît pas de nouvelles colonnes dans la table

La mise à jour du cache qui pilote IntelliSense peut prendre jusqu’à 24 heures.

La transformation sur une colonne dynamique ne fonctionne pas

Un problème connu affecte les colonnes dynamiques. Une solution de contournement temporaire consiste à analyser explicitement les données de colonne dynamique en utilisant parse_json() avant d’effectuer des opérations sur celles-ci.

Étapes suivantes

Transformations de collecte de données

Partager via