Partage via

didacticiel Real-Time Intelligence partie 3 : Transformer des données dans une base de données KQL

  • Article

Remarque

Ce tutoriel fait partie d’une série. Pour la section précédente, consultez : didacticiel Real-Time Intelligence partie 2 : Obtenir des données dans le hub Real-Time.

Dans cette partie du tutoriel, vous allez apprendre à utiliser une stratégie de mise à jour pour transformer des données dans une base de données KQL dans Real-Time Intelligence. Les stratégies de mise à jour sont des mécanismes d’automatisation déclenchés lorsque de nouvelles données sont écrites dans une table. Ils éliminent la nécessité d’une orchestration spéciale en exécutant une requête pour transformer les données ingérées et enregistrer le résultat dans une table de destination. Plusieurs stratégies de mise à jour peuvent être définies sur une table unique, ce qui permet différentes transformations et l’enregistrement des données dans plusieurs tables simultanément. Les tables cibles peuvent avoir un schéma, une stratégie de rétention et d’autres stratégies différentes de la table source.

Déplacer une table de données brutes vers un dossier bronze

Dans cette étape, vous déplacez la table de données brutes dans un dossier Bronze pour organiser les données dans la base de données KQL.

  1. Accédez à la base de données KQL que vous avez créée à l’étape précédente, nommée Tutoriel.

  2. Dans l’arborescence d’objets, sous le nom de la base de données KQL, sélectionnez l’espace de travail de requête appelé Tutorial_queryset.

  3. Copiez/collez la commande suivante pour modifier la table pour déplacer la table dans un dossier Bronze.

    .alter table RawData (BikepointID:string,Street:string,Neighbourhood:string,Latitude:dynamic,Longitude:dynamic,No_Bikes:long,No_Empty_Docks:long,Timestamp:datetime) with (folder="Bronze")

Créer une table cible

Dans cette étape, vous créez une table cible qui sera utilisée pour stocker les données transformées avec la stratégie de mise à jour.

  1. Copiez/collez la commande suivante pour créer une table appelée TransformData avec un schéma spécifié.

    .create table TransformedData (BikepointID: int, Street: string, Neighbourhood: string, Latitude: dynamic, Longitude: dynamic, No_Bikes: long, No_Empty_Docks: long, Timestamp: datetime, BikesToBeFilled: long, Action: string) with (folder="Silver")

  2. Exécutez la commande pour créer la table. Vous devez maintenant voir une autre table sous le nœud Tables dans l’arborescence d’objets appelée TransformData.

Créer une fonction avec une logique de transformation

Dans cette étape, vous créez une fonction stockée qui contient la logique de transformation à utiliser dans la stratégie de mise à jour. La fonction analyse la colonne BikepointID et ajoute deux nouvelles colonnes calculées.

  1. Dans le ruban du menu, sélectionnez Base de données.

  2. Sélectionnez +Nouveau>Fonction.

  3. Modifiez la fonction pour qu’elle corresponde au code suivant, ou copiez/collez la commande suivante dans l’éditeur de requête.

    .create-or-alter function TransformRawData() {
RawData
| parse BikepointID with * "BikePoints_" BikepointID:int
| extend BikesToBeFilled = No_Empty_Docks - No_Bikes
| extend Action = iff(BikesToBeFilled > 0, tostring(BikesToBeFilled), "NA")
 }

  4. Exécutez la commande pour créer la fonction. Vous devez maintenant voir la fonction TransformRawData sous le nœud Functions dans l’arborescence d’objets.

Appliquer la stratégie de mise à jour

Dans cette étape, vous appliquez une stratégie de mise à jour à la table cible pour transformer les données. La stratégie de mise à jour utilise la fonction stockée TransformRawData() pour analyser la colonne BikepointID et ajouter deux nouvelles colonnes calculées.

  1. Dans le ruban du menu, sélectionnez Base de données.

  2. Sélectionnez + Nouvelle>Stratégie de mise à jour de table.

  3. Modifiez la stratégie pour qu’elle corresponde au code suivant, ou copiez/collez la commande suivante dans l’éditeur de requête.

    .alter table TransformedData policy update
```[{
    "IsEnabled": true,
    "Source": "RawData",
    "Query": "TransformRawData()",
    "IsTransactional": false,
    "PropagateIngestionProperties": false
}]```

  4. Exécutez la commande pour créer la stratégie de mise à jour.

Vérifier la transformation

Dans cette étape, vous vérifiez que la transformation a réussi en comparant la sortie des tables source et cible.

Remarque

L’affichage des données dans la table transformée peut prendre quelques secondes.

  1. Copiez/collez la requête suivante dans l’éditeur de requête pour afficher 10 enregistrements arbitraires dans la table source. Exécutez la requête.

    RawData
| take 10

  2. Copiez/collez la requête suivante dans l’éditeur de requête pour afficher 10 enregistrements arbitraires dans la table cible. Exécutez la requête.

    TransformedData
| take 10

Notez que la colonne BikepointID de la table cible ne contient plus le préfixe « BikePoints_ ».

Contenu connexe

Pour plus d’informations sur les tâches effectuées dans ce tutoriel, consultez :

Étape suivante

Real-Time Intelligence partie 4 : Interroger des données en flux avec KQL