Del via

Real-Time Intelligence-opplæring del 3: Transformere data i en KQL-database

  • Artikkel

Notat

Denne opplæringen er en del av en serie. For forrige del kan du se: Real-Time Opplæring for intelligens del 2: Hent data i Real-Time huben.

I denne delen av opplæringen lærer du hvordan du bruker en oppdateringspolicy til å transformere data i en KQL-database i Real-Time Intelligence. Oppdateringspolicyer er automatiseringsmekanismer som utløses når nye data skrives til en tabell. De eliminerer behovet for spesiell orkestrering ved å kjøre en spørring for å transformere de inntatte dataene og lagre resultatet i en måltabell. Flere oppdateringspolicyer kan defineres i én enkelt tabell, noe som gir ulike transformasjoner og lagring av data til flere tabeller samtidig. Måltabellene kan ha et annet skjema, en oppbevaringspolicy og andre policyer fra kildetabellen.

Flytte rådatatabell til en bronsemappe

I dette trinnet flytter du rådatatabellen til en bronsemappe for å organisere dataene i KQL-databasen.

  1. Bla til KQL-databasen du opprettet i et tidligere trinn, kalt Tutorial.

  2. Velg spørringsarbeidsområdet kalt Tutorial_querysetunder KQL-databasenavnet i objekttreet.

  3. Kopier/lim inn følgende kommando for å endre tabellen for å flytte tabellen til en bronsemappe.

    .alter table RawData (BikepointID:string,Street:string,Neighbourhood:string,Latitude:dynamic,Longitude:dynamic,No_Bikes:long,No_Empty_Docks:long,Timestamp:datetime) with (folder="Bronze")

Opprett måltabell

I dette trinnet oppretter du en måltabell som skal brukes til å lagre dataene som er transformert med oppdateringspolicyen.

  1. Kopier/lim inn følgende kommando for å opprette en ny tabell kalt TransformedData med et angitt skjema.

    .create table TransformedData (BikepointID: int, Street: string, Neighbourhood: string, Latitude: dynamic, Longitude: dynamic, No_Bikes: long, No_Empty_Docks: long, Timestamp: datetime, BikesToBeFilled: long, Action: string) with (folder="Silver")

  2. Kjør kommandoen for å opprette tabellen. Du skal nå se en annen tabell under tabeller noden i objekttreet kalt TransformedData.

Opprett funksjon med transformasjonslogikk

I dette trinnet oppretter du en lagret funksjon som inneholder transformasjonslogikken som skal brukes i oppdateringspolicyen. Funksjonen analyserer BikepointID-kolonnen og legger til to nye beregnede kolonner.

  1. Velg Databasepå menybåndet.

  2. Velg +New>Function.

  3. Rediger funksjonen slik at den samsvarer med følgende kode, eller kopier/lim inn følgende kommando i redigeringsprogrammet for spørring.

    .create-or-alter function TransformRawData() {
RawData
| parse BikepointID with * "BikePoints_" BikepointID:int
| extend BikesToBeFilled = No_Empty_Docks - No_Bikes
| extend Action = iff(BikesToBeFilled > 0, tostring(BikesToBeFilled), "NA")
 }

  4. Kjør kommandoen for å opprette funksjonen. Du skal nå se funksjonen TransformRawData- under Functions-noden i objekttreet.

Bruk oppdateringspolicy

I dette trinnet bruker du en oppdateringspolicy på måltabellen for å transformere dataene. Oppdateringspolicyen bruker den lagrede funksjonen TransformRawData() til å analysere kolonnen BikepointID og legger til to nye beregnede kolonner.

  1. Velg Databasepå menybåndet.

  2. Velg + oppdateringspolicy for ny>tabell.

  3. Rediger policyen slik at den samsvarer med følgende kode, eller kopier/lim inn følgende kommando i redigeringsprogrammet for spørringen.

    .alter table TransformedData policy update
```[{
    "IsEnabled": true,
    "Source": "RawData",
    "Query": "TransformRawData()",
    "IsTransactional": false,
    "PropagateIngestionProperties": false
}]```

  4. Kjør kommandoen for å opprette oppdateringspolicyen.

Bekreft transformasjon

I dette trinnet kontrollerer du at transformasjonen var vellykket ved å sammenligne utdataene fra kilde- og måltabellene.

Notat

Det kan ta noen sekunder å se data i den transformerte tabellen.

  1. Kopier/lim inn følgende spørring i redigeringsprogrammet for spørring for å vise 10 tilfeldige poster i kildetabellen. Kjør spørringen.

    RawData
| take 10

  2. Kopier/lim inn følgende spørring i redigeringsprogrammet for spørring for å vise 10 tilfeldige poster i måltabellen. Kjør spørringen.

    TransformedData
| take 10

Legg merke til at BikepointID-kolonnen i måltabellen ikke lenger inneholder prefikset «BikePoints_».

Relatert innhold

Hvis du vil ha mer informasjon om oppgaver som utføres i denne opplæringen, kan du se:

Neste trinn

Real-Time Intelligence-opplæring del 4: Data for strømming av spørring ved hjelp av KQL-