Oprette forbindelse til Delta-tabeller i Azure Data Lake Storage
Du kan oprette data i Delta-tabeller og bringe det til Dynamics 365 Customer Insights - Data.
De vigtigste årsager til at oprette forbindelse til data, der er lagret i Delta-format:
- Importér Delta-formaterede data direkte for at spare tid og kræfter.
- Eliminer de beregnings- og lageromkostninger, der er forbundet med transformation og lagring af en kopi af dine lakehouse-data.
- Øg automatisk pålideligheden af dataindtagelse i Customer Insights - Data leveret af Deltaversionering.
Understøttede Databricks-funktioner og -versioner
Customer Insights - Data understøtter Databricks-funktioner, hvor 'minReaderVersion' er 2 eller tidligere. Databricks-funktioner, der kræver Databricks, Læser version 3 eller nyere, understøttes ikke. Tabellen viser de understøttede og ikke-understøttede Databricks-funktioner.
| Understøttede funktioner | Ikke-understøttede funktioner |
|---|---|
| Grundlæggende funktionalitet | Sletning vektorer |
| Ændringsdatafeed | Liquid-klynger |
| Kontrollér begrænsninger | Tabelfunktioner – skrivning |
| Kolonnetilknytning | TimestampNTZ |
| Opret kolonner | Udvidelse af type |
| Identitetskolonner | Variant |
| Rækkesporing | |
| Tabelfunktioner – læse | |
| UniForm |
Få mere at vide: Hvordan administrerer Databricks-funktionskompatibilitet med dens funktioner?.
Forudsætninger
Azure Data Lake Storage skal være i samme lejer og Azure-område som Customer Insights - Data.
Hvis du vil oprette forbindelse til lager, der er beskyttet af firewalls, skal du konfigurere private Azure-links.
Denne Customer Insights - Data-tjenestekonto skal have tildelt adgangen Storage Blob Data-bidragyder for at kunne aktivere lagerkontoen. Du kan finde flere oplysninger i Tildele tilladelser til tjenesteprincipalen til at få adgang til lagerkontoen.
Den bruger, der konfigurerer eller opdaterer den datakilde, skal som minimum have Storage Blob Data-læsetilladelse for kontoen Azure Data Lake Storage.
Data, der lagres i onlinetjenester, kan gemmes på en anden placering end det sted, hvor dataene behandles eller lagres i. Ved at importere eller oprette forbindelse til data, der er gemt i onlinetjenester, accepterer du, at data kan overføres. Få mere at vide i Microsoft Sikkerhedscenter.
Customer Insights - Data understøtter Databricks Læser-version 2. Tabeller med tabeller, der kræver Databricks, Læser-version 3 eller derover, understøttes ikke. Få mere at vide: Understøttede Databricks-funktioner.
Delta-tabellerne skal være i en mappe i lagerbeholderen og må ikke være i rodmappen i beholderen. Eksempel:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
- Data i Azure Data Lake Storage skal være i Delta-tabeller. Customer Insights - Data er afhængig af versionsegenskaben i tabellens oversigt for at identificere de seneste ændringer for trinvis behandling.
Opret forbindelse til Delta-dataene fra Azure Data Lake Storage
Navne på dataforbindelser, datastier, f.eks. mapper i en objektbeholder, og tabelnavne skal indeholde navne, der begynder med et bogstav. Navne må kun indeholde bogstaver, tal og understregningstegn (_). Specialtegn understøttes ikke.
Gå til Data>Datakilder.
Vælg Tilføj en datakilde.
Vælg Azure Data Lake Delta-tabeller.
Angiv et Datakildenavn og en valgfri Beskrivelse. Navnet refereres til i downstreamprocesser og kan ikke ændres efter oprettelsen af datakilden.
Vælg en af følgende muligheder for at oprette forbindelse til lagerpladsen ved hjælp af.
- Azure-abonnement: Vælg abonnementet, og vælg derefter ressourcegruppen og lagerkontoen.
- Azure-ressource: Angiv Ressource-id.
Vælg navnet på den container, der indeholder mappen med dine data.
Hvis du vil aktivere data fra en lagerkonto via et Azure Private Link, skal du vælge Aktivér privat link. Du kan finde flere oplysninger under private links.
Naviger til den mappe, der indeholder dataene i Delta-tabellerne, og vælg den. Vælg derefter Næste. En liste over tilgængelige tabeller vises.
Vælg de tabeller, du vil medtage.
I forbindelse med valgte tabeller, hvor der ikke er defineret en primær nøgle, vises Obligatorisk under Primær nøgle. For hver af disse tabeller:
- Vælg Obligatorisk. Panelet Rediger tabel vises.
- Vælg den primære nøgle. Den primære nøgle er en attribut, der er entydig for tabellen. Hvis en attribut skal være en gyldig primær nøgle, må den ikke indeholde dubletværdier, manglende værdier eller null-værdier. Strengattributter, heltalsattributter og GUID-datatypeattributter understøttes som primære nøgler.
- Vælg Luk for at gemme og lukke panelet.
Hvis du vil aktivere dataprofilering på en af kolonnerne, skal du vælge antallet af Kolonner til tabellen. Siden Administrer attributter vises.
- Vælg Dataprofilering for hele tabellen eller for bestemte kolonner. Som standard er ingen tabel aktiveret for dataprofilering.
- Vælg Udført.
Vælg Gem. Siden Datakilder åbnes, der viser de nye datakilde status for Opdatering.
Tip
Der findes status for opgaver og processer. De fleste processer afhænger af andre upstream-processer, f.eks. datakilder og opdatering af dataprofiler.
Vælg status for at åbne ruden Statusdetaljer og få vist status for opgaverne. Hvis du vil annullere jobbet, skal du vælge Annuller job nederst i ruden.
Under hver opgave kan du vælge Se detaljer for at få flere statusoplysninger, f.eks. behandlingstid, den sidste behandlingsdato og eventuelle relevante fejl og advarsler, der er knyttet til opgaven eller processen. Vælg Visning af systemstatus nederst i panelet for at se andre processer i systemet.
Det kan tage tid at indlæse data. Når opdateringen er gennemført, kan de indtagne data gennemses fra siden Tabeller.
Styre skemaændringer
Når en kolonne tilføjes eller fjernes fra skemaet i en Delta-folders datakilde, kører systemet en fuldstændig opdatering af dataene. Det tager længere tid at behandle en fuldstændig opdatering af alle data end med en trinvis opdatering.
Tilføj en kolonne
Når der føjes en kolonne til datakilden, føjes oplysningerne automatisk til dataene i Customer Insights - Data, når opdateringen foretages. Hvis samlingen allerede er konfigureret for tabellen, skal den nye kolonne føjes til samlingsprocessen.
Fra trinnet Kundedata skal du markere Vælg tabeller og kolonner og vælge den nye kolonne.
I trinnet Samlet datavisning skal du sørge for, at kolonnen ikke er udelukket fra kundeprofilen. Vælg Udelukket, og læst kolonnen.
I trinnet Kør opdateringer til samlet profil skal du vælge Foren kundeprofiler og afhængigheder.
Ændre eller fjerne en kolonne
Når en kolonne fjernes fra en datakilde, kontrolleres det, om der er afhængigheder i andre processer. Hvis der er en afhængighed i kolonnen, holder systemet op med at opdatere og viser en fejl om, at afhængigheder skal fjernes. Disse afhængigheder vises i en meddelelse for at hjælpe dig med at finde og fjerne dem.
Validere en skemaændring
Når datakilden er opdateret, skal du gå til Data>Tabeller-siden. Vælg tabellen for datakilden, og bekræft skemaet.
Delta-søens tidsrejse og dataopdateringer
Delta-søens tidsrejse er muligheden for at forespørge gennem tabelversioner baseret på et tidsstempel eller versionsnummer. Ændringer i Delta-mapper er versionerede, og Customer Insights - Data bruger Delta-mappeversionerne til at holde styr på, hvilke data der skal behandles. I en almindelig deltatabelopdatering trækkes data fra alle datatabelversionerne siden sidste opdatering. Så længe alle versioner er til stede, kan Customer Insights - Data behandle netop de ændrede elementer og levere hurtigere resultater. Få mere at vide om tidsrejse.
Hvis Customer Insights – Data f.eks. sidst er synkroniseret med version 23 af dine Delta-mappedata, forventer den at finde version 23 og muligvis efterfølgende versioner tilgængelige. Hvis de forventede dataversioner ikke er tilgængelige, mislykkes datasynkronisering og kræver en manuel fuld dataopdatering. Datasynkronisering kan mislykkes, hvis dine Delta-mappedata er slettet og derefter genskabt. Eller hvis Customer Insights - Data ikke kunne oprette forbindelse til dine Delta-mapper i en længere periode, mens versionerne skred frem.
For at undgå behovet for en fuld dataopdatering, anbefaler vi, at du opretholder et rimeligt historikefterslæb, såsom 15 dage.
Køre en fuld dataopdatering manuelt på en Delta-tabelmappe
En fuldstændig opdatering tager alle dataene fra en tabel i Delta-format og genindlæser dem fra Delta-tabellens version nul (0). Ændringer i Delta-mappeskemaet udløser en automatisk fuld opdatering. Udfør følgende trin for at udløse en fuld opdatering manuelt.
Gå til Data>Datakilder.
Vælg datakilden Azure Data Lake Delta-tabeller.
Vælg den tabel, du vil opdatere. Panelet Rediger tabel vises.
Vælg Kør fuld opdatering én gang.
Vælg Gem for at køre opdateringen. Siden Datakilder åbnes og viser den nye datakilde i status Opdatering, men kun den valgte tabel opdateres.
Gentag processen for andre tabeller, hvis relevant.
Datasynkroniseringsfejl
Datasynkronisering kan mislykkes, hvis dine Delta-mappedata er slettet og derefter genskabt. Eller hvis Customer Insights - Data ikke kunne oprette forbindelse til dine Delta-mapper i en længere periode, mens versionerne skred frem. For at minimere påvirkningen, hvor en periodisk datapipeline-fejl skaber behov for en fuld opdatering, anbefaler vi, at du opretholder et rimeligt historikefterslæb, f.eks. 15 dage.