Del via

Koble deg til Delta-tabeller i Azure Data Lake Storage

  • Artikkel

Koble til data i Delta-tabeller og hente dem inn Dynamics 365 Customer Insights - Data.

Viktige årsaker til å koble til data som er lagret i Delta-format:

  • Importer Delta-formaterte data direkte for å spare tid og krefter.
  • Eliminer beregnings- og lagringskostnadene forbundet med å transformere og lagre en kopi av lakehouse-dataene.
  • Forbedre påliteligheten til datainntak til Customer Insights - Data angitt av Delta-versjonskontroll, automatisk.

Databricks-funksjoner og -versjoner som støttes

Customer Insights - Data støtter Databricks-funksjoner med 'minReaderVersion' på 2 eller tidligere. Databricks-funksjoner som krever Databricks-leser versjon 3 eller senere, støttes ikke. Tabellen viser støttede og ikke-støttede Databricks-funksjoner.

Støttede funksjoner Funksjoner som ikke støttes
Grunnleggende funksjonalitet Slettingsvektorer
Endre datafeed Liquid-klynger
Sjekk begrensninger Skriv tabellfunksjoner
Kolonnetildeling TimestampNTZ
Generer kolonner Typeutvidelse
Identitetskolonner Variant
Radsporing
Les tabellfunksjoner
UniForm

Mer informasjon: Hvordan håndterer Databricks kompatibilitet med Delta Lake-funksjonen?

Forutsetning

  • Azure Data Lake Storage må være i samme leier og Azure-område som Customer Insights - Data.

  • Hvis du vil koble til en lagringsplass som er beskyttet av brannmurer, kan du konfigurere private Azure-koblinger.

  • Customer Insights - Data-sikkerhetskontohaveren må ha Storage Blob-databidragsytertillatelser til lagringskontoen. Hvis du vil ha mer informasjon, kan du se Gi tillatelser til tjenestekontohaveren for å få tilgang til lagringskontoen.

  • Brukeren som konfigurerer eller oppdaterer datakilden, må ha minst Storage Blob Data-lesetillatelser på kontoen Azure Data Lake Storage.

  • Data som er lagret i nettbaserte tjenester, kan lagres på en annen plassering enn der data behandles eller lagres. Ved å importere eller koble til data som er lagret i en onlinetjeneste, godtar du at dataene kan overføres. Finn ut mer om Microsofts Klareringssenter.

  • Customer Insights - Data støtter Databricks-leser versjon 2. Delta-tabeller som bruker funksjoner som krever Databricks-leser versjon 3 eller eldre, støttes ikke. Finn ut mer: Støttede Databricks-funksjoner.

  • Delta-tabellene må være i en mappe i lagringsbeholderen og kan ikke finnes i beholderrotmappen. Eksempel: 

    storageaccountcontainer/
    DeltaDataRoot/
       ADeltaTable/
             _delta_log/
                 0000.json
                 0001.json
             part-0001-snappy.parquet
             part-0002-snappy.parquet
  • Data i Azure Data Lake Storage må være i Delta-tabeller. Customer Insights - Data er avhengig av versjonsegenskapen i tabellens logg for å identifisere de siste endringene for trinnvis behandling.

Koble til Delta-data fra Azure Data Lake Storage

Datatilkoblingsnavn, databaner, for eksempel mapper i en beholder, og tabellnavn må bruke navn som begynner med en bokstav. Navn kan bare inneholde bokstaver, tall og understrekingstegn (_). Spesialtegn støttes ikke.

  1. Gå til Data>Datakilder.

  2. Velg Legg til en datakilde.

  3. Velg Azure Data Lake Delta-tabeller.

    Dialogboks for å angi tilkoblingsdetaljer for Delta Lake.

  4. Angi et datakildenavn og en valgfri beskrivelse. Navnet henvises til i nedstrømsprosesser, og det er ikke mulig å endre det etter at datakilden er opprettet.

  5. Velg et av følgende alternativer for Koble til lagringen ved hjelp av.

    • Azure-abonnement: Velg abonnementet og deretter ressursgruppen og lagringskontoen.
    • Azure-ressurs: Angi Ressurs-ID.

  6. Velg navnet på beholderen som inneholder mappen med dataene dine.

  7. Hvis du eventuelt vil legge inn data fra en lagringskonto via en Azure Private Link, velger du Aktiver privat kobling. Hvis du vil ha mer informasjon, kan du gå til Private koblinger.

  8. Naviger til mappen som inneholder dataene i Delta-tabeller, og velg den. Velg deretter Neste. Det vises en liste over tilgjengelige tabeller.

  9. Velg tabellene du vil inkludere.

  10. For valgte tabeller der en primærnøkkel ikke er definert, vises Obligatorisk under Primærnøkkel. For hver av disse tabellene:

    1. Velg Obligatorisk. Panelet Rediger tabell vises.
    2. Velg primærnøkkelen. Primærnøkkelen er et attributt som er unikt for tabellen. For at et attributt skal være en gyldig primærnøkkel, bør den ikke inneholde duplikate verdier, manglende verdier eller nullverdier. Datatypeattributtene streng, heltall og GUID støttes som primærnøkler.
    3. Velg Lukk for å lagre lukke panelet.

    Dialogboksen Obligatorisk for primærnøkkel

  11. Hvis du vil aktivere dataprofilering for en av kolonnene, velger du antall Kolonner for tabellen. Siden Administrer attributter vises.

    Dialogboks for valg av dataprofilering.

    1. Velg Dataprofilering for hele tabellen eller for bestemte kolonner. Som standard er ingen tabeller aktivert for dataprofilering.
    2. Velg Ferdig.

  12. Velg Lagre. Siden Datakilder åpnes med den nye datakilde i statusen Oppdaterer.

    Tips

    Det finnes statuser for oppgaver og prosesser. De fleste prosesser avhenger av andre oppstrømsprosesser, for eksempel datakilder og oppdatering av dataprofilering.

    Velg statusen for å åpne Fremdriftsdetaljer-ruten og vise fremgangen for oppgaver. Hvis du vil avbryte jobben, velger du Avbryt jobb nederst i ruten.

    Under hver oppgave kan du velge Se detaljer for mer fremdriftsinformasjon, for eksempel behandlingstid, siste behandlingsdato og eventuelle relevante feil og advarsler som er tilknyttet oppgaven eller prosessen. Velg Vis systemstatus nederst i panelet for å vise andre prosesser i systemet.

Det kan ta tid å laste inn data. Etter en vellykket oppdatering kan de innhentede dataene gjennomgås fra Tabeller-siden.

Administrer endringer i enhetsskjema

Når en kolonne legges til eller fjernes fra skjemaet til en datakilde for Delta-mapper, kjører systemet en fullstendig oppdatering av dataene. Fullstendige oppdateringer tar lengre tid å behandle alle dataene enn trinnvise oppdateringer.

Legge til en kolonne

Når en kolonne legges til i datakilden, legges informasjonen automatisk til i dataene i Customer Insights - Data når det skjer en oppdatering. Hvis samling allerede er konfigurert for tabellen, må den nye kolonnen legges til i samlingsprosessen.

  1. Fra trinnet Kundedata velger du Velg tabeller og kolonner og velger den nye kolonnen.

  2. I trinnet Samlet datavisning sørger du for at kolonnen ikke er ekskludert fra kundeprofilen. Velg Ekskludert og legg til kolonnene på nytt.

  3. I trinnet Kjør oppdateringer til den enhetlige profilen velger du Samle kundeprofiler og avhengigheter.

Endre eller fjern en kolonne

Når en kolonne fjernes fra en datakilde, ser systemet etter avhengigheter i andre prosesser. Hvis det er en avhengighet i kolonnene, stopper systemet oppdateringen og angir en feil som viser at avhengighetene må fjernes. Disse avhengighetene vises i et varsel for å hjelpe deg med å finne og fjerne dem.

Valider en skjemaendring

Etter at datakilden oppdateres, går du til siden Data>Tabeller. Velg tabellen for datakilden og bekreft skjemaet.

Delta Lake-tidsreiser og dataoppdateringer

Delta Lake-tidsreiser er muligheten til å søke gjennom tabellversjoner basert på et tidsstempel eller versjonsnummer. Endringer i Delta-mapper er versjonsbestemt, og Customer Insights - Data bruker Delta-mappeversjonene til å holde styr på hvilke data som skal behandles. I en vanlig Delta-tabelloppdatering hentes data fra alle datatabellversjonene siden forrige oppdatering. Så lenge alle versjoner er til stede, kan Customer Insights - Data behandle de endrede elementene og levere raskere resultater. Finn ut mer om tidsreiser.

Hvis Customer Insights – Data for eksempel sist ble synkronisert med versjon 23 av Delta-mappedataene, forventer den å finne versjon 23 og muligens påfølgende versjoner tilgjengelig. Hvis de forventede dataversjonene ikke er tilgjengelige, mislykkes datasynkroniseringen og krever en manuell fullstendig dataoppdatering. Datasynkronisering kan mislykkes hvis Delta-mappens data ble slettet og deretter opprettet på nytt. Eller hvis Customer Insights - Data ikke kunne koble til Delta-mappene i en lengre periode mens versjonene avanserte.

Hvis du vil unngå behovet for en fullstendig dataoppdatering, anbefaler vi at du opprettholder en rimelig historikkrestanse, for eksempel 15 dager.

Kjør en fullstendig dataoppdatering manuelt på en Delta-tabellmappe

En fullstendig oppdatering tar alle dataene fra en tabell i Delta-format og laster dem på nytt fra versjon null (0) av Delta-tabellen. Endringer i Delta-mappeskjemaet utløser en automatisk fullstendig oppdatering. Utfør følgende trinn for å utløse en fullstendig oppdateringer manuelt.

  1. Gå til Data>Datakilder.

  2. Velg datakilden Azure Data Lake Delta-tabeller.

  3. Velg tabellen du vil oppdatere. Ruten Rediger tabell vises.

    Rediger tabellruten for å velge en fullstendig engangsoppdatering.

  4. Velg Kjør fullstendig oppdatering én gang.

  5. Trykk på Lagre for å kjøre oppdateringen. Siden Datakilder åpnes med den nye datakilden i statusen Oppdaterer, men bare den valgte tabellen oppdateres.

  6. Gjenta prosessen for andre tabeller hvis det er aktuelt.

Datasynkroniseringsfeil

Datasynkronisering kan mislykkes hvis Delta-mappens data ble slettet og deretter opprettet på nytt. Eller hvis Customer Insights - Data ikke kunne koble til Delta-mappene i en lengre periode mens versjonene avanserte. For å minimere påvirkningen der en uregelmessig datapipelinefeil skaper behov for en full oppdatering, anbefaler vi at du opprettholder en rimelig historikk, for eksempel 15 dager.

Neste trinn