Oppdater en Common Data Model-datakilde til å bruke Delta-tabeller

Oppdater en eksisterende datatilkobling med Common Data Model-tabeller, og flytt til Delta-formaterte tabeller uten å fjerne og opprette en eksisterende konfigurasjon på nytt som er avhengig av datatilkoblingen.

Viktige årsaker til å koble til data som er lagret i Delta-format:

• Importer Delta-formaterte data direkte for å spare tid og krefter.
• Eliminer beregnings- og lagringskostnadene forbundet med å transformere og lagre en kopi av lakehouse-dataene.
• Forbedre påliteligheten til datainntak til Customer Insights - Data angitt av Delta-versjonskontroll, automatisk.

Delta er et begrep som ble innført med Delta Lake, fundamentet for lagring av data og tabeller på Databricks Lakehouse-plattformen. Delta Lake er et lag med åpen kildelagring som bringer ACID-transaksjoner (atomisitet, konsistens, isolasjon og pålitelighet) til stordataarbeidsbelastninger. Du finner mer informasjon på Delta Lake-dokumentasjonssiden.

Forutsetning

• Azure Data Lake Storage må være i samme leier og Azure-område som Customer Insights - Data.

• Hvis du vil koble til en lagringsplass som er beskyttet av brannmurer, kan du konfigurere private Azure-koblinger.

• Customer Insights - Data-sikkerhetskontohaveren må ha Storage Blob-databidragsytertillatelser til lagringskontoen. Hvis du vil ha mer informasjon, kan du se Gi tillatelser til tjenestekontohaveren for å få tilgang til lagringskontoen.

• Brukeren som konfigurerer eller oppdaterer datakilden, må ha minst Storage Blob Data-lesetillatelser på kontoen Azure Data Lake Storage.

• Data som er lagret i nettbaserte tjenester, kan lagres på en annen plassering enn der data behandles eller lagres. Ved å importere eller koble til data som er lagret i en onlinetjeneste, godtar du at dataene kan overføres. Finn ut mer om Microsofts Klareringssenter.

• Customer Insights - Data støtter Databricks-leser versjon 2. Delta-tabeller som bruker funksjoner som krever Databricks-leser versjon 3 eller eldre, støttes ikke. Finn ut mer: Støttede Databricks-funksjoner.

• Delta-tabellene må være i en mappe i lagringsbeholderen og kan ikke finnes i beholderrotmappen. Eksempel:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Delta-tabellene og skjemaet for dem må samsvare med tabellene i den eksisterende Common Data Model-datakilden og være i samme lagringsbeholder. Tabellene i den nye datamappen må samsvare nøyaktig med de valgte tabellene i Common Data Model-datakilden. Tabellnavnene og skjemaene for dem må samsvare nøyaktig. I Delta er tabellnavnet det samme som mappenavnet der dataene er lagret. Mappenavnene må derfor samsvare nøyaktig med de valgte tabellene i Common Data Model-datakilden. Ellers mislykkes oppdateringen.

  Hvis de valgte Common Data Model-datakildetabellene for eksempel er Tabell1 og Tabell2, må mappen du velger for oppdateringen, vise Tabell1 og Tabell2 i hierarkiet.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Oppdater Common Data Model-datatabeller til Delta-tabeller

1. Gå til Data>Datakilder.

2. Velg Azure Data Lake Common Data Model-datakilden, og velg deretter Oppdater til Delta-tabeller. Eller velg Start oppdatering på siden Legg til tabeller hvis du redigerer Common Data Model-datakilden.

   

3. Velg Bla gjennom, og gå til mappen som inneholder dataene i Delta-format og samsvarer nøyaktig med den valgte Azure Data Lake-datakildetabellen. Velg den, og velg deretter Oppdater datakilde.

   Siden Datakilder åpnes med den nye datakilde i statusen Oppdaterer.

   Viktig!

   Ikke stopp oppdateringsprosessen, siden dette kan ha en negativ innvirkning på oppdateringen av datakilden.

   Tips

   Det finnes statuser for oppgaver og prosesser. De fleste prosesser avhenger av andre oppstrømsprosesser, for eksempel datakilder og oppdatering av dataprofilering.

   Velg statusen for å åpne Fremdriftsdetaljer-ruten og vise fremgangen for oppgaver. Hvis du vil avbryte jobben, velger du Avbryt jobb nederst i ruten.

   Under hver oppgave kan du velge Se detaljer for mer fremdriftsinformasjon, for eksempel behandlingstid, siste behandlingsdato og eventuelle relevante feil og advarsler som er tilknyttet oppgaven eller prosessen. Velg Vis systemstatus nederst i panelet for å vise andre prosesser i systemet.

Vi anbefaler at du fortsetter å strømme dataene til Data Lake Storage-plasseringen via den eksisterende pipelinen, og vedlikeholder manifestene og skjemaene til du fastsetter at oppdateringen var vellykket og alt fungerer som forventet.

Reversere konverteringen fra Common Data Model-tabeller til Delta-tabeller

Hvis du prøvde å oppdatere en Azure Data Lake Common Data Model-datakilde til Delta-tabeller og prosessen mislykkes, utfører du følgende trinn.

Forutsetning

• Organisasjonen har fortsatt å strømme Data Lake Storage-dataene gjennom pipelinen din.
• Organisasjonen har vedlikeholdt Data Lake Storage-manifestene og -skjemaene.

Gjenopprette til Azure Data Lake Common Data Model-datakilde

1. Gå til Data>Datakilder.

2. Velg Azure Data Lake Common Data Model-datakilden, og velg deretter Reverter til Common Data Model-tabeller.

3. Bekreft at du vil tilbakestille. Siden Datakilder åpnes med den nye datakilde i statusen Oppdaterer.

   Viktig!

   Ikke stopp oppdateringsprosessen, siden dette kan ha en negativ innvirkning på tilbakestilling av datakilden.