Opdater en Common Data Model-datakilde til at bruge Delta-tabeller
Opdater en eksisterende dataforbindelse med Common Data Model-tabeller, og flyt den til formaterede tabeller med formateret størrelse uden at fjerne og genoprette en eksisterende konfiguration, der afhænger af dataforbindelsen.
De vigtigste årsager til at oprette forbindelse til data, der er lagret i Delta-format:
- Importér Delta-formaterede data direkte for at spare tid og kræfter.
- Eliminer de beregnings- og lageromkostninger, der er forbundet med transformation og lagring af en kopi af dine lakehouse-data.
- Øg automatisk pålideligheden af dataindtagelse i Customer Insights - Data leveret af Deltaversionering.
Delta er en betegnelse, der blev introduceret med Delta Lake, som er grundlaget for lagring af data og tabeller i Databricks-søhusplatform. Delta Lake er et open-source-lagerlag, der leverer ACID (atomicity, consistency, isolation og durability)-transaktioner til arbejdsbelastninger med store datamængder. Du kan finde flere oplysninger i Delta Lake-dokumentationsside.
Forudsætninger
Azure Data Lake Storage skal være i samme lejer og Azure-område som Customer Insights - Data.
Hvis du vil oprette forbindelse til lager, der er beskyttet af firewalls, skal du konfigurere private Azure-links.
Denne Customer Insights - Data-tjenestekonto skal have tildelt adgangen Storage Blob Data-bidragyder for at kunne aktivere lagerkontoen. Du kan finde flere oplysninger i Tildele tilladelser til tjenesteprincipalen til at få adgang til lagerkontoen.
Den bruger, der konfigurerer eller opdaterer den datakilde, skal som minimum have Storage Blob Data-læsetilladelse for kontoen Azure Data Lake Storage.
Data, der lagres i onlinetjenester, kan gemmes på en anden placering end det sted, hvor dataene behandles eller lagres i. Ved at importere eller oprette forbindelse til data, der er gemt i onlinetjenester, accepterer du, at data kan overføres. Få mere at vide i Microsoft Sikkerhedscenter.
Customer Insights - Data understøtter Databricks Læser-version 2. Tabeller med tabeller, der kræver Databricks, Læser-version 3 eller derover, understøttes ikke. Få mere at vide: Understøttede Databricks-funktioner.
Delta-tabellerne skal være i en mappe i lagerbeholderen og må ikke være i rodmappen i beholderen. Eksempel:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
Delta-tabellerne og deres skema skal matche tabellerne i den eksisterende Common Data Model-datakilde og være i den samme lagerbeholder. Tabellerne i den nye datamappe skal matche nøjagtigt de valgte tabeller i Common Data Model-datakilden. Tabellernes navne og deres skemaer skal matche nøjagtigt. I Delta er tabelnavne de samme som mappenavnet, hvor dataene er gemt. Derfor skal mappenavnene matche nøjagtigt de valgte tabeller i Common Data Model-datakilden. Ellers mislykkes opdateringen.
Hvis de valgte Common Data Model-datakildetabeller f.eks. er Tabel1 og Tabel2, skal den mappe, du vælger til opdateringen, vise Tabel1 og Tabel2 i hierarkiet.
storageaccountroot/ DeltaDataRoot/ Table1/ Table2/
Opdater Common Data Model-datatabeller til Delta-tabeller
Gå til Data>Datakilder.
Vælg Azure Data Lake Common Data Model-datakilden, og vælg derefter Opdater til Delta-tabeller. Eller vælg Begynd opdatering fra Tilføj tabeller-siden, hvis du redigerer Common Data Model-datakilden.
Vælg Gennemse, og naviger til mappen, der indeholder dataene i Delta-format og matcher nøjagtigt den valgte Azure Data Lake-datakildetabel. Vælg den, og vælg derefter Opdater datakilde.
Siden Datakilder åbnes, der viser de nye datakilde status for Opdatering.
Vigtigt!
Stop ikke opdateringsprocessen, da det kan have en negativ indvirkning på opdateringen af datakilden.
Tip
Der findes status for opgaver og processer. De fleste processer afhænger af andre upstream-processer, f.eks. datakilder og opdatering af dataprofiler.
Vælg status for at åbne ruden Statusdetaljer og få vist status for opgaverne. Hvis du vil annullere jobbet, skal du vælge Annuller job nederst i ruden.
Under hver opgave kan du vælge Se detaljer for at få flere statusoplysninger, f.eks. behandlingstid, den sidste behandlingsdato og eventuelle relevante fejl og advarsler, der er knyttet til opgaven eller processen. Vælg Visning af systemstatus nederst i panelet for at se andre processer i systemet.
Vi anbefaler, at du fortsætter med at streame dine data til Data Lake Storage-placeringen gennem din eksisterende pipeline og vedligeholde manifesterne og skemaerne, indtil du konstaterer, at opdateringen lykkedes, og alt fungerer som forventet.
Omdan konverteringen fra Common Data Model-tabeller til Delta-tabeller
Hvis du forsøgte at opdatere en Azure Data Lake Common Data Model-datakilde til en Delta-tabeller, og processen mislykkes, skal du udføre følgende trin.
Forudsætninger
- Din organisation er fortsat med at streame Data Lake Storage-data gennem din pipeline.
- Din organisation har vedligeholdt Data Lake Storage-manifesterne og -skemaerne.
Gendan tilbage til en Azure Data Lake Common Data Model-datakilde
Gå til Data>Datakilder.
Vælg Azure Data Lake Common Data Model-datakilden, og vælg derefter Gendan tilbage til Common Data Model-tabeller.
Bekræft, du vil gendanne. Siden Datakilder åbnes, der viser de nye datakilde status for Opdatering.
Vigtigt!
Stop ikke opdateringsprocessen, da det kan have en negativ indvirkning på gendannelsen af datakilden.