Een Common Data Model-gegevensbron bijwerken om Delta-tabellen te gebruiken
Werk een bestaande gegevensverbinding bij met Common Data Model-tabellen en ga door naar tabellen met Delta-indeling zonder een bestaande configuratie die afhankelijk is van de gegevensverbinding te verwijderen of opnieuw te maken.
Belangrijkste redenen om verbinding te maken met gegevens die zijn opgeslagen in Delta-indeling:
- Importeer rechtstreeks in Delta ingedeelde gegevens om tijd en moeite te besparen.
- Vermijd de reken- en opslagkosten die gepaard gaan met het transformeren en opslaan van een kopie van uw lakehouse-gegevens.
- Verbeter automatisch de betrouwbaarheid van gegevensopname in Customer Insights - Data die wordt aangeboden door Delta-versiebeheer.
Delta is een term die is geïntroduceerd bij Delta Lake, de basis voor het opslaan van gegevens en tabellen op het Databricks Lakehouse Platform. Delta Lake is een open-source opslaglaag die ACID-transacties (atomiciteit, consistentie, isolatie en duurzaamheid) aan big data-werklasten toevoegt. Zie de Delta Lake-documentatiepagina voor meer informatie.
Voorwaarden
De Azure Data Lake Storage moet zich in dezelfde tenant en dezelfde Azure-regio bevinden als Customer Insights - Data.
Voor verbinding met opslag die door firewalls wordt beschermd, stelt u Azure Private Links in.
De Customer Insights - Data-service-principal moet over machtigingen voor Inzender van opslag-blobgegevens beschikken om toegang te hebben tot het opslagaccount. Voor meer informatie, zie Machtigingen verlenen aan de service-principal voor toegang tot het opslagaccount.
De gebruiker die de gegevensbron instelt of bijwerkt, heeft minimaal de machtigingen Opslag-blobgegevens lezer nodig voor het Azure Data Lake Storage-account.
Gegevens die zijn opgeslagen in online services, kunnen op een andere locatie worden opgeslagen dan waar gegevens worden verwerkt of opgeslagen. Door het importeren van of verbinden met gegevens die zijn opgeslagen in online services, gaat u ermee akkoord dat gegevens kunnen worden overgedragen. Meer informatie vindt u bij Microsoft Trust Center.
Customer Insights - Data ondersteunt Databricks-lezer versie 2. Delta-tabellen die gebruikmaken van functies waarvoor Databricks-lezer versie 3 of hoger vereist zijn, worden niet ondersteund. Meer informatie: Ondersteunde Databricks-functies.
De Delta-tabellen moeten zich in een map in de opslagcontainer bevinden en mogen niet in de hoofdmap van de container staan. Bijvoorbeeld:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
De Delta-tabellen en hun schema moeten overeenkomen met de tabellen in de bestaande Common Data Model-gegevensbron en zich in dezelfde opslagcontainer bevinden. De tabellen in de nieuwe gegevensmap moeten exact overeenkomen met de geselecteerde tabellen in de Common Data Model-gegevensbron. De namen van de tabellen en hun schema's moeten exact overeenkomen. In Delta zijn tabelnamen hetzelfde als de naam van de map waarin de gegevens zijn opgeslagen. De namen van de mappen moeten daarom exact overeenkomen met de geselecteerde tabellen in de Common Data Model-gegevensbron. Anders mislukt de update.
Als de geselecteerde tabellen van de Common Data Model-gegevensbron bijvoorbeeld Table1 en Table2 zijn, moet de map die u voor de update kiest, Table1 en Table2 in de hiërarchie weergeven.
storageaccountroot/ DeltaDataRoot/ Table1/ Table2/
Common Data Model-gegevenstabellen naar Delta-tabellen bijwerken
Ga naar Gegevens>Gegevensbronnen.
Selecteer de Azure Data Lake Common Data Model-gegevensbron en selecteer vervolgens Bijwerken naar Delta-tabellen. Of selecteer Update starten vanaf de pagina Tabellen toevoegen als u de Common Data Model-gegevensbron bewerkt.
Selecteer Bladeren en navigeer naar de map die de gegevens in Delta-indeling bevat en exact overeenkomt met de geselecteerde tabel van de Azure Data Lake-gegevensbron. Selecteer het en selecteer vervolgens Gegevensbron bijwerken.
De pagina Gegevensbronnen wordt geopend met de nieuwe gegevensbron met de status Vernieuwen.
Belangrijk
Stop het vernieuwingsproces niet, aangezien dit een negatief effect kan hebben op het bijwerken van de gegevensbron.
Tip
Er zijn statussen voor taken en processen. De meeste processen zijn afhankelijk van andere upstreamprocessen, zoals de vernieuwing van gegevensbronnen en gegevensprofilering.
Selecteer de status om het deelvenster Details van voortgang te openen en de voortgang van de taken te bekijken. Als u de taak wilt annuleren, selecteert u Taak annuleren onder aan het deelvenster.
Onder elke taak kunt u Zie details selecteren voor meer voortgangsinformatie, zoals verwerkingstijd, de laatste verwerkingsdatum en eventuele toepasselijke fouten en waarschuwingen die verband houden met de taak of het proces. Selecteer Systeemstatus weergeven onder aan het deelvenster om andere processen in het systeem te zien.
We raden u aan uw gegevens via uw bestaande pijplijn naar de Data Lake Storage-locatie te blijven streamen en de manifesten en schema's te onderhouden totdat u vaststelt dat de update is geslaagd en alles naar verwachting werkt.
Zet de conversie van Common Data Model-tabellen naar Delta-tabellen terug
Als u hebt geprobeerd een Azure Data Lake Common Data Model-gegevensbron bij te werken naar Delta-tabellen en het proces mislukt, voert u de volgende stappen uit.
Vereisten
- Uw organisatie is doorgegaan met het streamen van de Data Lake Storage-gegevens via uw pijplijn.
- Uw organisatie heeft de Data Lake Storage-manifesten en -schema's onderhouden.
Terugkeren naar een Azure Data Lake Common Data Model-gegevensbron
Ga naar Gegevens>Gegevensbronnen.
Selecteer de Azure Data Lake Common Data Model-gegevensbron en selecteer vervolgens Terugkeren naar Common Data Model-tabellen.
Bevestig dat u wilt herstellen. De pagina Gegevensbronnen wordt geopend met de nieuwe gegevensbron met de status Vernieuwen.
Belangrijk
Stop het vernieuwingsproces niet, aangezien dit een negatief effect kan hebben op het herstellen van de gegevensbron.