Een Azure Synapse Link for Dataverse maken met Azure Data Lake

Artikel
05/15/2024

U kunt met behulp van de Azure Synapse Link uw Microsoft Dataverse-gegevens verbinden met Azure Data Lake Storage Gen2 om verschillende analysescenario's mogelijk te maken. In dit artikel wordt beschreven hoe u de volgende taken kunt uitvoeren:

Verbind uw Dataverse-gegevens naar uw Azure Data Lake Storage Gen2-account met de Azure Synapse Link-service.
Beheer Dataverse-tabellen die zijn inbegrepen in de Azure Synapse Link.
Bewaak uw Azure Synapse Link.
Ontkoppel uw Azure Synapse Link.
Koppel uw Azure Synapse Link opnieuw.
Bekijk uw gegevens in Azure Data Lake en begrijp de bestandsstructuur.

Notitie

Azure Synapse Link for Dataverse werd voorheen Exporteren naar data lake genoemd. De service is met ingang van mei 2021 hernoemd en gaat door met het exporteren van gegevens naar Azure Data Lake en Azure Synapse Analytics.

Vereisten

Azure Data Lake Storage Gen2: u moet een Azure Data Lake Storage Gen2-account hebben en toegang hebben met de rollen Eigenaar en Inzender van Blob-opslaggegevens. Uw opslagaccount moet hiërarchische naamruimte inschakelen voor zowel de initiële installatie als deltasynchronisatie. Sleuteltoegang tot het opslagaccount toestaan is alleen vereist voor de initiële installatie.

Notitie

De opslagaccount moet worden gemaakt in dezelfde Microsoft Entra-tenant als uw Power Apps-tenant.
Als u Ingeschakeld vanaf geselecteerde virtuele netwerken en IP-adressen wilt instellen voor een gekoppeld opslagaccount om toegang te verlenen vanaf geselecteerde IP-adressen, moet u een Azure Synapse Link met beheerde identiteiten maken.Beheerde identiteiten gebruiken voor Azure met uw Azure Data Lake Storage (zonder beheerde identiteiten ingesteld, moet u openbare netwerktoegang inschakelen voor Azure-resources voor zowel de initiële installatie als delta-synchronisatie. )
U moet toegang hebben met de rol Lezer tot de resourcegroep met het opslagaccount.
Als u de omgeving wilt koppelen aan Azure Data Lake Storage Gen2, moet u over de beveiligingsrol Dataverse-systeembeheerder beschikken.
Alleen tabellen waarvoor wijzigingen bijhouden is ingeschakeld, kunnen worden geëxporteerd.
Het aanmaken van Azure Synapse Link-profielen onder één Dataverse-omgeving is beperkt tot maximaal 10.

Dataverse verbinden met Azure Data Lake Storage Gen2

Meld u aan bij Power Apps en selecteer uw voorkeursomgeving.
Selecteer in het linkernavigatievenster Azure Synapse Link. Als Azure Synapse Link niet zichtbaar is in het zijpaneel, selecteer dan …Meer en selecteer vervolgens Alles ontdekken. Azure Synapse Link vindt u in de sectie Gegevensbeheer .
Selecteer + Nieuwe koppeling naar data lake op de opdrachtbalk.
Selecteer Abonnement, Resourcegroep en Opslagaccount. Zorg ervoor dat de opslagaccount voldoet aan de vereisten die zijn opgegeven in de sectie Vereisten. Selecteer Volgende.

Notitie

Als onderdeel van het koppelen van de omgeving aan een data lake, verleent u de Azure Synapse Link-service toegang tot uw opslagaccount. Zorg ervoor dat u voldoet aan de voorwaarden voor het maken en configureren van het Azure Data Lake Storage-account en het toekennen van een eigenaarrol voor het opslagaccount aan uzelf. Bovendien verleent u de Power Platform Dataflows-service toegang tot uw opslagaccount. Meer informatie: Selfservice gegevensvoorbereiding met gegevensstromens.
Voeg de tabellen toe die u wilt exporteren en selecteer vervolgens Opslaan. Alleen tabellen waarvoor wijzigingen bijhouden is ingeschakeld, kunnen worden geëxporteerd. Meer informatie: Bijhouden van wijzigingen inschakelen.

U kunt de bovenstaande stappen in dit artikel volgen om een koppeling te maken van een Dataverse-omgeving naar meerdere Azure-data lakes in uw Azure-abonnement. Op dezelfde manier kunt u een koppeling maken van meerdere omgevingen naar hetzelfde Azure Data Lake, allemaal binnen dezelfde tenant.

Notitie

De Azure Synapse Link for Dataverse-service is naadloos geïntegreerd in het Power Platform als een kant-en-klare functie. Het voldoet aan de beveiligings- en governancenormen die zijn vastgesteld voor de gegevensopslag en het beheer van Power Platform. Meer informatie: Gegevensopslag en -governance

De gegevens die zijn geëxporteerd door Azure Synapse Link-service worden versleuteld tijdens de overdracht met Transport Layer Security (TLS) 1.2 of hoger en versleuteld in rust in Azure Data Lake Storage Gen2. Bovendien worden tijdelijke gegevens in de Blob Storage ook 'at rest' versleuteld. Versleuteling in Azure Data Lake Storage Gen2 helpt u bij het beschermen van uw gegevens, het implementeren van beveiligingsbeleid voor bedrijven en het voldoen aan wettelijke vereisten. Meer informatie: Azure-gegevensversleuteling-at-rest

Tabelgegevens beheren voor het data lake

Nadat u de Azure Synapse Link hebt ingesteld, kunt u de tabellen die worden geëxporteerd op twee manieren beheren:

Selecteer in het Azure Synapse Link-gebied van de Power Apps Maker Portal Tabellen beheren op de opdrachtbalk om een of meer gekoppelde tabellen toe te voegen of te verwijderen.
In de portal Power Apps-maker selecteert u het gebied Tabellen en ... naast een tabel. Selecteer vervolgens het gekoppelde data lake waarnaar u tabelgegevens wilt exporteren.

Uw Azure Synapse Link bewaken

Nadat u de Azure Synapse Link hebt ingesteld, kunt u de Azure Synapse Link onder het tabblad Tabellen in de gaten houden.

Azure Synapse Link-controle

Er is een lijst zijn met tabellen die deel uitmaken van de geselecteerde Azure Synapse Link.
De synchronisatiestatus doorloopt verschillende stadia. NotStarted betekent dat de tabel in afwachting van synchronisatie is. Nadat de initiële synchronisatie van de tabel is voltooid, is er een naverwerkingsfase waarin geen incrementele updates plaatsvinden. Dit kan enkel uren duren, afhankelijk van de omvang van uw gegevens. Wanneer de incrementele updates weer plaatsvinden, wordt de datum voor de laatste synchronisatie regelmatig bijgewerkt.
De kolom Aantal bevat het aantal rijen dat is geschreven. Wanneer Alleen toevoegen is ingesteld op Nee, is dit het totaal aantal records. Wanneer Alleen toevoegen is ingesteld op Ja, is dit het totaal aantal wijzigingen.
De kolommen Alleen toevoegen en Partitiestrategie tonen het gebruik van verschillende geavanceerde configuraties.

Een Azure Synapse Link ontkoppelen

Selecteer de Azure Synapse Link die u wilt ontkoppelen.
Selecteer Data lake ontkoppelen op de opdrachtbalk.
Als u het bestandssysteem voor het data lake wilt verwijderen, selecteert u Bestandssysteem voor data lake verwijderen.
Selecteer Ja, en wacht een paar minuten totdat alles is ontkoppeld en verwijderd.

Een Azure Synapse Link opnieuw koppelen

Als u het bestandssysteem hebt verwijderd bij het ontkoppelen, volgt u de bovenstaande stappen om hetzelfde data lake opnieuw te koppelen. Als u het bestandssysteem niet hebt verwijderd bij het ontkoppelen, moet u de gegevens wissen om opnieuw te koppelen:

Ga naar Azure Data Lake.
Verwijder de Dataverse-container.
Ga naar Power Apps en koppel het data lake opnieuw.

Uw gegevens in Azure Data Lake Storage Gen2 bekijken

Selecteer de gewenste Azure Synapse Link en selecteer Ga naar Azure Data Lake in het bovenste deelvenster.
Vouw Bestandssystemen uit en selecteer dataverse-environmentName-organizationUniqueName.

Het bestand model.json biedt naast de naam en versie, ook een lijst met tabellen die naar het data lake zijn geëxporteerd. Het bestand model.json bevat ook de initiële synchronisatiestatus en voltooide tijd.

Een map met door komma's gescheiden momentopnamebestanden (CSV-indeling) wordt weergegeven voor elke tabel die naar het data lake wordt geëxporteerd. Tabelgegevens in de data lake.

U kunt een Synapse-werkruimte alleen met data lake aan een bestaand Azure Synapse Link-profiel koppelen

Voeg in de adresbalk van uw webbrowser ?athena.updateLake=true toe aan het webadres dat eindigt op exporttodatalake.
Selecteer een bestaand profiel in het Azure Synapse Link-gebied en selecteer vervolgens de uitgebreide optie.
Selecteer Koppelen aan Azure Synapse Analytics-werkruimte en wacht een paar minuten totdat alles is gekoppeld.

Continue snapshotupdates

Microsoft Dataverse-gegevens kunnen continu veranderen door transacties te maken, bij te werken en te verwijderen. Snapshots bieden een alleen-lezen exemplaar van gegevens die regelmatig worden bijgewerkt, in dit geval om het uur. Dit zorgt ervoor dat een gebruiker van gegevensanalyse op elk willekeurig moment betrouwbare gegevens in het data lake kan consumeren.

Continue momentopname-updates.

Wanneer tabellen worden toegevoegd als onderdeel van de eerste export, worden de tabelgegevens weggeschreven naar de table.csv-bestanden onder de overeenkomstige mappen in het data lake. Dit is het T1-interval, waarbij een momentopnamebestand met de naam tabel-T1.csv—bijvoorbeeld Account-T1.csv of Contacts-T1.csv—wordt gemaakt. Bovendien wordt het bestand model.json bijgewerkt om naar deze snapshotbestanden te verwijzen. Als u model.json opent, kunt u de snapshotdetails bekijken.

Hier is een voorbeeld van een gepartitioneerd bestand Account.csv en een snapshotmap in het data lake.

Momentopname van accounttabel.

Veranderingen in Dataverse worden continu naar de bijbehorende CSV-bestanden gepushed met behulp van de trickle feed-engine. Dit is het T2-interval, waar nog een snapshot wordt gemaakt. De bestanden tabel-T2.csv—bijvoorbeeld Accounts-T2.csv of Contacts-T2.csv (ervan uitgaande dat er wijzigingen zijn voor de tabel) —en model.json worden bijgewerkt naar de nieuwe momentopnamebestanden. Elke nieuwe persoon die snapshotgegevens vanaf T2 bekijkt, wordt omgeleid naar de nieuwere snapshotbestanden. Op deze manier kan de eerste snapshotgebruiker blijven werken aan de oudere T1-snapshotbestanden, terwijl nieuwere gebruikers de nieuwste updates kunnen lezen. Dit is handig in scenario's met langer lopende processen.

Notitie

Er wordt alleen een nieuw momentopnamebestand gemaakt als er een gegevensupdate is. Alleen de meest recente vijf momentopnamebestanden worden bewaard. Stagnerende gegevens worden automatisch verwijderd uit uw Azure Data Lake Storage Gen 2-account.

Hier is een voorbeeld van het bestand model.json, dat altijd verwijst naar het laatste snapshotbestand van het account met tijdstempel.

Voorbeeld van het momentopnamebestand model.json.

Wat volgt?

Nadat u de Azure Synapse Link for Dataverse-service met succes hebt gebruikt, ontdekt u hoe u uw gegevens kunt analyseren en gebruiken met Detectiehub. Om toegang te krijgen tot Detectiehub, gaat u naar Power Apps > Azure Synapse Link. Selecteer uw gekoppelde service en selecteer vervolgens het tabblad Detectiehub. Hier vindt u aanbevolen tools en samengestelde documentatie om u te helpen de meeste waarde uit uw gegevens te halen. Detectiehub.