Delen via

Gewijzigde gegevens vastleggen met schemaontwikkeling van Azure SQL Database naar een Delta-sink met behulp van een wijzigingsgegevensopnameresource

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel gebruikt u de Gebruikersinterface van Azure Data Factory om een CDC-resource (Change Data Capture) te maken. De resource haalt gewijzigde gegevens op uit een Azure SQL Database-bron en voegt deze in realtime toe aan Delta Lake dat is opgeslagen in Azure Data Lake Storage Gen2. Deze activiteit toont de ondersteuning van de ontwikkeling van schema's met behulp van een CDC-resource tussen bron en sink.

In dit artikel leert u het volgende:

  • Maak een CDC-resource.
  • Breng dynamische schemawijzigingen aan in een brontabel.
  • Valideer schemawijzigingen in de doel-Delta-sink.

U kunt het configuratiepatroon in dit artikel wijzigen en uitbreiden.

Vereisten

Voordat u begint met de procedures in dit artikel, moet u ervoor zorgen dat u over deze resources beschikt:

  • Azure-abonnement. Als u geen Azure-abonnement hebt, maakt u een gratis Azure-account.
  • SQL-database. U gebruikt Azure SQL Database als brongegevensarchief. Als u geen SQL-database hebt, maakt u er een in Azure Portal.
  • Opslagaccount. U gebruikt Delta Lake die is opgeslagen in Azure Data Lake Storage Gen2 als doelgegevensarchief. Als u geen opslagaccount hebt, raadpleegt u Een opslagaccount maken voor de stappen om er een te maken.

Een CDC-artefact maken

  1. Ga naar het deelvenster Auteur in uw data factory. Onder Pijplijnen wordt een nieuw artefact op het hoogste niveau met de naam Change Data Capture (preview) weergegeven.

    Schermopname van een nieuw artefact op het hoogste niveau voor het vastleggen van gegevens in het deelvenster Factory-resources.

  2. Beweeg de muisaanwijzer over Change Data Capture (preview) totdat er drie puntjes worden weergegeven. Selecteer vervolgens Acties voor Het vastleggen van gegevens wijzigen (preview).

    Schermopname van de knop voor het vastleggen van wijzigingen in gegevens die worden weergegeven op het nieuwe artefact op het hoogste niveau.

  3. Selecteer Nieuw CDC (preview). Met deze stap opent u een flyout om het begeleide proces te starten.

    Schermopname van een lijst met acties voor het vastleggen van wijzigingen van gegevens.

  4. U wordt gevraagd uw CDC-resource een naam te geven. De naam is standaard 'adfcdc' met een getal dat met 1 wordt verhoogd. U kunt deze standaardnaam vervangen door een naam die u kiest.

    Schermopname van het tekstvak om de naam van een resource bij te werken.

  5. Gebruik de vervolgkeuzelijst om uw gegevensbron te kiezen. Voor dit artikel selecteert u Azure SQL Database.

    Schermopname van de flyout van het begeleide proces met bronopties in een vervolgkeuzelijst.

  6. U wordt gevraagd om een gekoppelde service te selecteren. Maak een nieuwe gekoppelde service of selecteer een bestaande service.

    Schermopname van het vak om een gekoppelde service te kiezen of te maken.

  7. Nadat u een gekoppelde service hebt geselecteerd, wordt u gevraagd om brontabellen te selecteren. Gebruik de selectievakjes om de brontabellen te selecteren en selecteer vervolgens de incrementele kolomwaarde met behulp van de vervolgkeuzelijst.

    Schermopname van de selectie van een brontabel en een incrementele kolom.

    In het deelvenster worden alleen tabellen weergegeven met ondersteunde incrementele kolomgegevenstypen.

    Notitie

    Als u CDC wilt inschakelen met schemaontwikkeling in een Azure SQL Database-bron, kiest u tabellen op basis van watermerkkolommen in plaats van tabellen die systeemeigen SQL CDC zijn ingeschakeld.

  8. Nadat u de brontabellen hebt geselecteerd, selecteert u Doorgaan om het gegevensdoel in te stellen.

    Schermopname van de knop Doorgaan in het begeleide proces om een gegevensdoel te selecteren.

  9. Selecteer een doeltypewaarde met behulp van de vervolgkeuzelijst. Voor dit artikel selecteert u Delta.

    Schermopname van een vervolgkeuzelijst met alle gegevensdoeltypen.

  10. U wordt gevraagd om een gekoppelde service te selecteren. Maak een nieuwe gekoppelde service of selecteer een bestaande service.

    Schermopname van het vak om een gekoppelde service te kiezen of te maken voor uw gegevensdoel.

  11. Selecteer de doelgegevensmap. U kunt een van de volgende opties gebruiken:

    • Met de knop Bladeren onder het basispad Doel kunt u het bladerpad automatisch vullen voor alle nieuwe tabellen die voor een bron zijn geselecteerd.
    • De knop Bladeren buiten om het mappad afzonderlijk te selecteren.

    Schermopname van een mappictogram om naar een mappad te bladeren.

  12. Nadat u een mappad hebt geselecteerd, selecteert u de knop Doorgaan .

    Schermopname van de knop Doorgaan in het begeleide proces om door te gaan naar de volgende stap.

  13. Er wordt een nieuw tabblad voor het vastleggen van wijzigingsgegevens weergegeven. Dit tabblad is de CDC Studio, waar u uw nieuwe resource kunt configureren.

    Schermopname van de capture studio voor wijzigingsgegevens.

    Er wordt automatisch een nieuwe toewijzing voor u gemaakt. U kunt de selecties van de brontabel en doeltabel voor uw toewijzing bijwerken met behulp van de vervolgkeuzelijsten.

    Schermopname van de bron-naar-doeltoewijzing in de capture studio voor wijzigingsgegevens.

  14. Nadat u de tabellen hebt geselecteerd, worden de bijbehorende kolommen standaard toegewezen met de wisselknop Voor automatisch toewijzen ingeschakeld. Automatisch toewijzen wijst de kolommen automatisch toe op naam in de sink, haalt nieuwe kolomwijzigingen op wanneer het bronschema zich ontwikkelt en verzendt deze informatie naar de ondersteunde sinktypen.

    Schermopname van de wisselknop voor automatische toewijzing ingeschakeld.

    Notitie

    Schemaontwikkeling werkt alleen wanneer de wisselknop voor automatisch toewijzen is ingeschakeld. Als u wilt weten hoe u kolomtoewijzingen bewerkt of transformaties opneemt, raadpleegt u Gewijzigde gegevens vastleggen met een resource voor het vastleggen van wijzigingen.

  15. Selecteer de koppeling Sleutels en selecteer vervolgens de kolom Sleutels die moet worden gebruikt voor het bijhouden van de verwijderbewerkingen.

    Schermopname van de koppeling om de kolomselectie Sleutels in te schakelen.

    Schermopname van het selecteren van een kolom Sleutels voor de geselecteerde bron.

  16. Nadat uw toewijzingen zijn voltooid, stelt u de CDC-latentie in met behulp van de knop Latentie instellen.

    Schermopname van de knop Latentie instellen boven aan het canvas.

  17. Selecteer de latentie van uw CDC en selecteer Vervolgens Toepassen om de wijzigingen aan te brengen.

    Latentie is standaard ingesteld op 15 minuten. In het voorbeeld in dit artikel wordt de realtime-optie voor latentie gebruikt. Realtime latentie haalt voortdurend wijzigingen in uw brongegevens op in intervallen van minder dan 1 minuut.

    Voor andere latenties (bijvoorbeeld als u 15 minuten selecteert), worden uw brongegevens verwerkt en worden de gewijzigde gegevens sinds de laatste verwerkte tijd opgehaald.

    Schermopname van de opties voor het instellen van latentie.

  18. Nadat u klaar bent met het configureren van uw CDC, selecteert u Alles publiceren om uw wijzigingen te publiceren.

    Schermopname van de knop Publiceren boven aan het canvas.

    Notitie

    Als u uw wijzigingen niet publiceert, kunt u uw CDC-resource niet starten. De knop Start in de volgende stap is niet beschikbaar.

  19. Selecteer Start om uw wijzigingsgegevensopname uit te voeren.

    Schermopname van de knop Start boven aan het canvas.

Nu uw wijzigingsgegevens vastleggen wordt uitgevoerd, kunt u het volgende doen:

  • Gebruik de controlepagina om te zien hoeveel wijzigingen (invoegen, bijwerken of verwijderen) zijn gelezen en geschreven, samen met andere diagnostische gegevens.

    Schermopname van de bewakingspagina van een geselecteerde wijzigingsgegevensopname.

    Schermopname van de bewakingspagina van een geselecteerde wijzigingsgegevensopname met een gedetailleerde weergave.

  • Controleer of de wijzigingsgegevens zijn aangekomen in Delta Lake die zijn opgeslagen in Azure Data Lake Storage Gen2, in Delta-indeling.

    Schermopname van een doel-Delta-map.

  • Valideer het schema van de wijzigingsgegevens die zijn aangekomen.

    Schermopname van een Delta-bestand.

Dynamische wijzigingen op schemaniveau aanbrengen in de brontabellen

  1. Voeg een nieuwe Kolom PersonalEmail toe aan de brontabel met behulp van een ALTER TABLE T-SQL-instructie, zoals wordt weergegeven in het volgende voorbeeld.

    Schermopname van de opdracht ALTER in Azure Data Studio.

  2. Controleer of de nieuwe kolom PersonalEmail wordt weergegeven in de bestaande tabel.

    Schermopname van een nieuw tabelontwerp met een kolom toegevoegd voor persoonlijke e-mail.

Schemawijzigingen valideren in de Delta-sink

Controleer of de nieuwe kolom PersonalEmail wordt weergegeven in de Delta-sink. U weet nu dat wijzigingsgegevens met schemawijzigingen zijn aangekomen bij het doel.

Schermopname van een Delta-bestand met een schemawijziging.

Gerelateerde inhoud