Delen via

Een lakehouse-bestemming toevoegen aan een eventstream

  • Artikel

In dit artikel leest u hoe u een lakehouse als bestemming toevoegt aan een eventstream in Microsoft Fabric-gebeurtenisstromen. Voor geoptimaliseerde streamingprestaties en realtime query's kunt u overwegen om gegevens te streamen naar een Eventhouse met een Eventhouse-bestemming toe te voegen aan een eventstream en vervolgens Eventhouse OneLake-beschikbaarheid in te schakelen.

Notitie

Verbeterde mogelijkheden zijn standaard ingeschakeld wanneer u nu eventstreams maakt. Als u eventstreams hebt die zijn gemaakt met behulp van standaardmogelijkheden, blijven deze eventstreams werken. U kunt ze nog steeds bewerken en gebruiken zoals gebruikelijk. U wordt aangeraden een nieuwe eventstream te maken om standaard eventstreams te vervangen, zodat u kunt profiteren van extra mogelijkheden en voordelen van verbeterde eventstreams.

Belangrijk

Er is schema-handhaving voor het schrijven van gegevens naar een lakehouse-doeltabel. Alle nieuwe schrijfbewerkingen naar de tabel moeten compatibel zijn met het schema van de doeltabel tijdens schrijftijd, waardoor de gegevenskwaliteit wordt gegarandeerd.

Wanneer uitvoer naar een nieuwe deltatabel wordt geschreven, wordt het tabelschema gemaakt op basis van de eerste record. Alle records van de uitvoergegevens worden geprojecteerd naar het schema van de bestaande tabel.

Als de binnenkomende gegevens kolommen bevatten die zich niet in het bestaande tabelschema bevinden, worden de extra kolommen niet opgenomen in de gegevens die naar de tabel worden geschreven. Als de binnenkomende gegevens kolommen missen die zich in het bestaande tabelschema bevinden, worden de ontbrekende kolommen geschreven naar de tabel met de waarden ingesteld op null.

Vereisten

  • Toegang tot een werkruimte in de Fabric capaciteitslicentiemodus of de proeflicentiemodus met Bijdrager- of hogere machtigingen.
  • Toegang tot de werkruimte waar uw lakehouse zich bevindt met inzender- of hogere machtigingen.

Notitie

Het maximum aantal bronnen en bestemmingen voor één eventstream is 11.

Een lakehouse toevoegen als bestemming

Volg deze stappen om een lakehouse-bestemming toe te voegen aan een standaard- of afgeleide eventstream.

  1. Selecteer in de bewerkingsmodus voor uw eventstream de optie Bestemming toevoegen op het lint en selecteer Lakehouse in de vervolgkeuzelijst.

    Een schermopname van de vervolgkeuzelijst Bestemming toevoegen met Lakehouse gemarkeerd.

  2. Verbind het lakehouse-knooppunt met uw streamknooppunt of operator.

  3. Vul in het configuratiescherm van Lakehouse de volgende informatie in:

    1. Voer een doelnaam in.
    2. Selecteer de werkruimte die uw lakehouse bevat.
    3. Selecteer een bestaand Lakehouse in de opgegeven werkruimte.
    4. Selecteer een bestaande Delta-tabel of maak een nieuwe tabel om gegevens te ontvangen.
    5. Selecteer het formaat van de invoergegevens die naar uw lakehouse worden verzonden. De ondersteunde gegevensindelingen zijn JSON, Avro en CSV (met header).

    Een schermopname van het bovenste gedeelte van het lakehouse-configuratiescherm.

  4. Selecteer Geavanceerd.

  5. Er zijn twee invoermodi beschikbaar voor een lakehouse-bestemming. Configureer deze modi op basis van uw scenario om te optimaliseren hoe Fabric-gebeurtenisstromen naar lakehouse schrijven.

    • Minimale rijen is het minimale aantal rijen dat het lakehouse in één bestand opneemt. Het minimum is 1 rij en het maximum is 2 miljoen rijen per bestand. Hoe kleiner het minimumaantal rijen, hoe meer bestanden het lakehouse maakt tijdens het laden van gegevens.

    • De maximale duur is de tijd die het lakehouse nodig heeft om één bestand in te laden. Het minimum is 1 minuut en maximum is 2 uur. Hoe langer de duur, hoe meer rijen worden opgenomen in een bestand.

    Een schermopname van de sectie Geavanceerd van het lakehouse-configuratiescherm.

  6. Selecteer Opslaan.

  7. Als u de zojuist toegevoegde lakehouse-bestemming wilt implementeren, selecteert u Publiceren.

    Een schermopname van de stream- en lakehouse-bestemming in de bewerkingsmodus met de knop Publiceren gemarkeerd.

Zodra u deze stappen hebt voltooid, is het lakehouse-doel beschikbaar voor visualisatie in liveweergave. In het Detailvenster kunt u de Tabel optimaliseren-snelkoppeling selecteren om een Apache Spark-taak in een notebook te starten, waarmee de kleine stroombestanden in de doellakehouse-tabel worden geconsolideerd.

Een schermopname van de lakehouse-bestemming en de knop voor tabeloptimalisatie in liveweergave.

Notitie

Bij het configureren van een Eventstream worden de bron-, transformatielogica en het doel doorgaans samen opgeteld. Bij het publiceren van eventstream beginnen de back-endservices voor zowel gegevensopname als gegevensroutering standaard met Nu. Gegevensopname kan echter sneller beginnen dan gegevensroutering, waardoor sommige gegevens in Eventstream worden opgenomen voordat de routering volledig wordt geïnitialiseerd. Hierdoor worden deze gegevens mogelijk niet doorgestuurd naar de bestemming.

Een veelvoorkomend voorbeeld is een CDC-databasebron, waarbij initiële momentopnamegegevens in Eventstream kunnen blijven zonder naar de bestemming te worden gerouteerd.

Volg deze stappen om dit te verhelpen:

  1. Wanneer u een Eventhouse (gebeurtenisverwerking vóór opname) configureert of Lakehouse bestemming, schakelt u Opname activeren uit nadat u de gegevensbron hebt toegevoegd.

    Een screenshot van de KQL Database zonder 'Activeren van opname' te selecteren nadat u de gegevensbron hebt toegevoegd.

  2. Activeer de ingestie handmatig nadat de Eventstream is gepubliceerd.

  3. Gebruik de optie Aangepaste tijd om een eerder tijdstempel te selecteren, zodat de initiële gegevens correct worden verwerkt en gerouteerd.

Een schermopname van het hervatten van de Lakehouse-bestemming. Voor meer informatie, zie Gegevensstromen onderbreken en hervatten

Gerelateerde inhoud

Zie de volgende artikelen voor meer informatie over het toevoegen van andere bestemmingen aan een eventstream:

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Toegang tot een werkruimte in de Fabric capaciteitslicentiemodus of de Proeflicentiemodus met Bijdrager- of hogere machtigingen.
  • Verkrijg toegang tot een werkruimte met Contributor- of hogere machtigingen waar uw lakehouse zich bevindt.

Notitie

Het maximum aantal bronnen en bestemmingen voor één eventstream is 11.

Een lakehouse toevoegen als bestemming

Als u een lakehouse in uw werkruimte hebt gemaakt, volgt u deze stappen om het lakehouse als bestemming toe te voegen aan uw eventstream:

  1. Selecteer Nieuwe bestemming op het lint of '+' in het hoofdeditorcanvas en selecteer vervolgens Lakehouse. Het configuratiescherm van de Lakehouse-bestemming wordt weergegeven.

  2. Voer een naam in voor de eventstream-bestemming en vul de informatie over uw lakehouse in.

    Schermopname van het configuratiescherm van het Lakehouse-doel.

    1. Lakehouse: Selecteer een bestaand lakehouse uit de werkruimte die u hebt opgegeven.

    2. Delta-tabel: Selecteer een bestaande deltatabel of maak een nieuwe tabel om gegevens te ontvangen.

      Notitie

      Wanneer u gegevens in de lakehouse-tabel schrijft, is er schemahandhaving. Dit betekent dat alle nieuwe schrijfbewerkingen naar een tabel compatibel moeten zijn met het schema van de doeltabel op schrijftijd, waardoor de gegevenskwaliteit gewaarborgd blijft.

      Alle records van de uitvoergegevens worden geprojecteerd naar het schema van de bestaande tabel. Wanneer u de uitvoer naar een nieuwe deltatabel schrijft, wordt het tabelschema gemaakt op basis van de eerste record. Als de binnenkomende gegevens een extra kolom hebben in vergelijking met het bestaande tabelschema, worden deze naar de tabel geschreven zonder de extra kolom op te geven. Als er echter een kolom ontbreekt in vergelijking met het bestaande tabelschema, schrijft deze naar de tabel met de waarde van de kolom ingesteld op null.

    3. Indeling voor invoergegevens: Selecteer het formaat van de gegevens (invoergegevens) die naar uw lakehouse worden gestuurd.

      Notitie

      De ondersteunde indelingen voor gebeurtenisgegevens voor invoer zijn JSON, Avro en CSV (met header).

    4. Gebeurtenisverwerking: U kunt de editor voor gebeurtenisverwerking gebruiken om op te geven hoe de gegevens moeten worden verwerkt voordat ze naar uw lakehouse worden verzonden. Selecteer Gebeurtenisprocessor openen om de editor voor gebeurtenisverwerking te openen. Zie Gebeurtenisgegevens verwerken met de editor voor gebeurtenisprocessor voor meer informatie over realtimeverwerking met behulp van de gebeurtenisprocessor. Wanneer u klaar bent met de editor, selecteert u Gereed om terug te keren naar het doelconfiguratiescherm van Lakehouse .

      Schermopname van de gebeurtenisprocessoreditor.

  3. Voor een lakehouse-bestemming zijn er twee opnamemodi beschikbaar. Selecteer een van deze modi om te optimaliseren hoe de functie Fabric-gebeurtenisstromen naar lakehouse schrijft op basis van uw scenario.

    1. Rijen per bestand : het minimale aantal rijen dat Lakehouse in één bestand opneemt. Hoe kleiner het minimumaantal rijen, hoe meer bestanden Lakehouse maakt tijdens opname. Het minimum is 1 rij. Maximaal 2M rijen per bestand.

    2. Duur : de maximale duur die Lakehouse zou nemen om één bestand op te nemen. Hoe langer de duur, meer rijen worden opgenomen in een bestand. Minimum is 1 minuut en maximum is 2 uur.

      Schermopname van de invoerwijzen.

  4. Selecteer Toevoegen om het lakehouse-doel toe te voegen.

  5. Snelkoppeling voor tabeloptimalisatie die beschikbaar is in de lakehouse-bestemming. Deze oplossing ondersteunt u door een Spark-job binnen een notebook te starten, waarmee deze kleine streamingbestanden in de Lakehouse-tabel worden geconsolideerd.

    Schermopname van de instellingen voor tabeloptimalisatie.

  6. Er wordt een lakehouse-bestemming weergegeven op het canvas, met een draaiende statusindicator. Het duurt enkele minuten voordat het systeem de status wijzigt in Actief.

    Schermopname van het lakehouse-doel.

Een bestemming beheren

Bewerken/verwijderen: u kunt een eventstream-bestemming bewerken of verwijderen via het navigatiedeelvenster of canvas.

Wanneer u Bewerken selecteert, wordt het bewerkingsvenster aan de rechterkant van de hoofdeditor geopend. U kunt de configuratie naar wens wijzigen, inclusief de logica voor gebeurtenistransformatie via de editor van de gebeurtenisprocessor.

Schermopname die laat zien waar u de opties voor wijzigen en verwijderen voor bestemmingen op het canvas selecteert.

Gerelateerde inhoud

Zie de volgende artikelen voor meer informatie over het toevoegen van andere bestemmingen aan een eventstream: