Delen via

Een lakehouse-bestemming toevoegen aan een eventstream

  • Artikel

In dit artikel leest u hoe u een lakehouse als bestemming toevoegt aan een eventstream in Microsoft Fabric-gebeurtenisstromen. Voor geoptimaliseerde streamingprestaties en realtime query's kunt u overwegen om gegevens te streamen naar een Eventhouse met een Eventhouse-bestemming toe te voegen aan een eventstream en vervolgens Eventhouse OneLake-beschikbaarheid in te schakelen.

Notitie

Verbeterde mogelijkheden zijn standaard ingeschakeld wanneer u nu eventstreams maakt. Als u eventstreams hebt die zijn gemaakt met behulp van standaardmogelijkheden, blijven deze eventstreams werken. U kunt ze nog steeds bewerken en gebruiken zoals gebruikelijk. U wordt aangeraden een nieuwe eventstream te maken om standaard eventstreams te vervangen, zodat u kunt profiteren van extra mogelijkheden en voordelen van verbeterde eventstreams.

Belangrijk

Er wordt schema afgedwongen voor het schrijven van gegevens in een lakehouse-doeltabel. Alle nieuwe schrijfbewerkingen naar de tabel moeten compatibel zijn met het schema van de doeltabel tijdens schrijftijd, waardoor de gegevenskwaliteit wordt gegarandeerd.

Wanneer uitvoer naar een nieuwe deltatabel wordt geschreven, wordt het tabelschema gemaakt op basis van de eerste record. Alle records van de uitvoergegevens worden geprojecteerd naar het schema van de bestaande tabel.

Als de binnenkomende gegevens kolommen bevatten die zich niet in het bestaande tabelschema bevinden, worden de extra kolommen niet opgenomen in de gegevens die naar de tabel worden geschreven. Als de binnenkomende gegevens kolommen ontbreken die zich in het bestaande tabelschema bevinden, schrijven de ontbrekende kolommen naar de tabel met de waarden die zijn ingesteld op null.

Vereisten

  • Toegang tot een werkruimte in de licentiemodus voor infrastructuurcapaciteit (of) de modus Voor proeflicenties met inzender- of hogere machtigingen.
  • Toegang tot de werkruimte waar uw lakehouse zich bevindt met inzender- of hogere machtigingen.

Notitie

Het maximum aantal bronnen en bestemmingen voor één eventstream is 11.

Een lakehouse toevoegen als bestemming

Volg deze stappen om een lakehouse-bestemming toe te voegen aan een standaard- of afgeleide eventstream.

  1. Selecteer in de bewerkingsmodus voor uw eventstream de optie Bestemming toevoegen op het lint en selecteer Lakehouse in de vervolgkeuzelijst.

    Een schermopname van de vervolgkeuzelijst Bestemming toevoegen met Lakehouse gemarkeerd.

  2. Verbind het lakehouse-knooppunt met uw streamknooppunt of operator.

  3. Vul in het configuratiescherm van Lakehouse de volgende informatie in:

    1. Voer een doelnaam in.
    2. Selecteer de werkruimte die uw lakehouse bevat.
    3. Selecteer een bestaand Lakehouse in de werkruimte die u hebt opgegeven.
    4. Selecteer een bestaande Delta-tabel of maak een nieuwe tabel om gegevens te ontvangen.
    5. Selecteer de indeling Invoergegevens die naar uw lakehouse wordt verzonden. De ondersteunde gegevensindelingen zijn JSON, Avro en CSV (met header).

    Een schermopname van het bovenste gedeelte van het lakehouse-configuratiescherm.

  4. Selecteer Geavanceerd.

  5. Er zijn twee opnamemodi beschikbaar voor een lakehouse-bestemming. Configureer deze modi op basis van uw scenario om te optimaliseren hoe Fabric-gebeurtenisstromen naar lakehouse schrijven.

    • Minimale rijen is het minimale aantal rijen dat het lakehouse in één bestand opneemt. Het minimum is 1 rij en het maximum is 2 miljoen rijen per bestand. Hoe kleiner het minimumaantal rijen, hoe meer bestanden het lakehouse maakt tijdens opname.

    • De maximale duur is de maximale duur die het lakehouse nodig heeft om één bestand op te nemen. Het minimum is 1 minuut en maximum is 2 uur. Hoe langer de duur, hoe meer rijen worden opgenomen in een bestand.

    Een schermopname van de sectie Geavanceerd van het lakehouse-configuratiescherm.

  6. Selecteer Opslaan.

  7. Als u de zojuist toegevoegde lakehouse-bestemming wilt implementeren, selecteert u Publiceren.

    Een schermopname van de stream- en lakehouse-bestemming in de bewerkingsmodus met de knop Publiceren gemarkeerd.

Zodra u deze stappen hebt voltooid, is het lakehouse-doel beschikbaar voor visualisatie in liveweergave. In het detailvenster kunt u de snelkoppeling Tabel optimaliseren selecteren om een Apache Spark-taak in een notebook te starten, waarmee de kleine streamingbestanden in de doel lakehouse-tabel worden geconsolideerd.

Een schermopname van de lakehouse-bestemming en de knop voor tabeloptimalisatie in liveweergave.

Gerelateerde inhoud

Zie de volgende artikelen voor meer informatie over het toevoegen van andere bestemmingen aan een eventstream:

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Toegang tot een werkruimte in de licentiemodus voor infrastructuurcapaciteit (of) de modus Voor proeflicenties met inzender- of hogere machtigingen.
  • Krijg toegang tot een werkruimte met inzender- of bovenstaande machtigingen waar uw lakehouse zich bevindt.

Notitie

Het maximum aantal bronnen en bestemmingen voor één eventstream is 11.

Een lakehouse toevoegen als bestemming

Als u een lakehouse in uw werkruimte hebt gemaakt, volgt u deze stappen om het lakehouse als bestemming toe te voegen aan uw eventstream:

  1. Selecteer Nieuwe bestemming op het lint of '+' in het hoofdeditorcanvas en selecteer vervolgens Lakehouse. Het configuratiescherm van de Lakehouse-bestemming wordt weergegeven.

  2. Voer een naam in voor de eventstream-bestemming en vul de informatie over uw lakehouse in.

    Schermopname van het configuratiescherm van het Lakehouse-doel.

    1. Lakehouse: Selecteer een bestaand lakehouse uit de werkruimte die u hebt opgegeven.

    2. Delta-tabel: Selecteer een bestaande deltatabel of maak een nieuwe tabel om gegevens te ontvangen.

      Notitie

      Wanneer u gegevens in de lakehouse-tabel schrijft, wordt schema afgedwongen. Dit betekent dat alle nieuwe schrijfbewerkingen naar een tabel compatibel moeten zijn met het schema van de doeltabel op schrijftijd, waardoor de gegevenskwaliteit gewaarborgd blijft.

      Alle records van de uitvoergegevens worden geprojecteerd naar het schema van de bestaande tabel. Wanneer u de uitvoer naar een nieuwe deltatabel schrijft, wordt het tabelschema gemaakt op basis van de eerste record. Als de binnenkomende gegevens een extra kolom hebben in vergelijking met het bestaande tabelschema, worden deze naar de tabel geschreven zonder de extra kolom op te geven. Als er echter een kolom ontbreekt in vergelijking met het bestaande tabelschema, schrijft deze naar de tabel met de waarde van de kolom ingesteld op null.

    3. Indeling voor invoergegevens: selecteer de indeling voor de gegevens (invoergegevens) die naar uw lakehouse worden verzonden.

      Notitie

      De ondersteunde indelingen voor gebeurtenisgegevens voor invoer zijn JSON, Avro en CSV (met header).

    4. Gebeurtenisverwerking: U kunt de editor voor gebeurtenisverwerking gebruiken om op te geven hoe de gegevens moeten worden verwerkt voordat ze naar uw lakehouse worden verzonden. Selecteer Gebeurtenisprocessor openen om de editor voor gebeurtenisverwerking te openen. Zie Gebeurtenisgegevens verwerken met de editor voor gebeurtenisprocessor voor meer informatie over realtimeverwerking met behulp van de gebeurtenisprocessor. Wanneer u klaar bent met de editor, selecteert u Gereed om terug te keren naar het doelconfiguratiescherm van Lakehouse .

      Schermopname van de gebeurtenisprocessoreditor.

  3. Er zijn twee opnamemodi beschikbaar voor een lakehouse-bestemming. Selecteer een van deze modi om te optimaliseren hoe de functie Fabric-gebeurtenisstromen naar lakehouse schrijft op basis van uw scenario.

    1. Rijen per bestand : het minimale aantal rijen dat Lakehouse in één bestand opneemt. Hoe kleiner het minimumaantal rijen, hoe meer bestanden Lakehouse maakt tijdens opname. Het minimum is 1 rij. Maximum is 2M rijen per bestand.

    2. Duur : de maximale duur die Lakehouse zou nemen om één bestand op te nemen. Hoe langer de duur, meer rijen worden opgenomen in een bestand. Minimum is 1 minuut en maximum is 2 uur.

      Schermopname van de opnamemodi.

  4. Selecteer Toevoegen om het lakehouse-doel toe te voegen.

  5. Snelkoppeling voor tabeloptimalisatie die beschikbaar is in de lakehouse-bestemming. Deze oplossing vereenvoudigt u door een Spark-taak in een notebook te starten, waarmee deze kleine streamingbestanden in de Doel Lakehouse-tabel worden geconsolideerd.

    Schermopname van de instellingen voor tabeloptimalisatie.

  6. Er wordt een lakehouse-bestemming weergegeven op het canvas, met een draaiende statusindicator. Het duurt enkele minuten voordat het systeem de status wijzigt in Actief.

    Schermopname van het lakehouse-doel.

Een bestemming beheren

Bewerken/verwijderen: u kunt een eventstream-bestemming bewerken of verwijderen via het navigatiedeelvenster of canvas.

Wanneer u Bewerken selecteert, wordt het bewerkingsvenster aan de rechterkant van de hoofdeditor geopend. U kunt de configuratie naar wens wijzigen, inclusief de logica voor gebeurtenistransformatie via de editor van de gebeurtenisprocessor.

Schermopname die laat zien waar u de opties voor wijzigen en verwijderen voor bestemmingen op het canvas selecteert.

Gerelateerde inhoud

Zie de volgende artikelen voor meer informatie over het toevoegen van andere bestemmingen aan een eventstream: