Lägga till ett lakehouse-mål i en händelseström
Den här artikeln visar hur du lägger till ett lakehouse som mål till en händelseström i Microsoft Fabric-händelseströmmar. För optimerad strömningsprestanda och realtidsfråga bör du överväga att strömma data till en Eventhouse med lägga till Eventhouse-mål i en händelseström och sedan aktivera Eventhouse OneLake-tillgänglighet.
Kommentar
Förbättrade funktioner är aktiverade som standard när du skapar eventstreams nu. Om du har eventstreams som har skapats med standardfunktioner fortsätter dessa händelseströmmar att fungera. Du kan fortfarande redigera och använda dem som vanligt. Vi rekommenderar att du skapar en ny händelseström för att ersätta standardhändelseströmmar så att du kan dra nytta av ytterligare funktioner och fördelar med förbättrade eventstreams.
Viktigt!
Det finns schematillämpning för att skriva data till en lakehouse-måltabell. Alla nya skrivningar till tabellen måste vara kompatibla med måltabellens schema vid skrivtillfället, vilket säkerställer datakvaliteten.
När utdata skrivs till en ny deltatabell skapas tabellschemat baserat på den första posten. Alla poster för utdata projiceras i schemat för den befintliga tabellen.
Om inkommande data har kolumner som inte finns i det befintliga tabellschemat inkluderas inte de extra kolumnerna i de data som skrivs till tabellen. På samma sätt, om inkommande data saknar kolumner som finns i det befintliga tabellschemat, skriver de saknade kolumnerna till tabellen med värdena inställda på null.
Förutsättningar
- Åtkomst till en arbetsyta i infrastrukturkapacitetslicensläget (eller) utvärderingslicensläget med deltagare eller högre behörigheter.
- Åtkomst till arbetsytan där ditt lakehouse finns med deltagarbehörighet eller högre behörigheter.
Kommentar
Det maximala antalet källor och mål för en händelseström är 11.
Lägga till ett sjöhus som mål
Följ dessa steg om du vill lägga till ett lakehouse-mål i en standardhändelseström eller härledd händelseström.
I Redigeringsläge för din händelseström väljer du Lägg till mål i menyfliksområdet och väljer Lakehouse i listrutan.
Anslut lakehouse-noden till strömnoden eller operatorn.
På konfigurationsskärmen för Lakehouse fyller du i följande information:
- Ange ett målnamn.
- Välj den arbetsyta som innehåller ditt sjöhus.
- Välj en befintlig Lakehouse från den arbetsyta som du angav.
- Välj en befintlig Delta-tabell eller skapa en ny för att ta emot data.
- Välj indataformatet som skickas till ditt lakehouse. De dataformat som stöds är JSON, Avro och CSV (med sidhuvud).
Visa avancerad.
Två inmatningslägen är tillgängliga för ett sjöhusmål. Baserat på ditt scenario konfigurerar du dessa lägen för att optimera hur Fabric-händelseströmmar skriver till lakehouse.
Minsta antal rader är det minsta antalet rader som lakehouse matar in i en enda fil. Minimivärdet är 1 rad och det maximala värdet är 2 miljoner rader per fil. Ju mindre minsta antal rader, desto fler filer skapas i lakehouse under inmatningen.
Maximal varaktighet är den maximala varaktighet som lakehouse tar för att mata in en enda fil. Minst 1 minut och max är 2 timmar. Ju längre varaktighet, desto fler rader matas in i en fil.
Välj Spara.
Om du vill implementera det nyligen tillagda lakehouse-målet väljer du Publicera.
När du har slutfört de här stegen är lakehouse-målet tillgängligt för visualisering i livevyn. I fönstret Information kan du välja genvägen Optimera tabellen i notebook-filen för att starta ett Apache Spark-jobb i en notebook-fil, vilket konsoliderar de små strömmande filerna i måltabellen för lakehouse.
Relaterat innehåll
Mer information om hur du lägger till andra mål i en händelseström finns i följande artiklar:
Förutsättningar
Innan du börjar måste du uppfylla följande krav:
- Åtkomst till en arbetsyta i infrastrukturkapacitetslicensläget (eller) utvärderingslicensläget med deltagare eller högre behörigheter.
- Få åtkomst till en arbetsyta med behörigheter som deltagare eller högre där ditt lakehouse finns.
Kommentar
Det maximala antalet källor och mål för en händelseström är 11.
Lägga till ett sjöhus som mål
Om du har skapat ett lakehouse på din arbetsyta följer du dessa steg för att lägga till lakehouse i din eventstream som mål:
Välj Nytt mål i menyfliksområdet eller "+" i huvudredigerarens arbetsyta och välj sedan Lakehouse. Konfigurationsskärmen för Lakehouse-målet visas.
Ange ett namn för eventstream-målet och fyll i informationen om ditt lakehouse.
Lakehouse: Välj ett befintligt sjöhus från den arbetsyta som du angav.
Deltatabell: Välj en befintlig deltatabell eller skapa en ny för att ta emot data.
Kommentar
När du skriver data till lakehouse-tabellen finns det schematillämpning. Det innebär att alla nya skrivningar till en tabell måste vara kompatibla med måltabellens schema vid skrivtillfället, vilket säkerställer datakvaliteten.
Alla poster för utdata projiceras i schemat för den befintliga tabellen. När du skriver utdata till en ny deltatabell skapas tabellschemat baserat på den första posten. Om inkommande data har ytterligare en kolumn jämfört med det befintliga tabellschemat skrivs de till tabellen utan att den extra kolumnen inkluderas. Om inkommande data däremot saknar en kolumn jämfört med det befintliga tabellschemat skrivs den till tabellen med kolumnens värde inställt på null.
Indataformat: Välj formatet för de data (indata) som skickas till lakehouse.
Kommentar
De indatadataformat som stöds är JSON, Avro och CSV (med sidhuvud).
Händelsebearbetning: Du kan använda redigeringsprogrammet för händelsebearbetning för att ange hur data ska bearbetas innan de skickas till lakehouse. Välj Öppna händelseprocessor för att öppna redigeraren för händelsebearbetning. Mer information om bearbetning i realtid med hjälp av händelseprocessorn finns i Bearbeta händelsedata med redigeraren för händelseprocessorn. När du är klar med redigeraren väljer du Klar för att återgå till konfigurationsskärmen för Lakehouse-målet .
Två inmatningslägen är tillgängliga för ett sjöhusmål. Välj ett av dessa lägen för att optimera hur funktionen Infrastrukturströmmar skriver till lakehouse baserat på ditt scenario.
Rader per fil – Det minsta antalet rader som Lakehouse matar in i en enda fil. Ju mindre minsta antal rader, desto fler filer skapar Lakehouse under inmatningen. Minimum är 1 rad. Maximalt är 2M rader per fil.
Duration – Den maximala varaktighet som Lakehouse skulle ta för att mata in en enda fil. Ju längre varaktigheten är, matas fler rader in i en fil. Minimum är 1 minut och max 2 timmar.
Välj Lägg till för att lägga till lakehouse-målet.
Genväg för tabelloptimering finns i lakehouse-målet. Den här lösningen underlättar dig genom att starta ett Spark-jobb i en notebook-fil som konsoliderar dessa små strömmande filer i lakehouse-måltabellen.
Ett sjöhusmål visas på arbetsytan med en snurrande statusindikator. Det tar några minuter för systemet att ändra statusen till Aktiv.
Hantera ett mål
Redigera/ta bort: Du kan redigera eller ta bort ett eventstream-mål antingen via navigeringsfönstret eller arbetsytan.
När du väljer Redigera öppnas redigeringsfönstret till höger i huvudredigeraren. Du kan ändra konfigurationen som du vill, inklusive logiken för händelsetransformeringen via redigeraren för händelseprocessorn.
Relaterat innehåll
Mer information om hur du lägger till andra mål i en händelseström finns i följande artiklar: