Προσθήκη ενός προορισμού lakehouse σε ένα eventstream

Αυτό το άρθρο σάς δείχνει πώς μπορείτε να προσθέσετε μια λίμνη ως προορισμό σε μια ροή συμβάντων στο Microsoft Fabric. Για βελτιστοποιημένη απόδοση ροής και υποβολή ερωτημάτων σε πραγματικό χρόνο, εξετάστε το ενδεχόμενο ροής δεδομένων σε μια αποθήκη συμβάντων με την προσθήκη του προορισμού Eventhouse σε ένα eventstream και, στη συνέχεια, ενεργοποιήστε τη Διαθεσιμότητα OneLake eventhouse.

Σημείωμα

Οι βελτιωμένες δυνατότητες ενεργοποιούνται από προεπιλογή όταν δημιουργείτε ροές συμβάντων τώρα. Εάν έχετε ροές συμβάντων που δημιουργήθηκαν χρησιμοποιώντας τυπικές δυνατότητες, αυτές οι ροές συμβάντων θα συνεχίσουν να λειτουργούν. Εξακολουθείτε να μπορείτε να τα επεξεργαστείτε και να τα χρησιμοποιήσετε ως συνήθως. Συνιστούμε να δημιουργήσετε ένα νέο eventstream για να αντικαταστήσετε τις τυπικές ροές συμβάντων, ώστε να μπορείτε να επωφεληθείτε από πρόσθετες δυνατότητες και οφέλη από τις βελτιωμένες ροές συμβάντων.

Σημαντικό

Υπάρχει επιβολή σχήματος για τη σύνταξη δεδομένων σε έναν πίνακα προορισμού lakehouse. Όλες οι νέες εγγραφές στον πίνακα πρέπει να είναι συμβατές με το σχήμα του πίνακα προορισμού κατά τον χρόνο εγγραφής, εξασφαλίζοντας ποιότητα δεδομένων.

Όταν η έξοδος γράφεται σε έναν νέο πίνακα δέλτα, το σχήμα πίνακα δημιουργείται με βάση την πρώτη εγγραφή. Όλες οι εγγραφές των δεδομένων εξόδου προβάλλονται στο σχήμα του υπάρχοντος πίνακα.

Εάν τα εισερχόμενα δεδομένα έχουν στήλες που δεν βρίσκονται στο υπάρχον σχήμα πίνακα, οι επιπλέον στήλες δεν περιλαμβάνονται στα δεδομένα που έχουν συνταχθεί στον πίνακα. Παρομοίως, αν λείπουν στήλες από εισερχόμενα δεδομένα που βρίσκονται στο υπάρχον σχήμα πίνακα, οι στήλες που λείπουν εγγράφονται στον πίνακα με τις τιμές να έχουν οριστεί σε null.

Προαπαιτούμενα στοιχεία

• Πρόσβαση σε έναν χώρο εργασίας στη λειτουργία άδειας χρήσης εκχωρημένων πόρων Fabric (ή) στη λειτουργία άδειας χρήσης δοκιμαστικής έκδοσης με δικαιώματα Συμβάλλοντα ή υψηλότερα δικαιώματα.
• Πρόσβαση στον χώρο εργασίας όπου βρίσκεται η λίμνη σας με δικαιώματα Συμβάλλοντα ή υψηλότερα.

Σημείωμα

Ο μέγιστος αριθμός των προελεύσεων και προορισμών για ένα eventstream είναι 11.

Προσθήκη μιας λίμνης ως προορισμού

Για να προσθέσετε έναν προορισμό lakehouse σε μια προεπιλεγμένη ή παραγόμενη ροή συμβάντων, ακολουθήστε τα παρακάτω βήματα.

1. Στη λειτουργία επεξεργασίας για το συμβάν σας, επιλέξτε Προσθήκη προορισμού στην κορδέλα και επιλέξτε Lakehouse από την αναπτυσσόμενη λίστα.

   

2. Συνδέστε τον κόμβο lakehouse στον κόμβο ή τον τελεστή του stream.

3. Στην οθόνη ρύθμισης παραμέτρων του Lakehouse , συμπληρώστε τις ακόλουθες πληροφορίες:

   1. Εισαγάγετε ένα Όνομα προορισμού.
   2. Επιλέξτε τον χώρο εργασίας που περιέχει το lakehouse σας.
   3. Επιλέξτε μια υπάρχουσα lakehouse από τον χώρο εργασίας που καθορίσατε.
   4. Επιλέξτε έναν υπάρχοντα πίνακα Delta ή δημιουργήστε έναν νέο για να λάβετε δεδομένα.
   5. Επιλέξτε τη μορφή Δεδομένα εισόδου που αποστέλλεται στο lakehouse σας. Οι υποστηριζόμενες μορφές δεδομένων είναι JSON, Avro και CSV (με κεφαλίδα).

   

4. Επιλέξτε Για προχωρημένους.

5. Υπάρχουν δύο τρόποι πρόσληψης για έναν προορισμό lakehouse. Με βάση το σενάριό σας, ρυθμίστε αυτές τις λειτουργίες για να βελτιστοποιήσετε τον τρόπο εγγραφής των ροών συμβάντων Fabric στο lakehouse.

   • Οι ελάχιστες γραμμές είναι ο ελάχιστος αριθμός γραμμών που προσλαμβάνεται από τη λίμνη σε ένα μόνο αρχείο. Το ελάχιστο είναι 1 γραμμή και το μέγιστο είναι 2 εκατομμύρια γραμμές ανά αρχείο. Όσο μικρότερος είναι ο ελάχιστος αριθμός γραμμών, τόσο περισσότερα αρχεία δημιουργεί η λίμνη κατά την πρόσληψη.

   • Η μέγιστη διάρκεια είναι η μέγιστη διάρκεια που λαμβάνει η λίμνη για την πρόσληψη ενός μοναδικού αρχείου. Η ελάχιστη τιμή είναι 1 λεπτό και η μέγιστη είναι 2 ώρες. Όσο μεγαλύτερη είναι η διάρκεια, τόσο περισσότερες γραμμές προσελκύονται σε ένα αρχείο.

   

6. Επιλέξτε Αποθήκευση.

7. Για να υλοποιήσετε τον προορισμό της λίμνης που προστέθηκε πρόσφατα, επιλέξτε Δημοσίευση.

   

Μόλις ολοκληρώσετε αυτά τα βήματα, ο προορισμός της λίμνης είναι διαθέσιμος για απεικόνιση σε Ζωντανή προβολή. Στο τμήμα παραθύρου Λεπτομέρειες, μπορείτε να επιλέξετε τη συντόμευση Βελτιστοποίηση πίνακα στη συντόμευση σημειωματάριου για να εκκινήσετε μια εργασία Apache Spark μέσα σε ένα Σημειωματάριο, το οποίο ενοποιεί τα μικρά αρχεία ροής εντός του πίνακα λίμνης προορισμού.

Σχετικό περιεχόμενο

Για να μάθετε πώς μπορείτε να προσθέσετε άλλους προορισμούς σε μια ροή συμβάντων, ανατρέξτε στα παρακάτω άρθρα:

• Δρομολόγηση συμβάντων σε προορισμούς
• Προσαρμοσμένη εφαρμογή
• Παραγόμενη ροή
• Eventhouse
• Ενεργοποίηση fabric
• Δημιουργία ροής συμβάντων

Προαπαιτούμενα στοιχεία

Πριν ξεκινήσετε, πρέπει να συμπληρώσετε τις ακόλουθες προϋποθέσεις:

• Πρόσβαση σε έναν χώρο εργασίας στη λειτουργία άδειας χρήσης εκχωρημένων πόρων Fabric (ή) στη λειτουργία άδειας χρήσης δοκιμαστικής έκδοσης με δικαιώματα Συμβάλλοντα ή υψηλότερα δικαιώματα.
• Αποκτήστε πρόσβαση σε έναν χώρο εργασίας με Δικαιώματα συμβάλλοντα ή παραπάνω στην τοποθεσία της λίμνης σας.

Σημείωμα

Ο μέγιστος αριθμός των προελεύσεων και προορισμών για ένα eventstream είναι 11.

Προσθήκη μιας λίμνης ως προορισμού

Εάν έχετε ένα lakehouse που δημιουργήθηκε στον χώρο εργασίας σας, ακολουθήστε αυτά τα βήματα για να προσθέσετε το lakehouse στο eventstream σας ως προορισμό:

1. Επιλέξτε Νέος προορισμός στην κορδέλα ή "+" στον κύριο καμβά του προγράμματος επεξεργασίας και, στη συνέχεια, επιλέξτε Lakehouse. Εμφανίζεται η οθόνη ρύθμισης παραμέτρων προορισμού Lakehouse .

2. Εισαγάγετε ένα όνομα για τον προορισμό eventstream και συμπληρώστε τις πληροφορίες σχετικά με το lakehouse.

   

   1. Lakehouse: Επιλέξτε μια υπάρχουσα λίμνη από τον χώρο εργασίας που καθορίσατε.

   2. Πίνακας Delta: Επιλέξτε έναν υπάρχοντα πίνακα δέλτα ή δημιουργήστε έναν νέο για να λάβετε δεδομένα.

      Σημείωμα

      Κατά την εγγραφή δεδομένων στον πίνακα lakehouse, υπάρχει επιβολή του σχήματος. Αυτό σημαίνει ότι όλες οι νέες εγγραφές σε έναν πίνακα πρέπει να είναι συμβατές με το σχήμα του πίνακα προορισμού κατά τον χρόνο εγγραφής, εξασφαλίζοντας ποιότητα δεδομένων.

      Όλες οι εγγραφές των δεδομένων εξόδου προβάλλονται στο σχήμα του υπάρχοντος πίνακα. Κατά την εγγραφή της εξόδου σε έναν νέο πίνακα δέλτα, το σχήμα πίνακα δημιουργείται με βάση την πρώτη εγγραφή. Εάν τα εισερχόμενα δεδομένα έχουν μια πρόσθετη στήλη σε σύγκριση με το υπάρχον σχήμα πίνακα, εγγράφονται στον πίνακα χωρίς να συμπεριλάβετε την επιπλέον στήλη. Αντίστροφα, εάν από τα εισερχόμενα δεδομένα απουσιάζει μια στήλη σε σύγκριση με το υπάρχον σχήμα πίνακα, εγγράφεται στον πίνακα με την τιμή της στήλης να έχει οριστεί σε null.

   3. Μορφή δεδομένων εισόδου: Επιλέξτε τη μορφή για τα δεδομένα (δεδομένα εισόδου) που αποστέλλονται στο lakehouse.

      Σημείωμα

      Οι υποστηριζόμενες μορφές δεδομένων συμβάντων εισόδου είναι JSON, Avro και CSV (με κεφαλίδα).

   4. Επεξεργασία συμβάντων: Μπορείτε να χρησιμοποιήσετε το πρόγραμμα επεξεργασίας συμβάντων για να καθορίσετε τον τρόπο επεξεργασίας των δεδομένων πριν από την αποστολή τους στο lakehouse σας. Επιλέξτε Άνοιγμα επεξεργαστή συμβάντων για να ανοίξετε το πρόγραμμα επεξεργασίας συμβάντων. Για να μάθετε περισσότερα σχετικά με την επεξεργασία σε πραγματικό χρόνο με χρήση του προγράμματος επεξεργασίας συμβάντων, ανατρέξτε στο θέμα Επεξεργασία δεδομένων συμβάντων με το πρόγραμμα επεξεργασίας συμβάντων. Όταν τελειώσετε με το πρόγραμμα επεξεργασίας, επιλέξτε Τέλος για να επιστρέψετε στην οθόνη ρύθμισης παραμέτρων προορισμού lakehouse.

      

3. Υπάρχουν δύο τρόποι πρόσληψης για έναν προορισμό lakehouse. Επιλέξτε μία από αυτές τις λειτουργίες για να βελτιστοποιήσετε τον τρόπο εγγραφής της δυνατότητας ροές συμβάντων Fabric στο lakehouse με βάση το σενάριό σας.

   1. Γραμμές ανά αρχείο – Ο ελάχιστος αριθμός γραμμών που καταπίνει το Lakehouse σε ένα μόνο αρχείο. Όσο μικρότερος είναι ο ελάχιστος αριθμός γραμμών, τόσο περισσότερα αρχεία δημιουργεί το Lakehouse κατά την πρόσληψη. Το ελάχιστο είναι 1 γραμμή. Το Μέγιστο είναι 2 εκατομμύρια γραμμές ανά αρχείο.

   2. Duration – Η μέγιστη διάρκεια που θα έπαιρνε το Lakehouse για την πρόσληψη ενός μοναδικού αρχείου. Όσο μεγαλύτερη είναι η διάρκεια, περισσότερες γραμμές προσελκύονται σε ένα αρχείο. Το ελάχιστο είναι 1 λεπτό και το μέγιστο είναι 2 ώρες.

      

4. Επιλέξτε Προσθήκη για να προσθέσετε τον προορισμό της λίμνης.

5. Η συντόμευση βελτιστοποίησης πίνακα διατίθεται εντός του προορισμού της λίμνης. Αυτή η λύση σάς διευκολύνει με την εκκίνηση μιας εργασίας Spark σε ένα Σημειωματάριο, το οποίο ενοποιεί αυτά τα μικρά αρχεία ροής στον πίνακα προορισμού Lakehouse.

   

6. Ένας προορισμός lakehouse εμφανίζεται στον καμβά, με έναν περιστρεφόμενο δείκτη κατάστασης. Το σύστημα χρειάζεται μερικά λεπτά για να αλλάξει την κατάσταση σε Ενεργή.

   

Διαχείριση προορισμού

Επεξεργασία/κατάργηση: Μπορείτε να επεξεργαστείτε ή να καταργήσετε έναν προορισμό eventstream είτε μέσω του παραθύρου περιήγησης είτε μέσω του καμβά.

Όταν επιλέγετε Επεξεργασία, ανοίγει το παράθυρο επεξεργασίας στη δεξιά πλευρά του κύριου προγράμματος επεξεργασίας. Μπορείτε να τροποποιήσετε τη ρύθμιση παραμέτρων όπως θέλετε, συμπεριλαμβανομένης της λογικής μετασχηματισμού συμβάντων μέσω του προγράμματος επεξεργασίας συμβάντων.

Σχετικό περιεχόμενο

Για να μάθετε πώς μπορείτε να προσθέσετε άλλους προορισμούς σε μια ροή συμβάντων, ανατρέξτε στα παρακάτω άρθρα:

• Δρομολόγηση συμβάντων σε προορισμούς
• Προσαρμοσμένη εφαρμογή
• Βάση δεδομένων KQL
• Ενεργοποίηση fabric
• Δημιουργία ροής συμβάντων