Ροές συμβάντων Microsoft Fabric - επισκόπηση
Η δυνατότητα eventstreams στην εμπειρία "Ευφυΐα πραγματικού χρόνου" του Microsoft Fabric σάς επιτρέπει να μεταφέρετε συμβάντα σε πραγματικό χρόνο στο Fabric, να τα μετασχηματίζετε και, στη συνέχεια, να τα δρομολογείτε σε διάφορους προορισμούς χωρίς να γράφετε κώδικα (χωρίς κώδικα). Δημιουργείτε μια ροή συμβάντων, η οποία είναι μια παρουσία του στοιχείου Eventstream στο Fabric, προσθέτετε προελεύσεις δεδομένων συμβάντων στη ροή, προσθέτετε προαιρετικά μετασχηματισμούς για να μετασχηματίζετε τα δεδομένα συμβάντων και, στη συνέχεια, δρομολογείτε τα δεδομένα σε υποστηριζόμενους προορισμούς. Επιπλέον, με τα τελικά σημεία Apache Kafka διαθέσιμα στο στοιχείο Eventstream, μπορείτε να στείλετε ή να καταναλώσετε συμβάντα σε πραγματικό χρόνο, χρησιμοποιώντας το πρωτόκολλο Kafka.
Εισαγωγή συμβάντων στο Fabric
Η δυνατότητα eventstreams σάς παρέχει διάφορες συνδέσεις προέλευσης για τη λήψη δεδομένων συμβάντων από τις διάφορες προελεύσεις. Υπάρχουν περισσότερες διαθέσιμες προελεύσεις όταν ενεργοποιείτε βελτιωμένες δυνατότητες κατά τη στιγμή της δημιουργίας μιας ροής συμβάντων.
| Πηγές | Περιγραφή |
|---|---|
| Κέντρα συμβάντων Azure | Εάν έχετε ένα κέντρο συμβάντων Azure, μπορείτε να πραγματοποιήσετε πρόσληψη δεδομένων κέντρου συμβάντων στο Microsoft Fabric χρησιμοποιώντας τη συνάρτηση Eventstream. |
| Κέντρο Azure IoT | Εάν έχετε έναν διανομέα Azure IoT, μπορείτε να πραγματοποιήσετε πρόσληψη δεδομένων IoT στο Microsoft Fabric χρησιμοποιώντας τη συνάρτηση Eventstream. |
| Azure SQL Database Change Data Capture (CDC) | Η σύνδεση προέλευσης CDC βάσης δεδομένων SQL Azure σάς επιτρέπει να καταγράψετε ένα στιγμιότυπο των τρεχόντων δεδομένων σε μια βάση δεδομένων SQL Azure. Η σύνδεση, στη συνέχεια, παρακολουθεί και καταγράφει τυχόν μελλοντικές αλλαγές σε επίπεδο γραμμών σε αυτά τα δεδομένα. |
| PostgreSQL Database CDC | Η σύνδεση προέλευσης PostgreSQL Change Data Capture (CDC) σάς επιτρέπει να καταγράψετε ένα στιγμιότυπο των τρεχόντων δεδομένων σε μια βάση δεδομένων PostgreSQL. Η σύνδεση, στη συνέχεια, παρακολουθεί και καταγράφει τυχόν μελλοντικές αλλαγές σε επίπεδο γραμμών σε αυτά τα δεδομένα. |
| MySQL Database CDC | Η σύνδεση προέλευσης αλλαγής δεδομένων (CDC) της βάσης δεδομένων MySQL του Azure σάς επιτρέπει να καταγράψετε ένα στιγμιότυπο των τρεχόντων δεδομένων σε μια βάση δεδομένων Azure για τη βάση δεδομένων MySQL. Μπορείτε να καθορίσετε τους πίνακες για παρακολούθηση και η eventstream καταγράφει τυχόν μελλοντικές αλλαγές σε επίπεδο γραμμών στους πίνακες. |
| Azure Cosmos DB CDC | Η σύνδεση προέλευσης Azure Cosmos DB Change Data Capture (CDC) για τις ροές συμβάντων Microsoft Fabric σάς επιτρέπει να καταγράψετε ένα στιγμιότυπο των τρεχόντων δεδομένων σε μια βάση δεδομένων Azure Cosmos DB. Η σύνδεση, στη συνέχεια, παρακολουθεί και καταγράφει τυχόν μελλοντικές αλλαγές σε επίπεδο γραμμών σε αυτά τα δεδομένα. |
| SQL Server σε βάση δεδομένων εικονικής μηχανής (VM) (DB) CDC | Η σύνδεση προέλευσης SQL Server σε VM DB (CDC) για ροές συμβάντων Fabric σάς επιτρέπει να καταγράψετε ένα στιγμιότυπο των τρεχόντων δεδομένων σε μια βάση δεδομένων SQL Server σε εικονική μηχανή. Η σύνδεση, στη συνέχεια, παρακολουθεί και καταγράφει τυχόν μελλοντικές αλλαγές σε επίπεδο γραμμών στα δεδομένα. |
| Azure SQL Managed Instance CDC | Η σύνδεση προέλευσης διαχειριζόμενης παρουσίας CDC του Azure SQL για τις ροές συμβάντων Microsoft Fabric σάς επιτρέπει να καταγράψετε ένα στιγμιότυπο των τρεχόντων δεδομένων σε μια βάση δεδομένων διαχειριζόμενης παρουσίας SQL. Η σύνδεση, στη συνέχεια, παρακολουθεί και καταγράφει τυχόν μελλοντικές αλλαγές σε επίπεδο γραμμών σε αυτά τα δεδομένα. |
| Google Cloud Pub/Sub | Το Google Pub/Sub είναι μια υπηρεσία ανταλλαγής μηνυμάτων που σας επιτρέπει να δημοσιεύετε και να εγγράφεστε σε ροές συμβάντων. Μπορείτε να προσθέσετε το Google Pub/Sub ως προέλευση στο eventstream σας για να καταγράφετε, να μετασχηματίζετε και να δρομολογείτε συμβάντα σε πραγματικό χρόνο σε διάφορους προορισμούς στο Fabric. |
| Ροές δεδομένων Amazon Kinesis | Το Amazon Kinesis Data Streams είναι μια εξαιρετικά κλιμακούμενη, ιδιαίτερα ανθεκτική πρόσληψη δεδομένων και υπηρεσία επεξεργασίας βελτιστοποιημένη για ροή δεδομένων. Ενσωματώνοντας το Amazon Kinesis Data Streams ως προέλευση στη ροή συμβάντων σας, μπορείτε να επεξεργαστείτε απρόσκοπτα ροές δεδομένων σε πραγματικό χρόνο πριν τις δρομολογήσετε σε πολλούς προορισμούς εντός του Fabric. |
| Confluent Cloud Kafka | Το Confluent Cloud Kafka είναι μια πλατφόρμα ροής που προσφέρει ισχυρές λειτουργίες ροής και επεξεργασίας δεδομένων χρησιμοποιώντας το Apache Kafka. Ενσωματώνοντας το Confluent Cloud Kafka ως προέλευση στο eventstream, μπορείτε να επεξεργαστείτε απρόσκοπτα ροές δεδομένων σε πραγματικό χρόνο πριν τις δρομολογήσετε σε πολλούς προορισμούς εντός του Fabric. |
| Amazon MSK Kafka | Το Amazon MSK Kafka είναι μια πλήρως διαχειριζόμενη υπηρεσία Kafka που απλοποιεί τη ρύθμιση, την κλιμάκωση και τη διαχείριση. Ενσωματώνοντας το Amazon MSK Kafka ως προέλευση στη ροή συμβάντων σας, μπορείτε να μεταφέρετε απρόσκοπτα τα συμβάντα σε πραγματικό χρόνο από το MSK Kafka σας και να τα επεξεργαστείτε πριν τα δρομολογήσετε σε πολλούς προορισμούς εντός του Fabric. |
| Δείγμα δεδομένων | Μπορείτε να επιλέξετε συμβάντα ποδηλάτων, κίτρινου ταξί ή χρηματιστηρίου ως δείγμα προέλευσης δεδομένων για να δοκιμάσετε την πρόσληψη δεδομένων κατά τη ρύθμιση μιας ροής συμβάντων. |
| Προσαρμοσμένο τελικό σημείο (δηλαδή, Προσαρμοσμένη εφαρμογή σε τυπική δυνατότητα) | Η δυνατότητα προσαρμοσμένου τελικού σημείου επιτρέπει στις εφαρμογές σας ή στα προγράμματα-πελάτες Kafka να συνδεθούν στο Eventstream χρησιμοποιώντας μια συμβολοσειρά σύνδεσης, επιτρέποντας την ομαλή πρόσληψη δεδομένων ροής στο Eventstream. |
| Δίαυλος υπηρεσίας Azure (προεπισκόπηση) | Μπορείτε να κάνετε πρόσληψη δεδομένων από μια ουρά διαύλου υπηρεσίας Azure ή μια συνδρομή θέματος στο Microsoft Fabric χρησιμοποιώντας τη συνάρτηση Eventstream. |
| Apache Kafka (προεπισκόπηση) | Το Apache Kafka είναι μια κατανεμημένη πλατφόρμα ανοιχτού κώδικα για τη δημιουργία συστημάτων δεδομένων με δυνατότητα κλιμάκωσης σε πραγματικό χρόνο. Ενσωματώνοντας το Apache Kafka ως προέλευση στη ροή συμβάντων σας, μπορείτε να μεταφέρετε απρόσκοπτα συμβάντα σε πραγματικό χρόνο από το Apache Kafka σας και να τα επεξεργαστείτε πριν από τη δρομολόγηση σε πολλούς προορισμούς εντός του Fabric. |
| Συμβάντα χώρου αποθήκευσης αντικειμένων blob Azure (προεπισκόπηση) | Τα συμβάντα χώρου αποθήκευσης αντικειμένων Blob Azure ενεργοποιούνται όταν ένα πρόγραμμα-πελάτης δημιουργεί, αντικαθιστά ή διαγράφει ένα αντικείμενο blob. Η σύνδεση σάς επιτρέπει να συνδέσετε συμβάντα χώρου αποθήκευσης αντικειμένων Blob με συμβάντα Fabric στο Κέντρο πραγματικού χρόνου. Μπορείτε να μετατρέψετε αυτά τα συμβάντα σε συνεχείς ροές δεδομένων και να τα μετασχηματίσετε πριν από τη δρομολόγηση τους σε διάφορους προορισμούς στο Fabric. |
| Συμβάντα στοιχείου χώρου εργασίας Fabric (προεπισκόπηση) | Τα συμβάντα Fabric Workspace Item είναι διακριτά συμβάντα Fabric που προκύπτουν όταν γίνονται αλλαγές στον χώρο εργασίας Fabric σας. Αυτές οι αλλαγές περιλαμβάνουν τη δημιουργία, ενημέρωση ή διαγραφή ενός στοιχείου Fabric. Με τις ροές συμβάντων Fabric, μπορείτε να καταγράψετε αυτά τα συμβάντα χώρου εργασίας Fabric, να τα μετασχηματίσετε και να τα δρομολογήσετε σε διάφορους προορισμούς στο Fabric για περαιτέρω ανάλυση. |
Επεξεργασία συμβάντων με χρήση εμπειρίας χωρίς κώδικα
Η εμπειρία μεταφοράς και απόθεσης σάς παρέχει έναν εύχρηστο και εύκολο τρόπο για να δημιουργήσετε την επεξεργασία, τον μετασχηματισμό και τη λογική δρομολόγησης συμβάντων χωρίς τη σύνταξη κώδικα. Ένα ολοκληρωμένο διάγραμμα ροής δεδομένων σε μια ροή δεδομένων σε μια ροή συμβάντων μπορεί να σας παρέχει μια ολοκληρωμένη κατανόηση της ροής δεδομένων και του οργανισμού. Το πρόγραμμα επεξεργασίας συμβάντων είναι μια εμπειρία χωρίς κώδικα που σας επιτρέπει να κάνετε μεταφορά και απόθεση για να σχεδιάσετε τη λογική επεξεργασίας δεδομένων συμβάντων.
| Μετασχηματισμός | Περιγραφή |
|---|---|
| Φίλτρο | Χρησιμοποιήστε τον μετασχηματισμό φίλτρου για να φιλτράρετε συμβάντα με βάση την τιμή ενός πεδίου στην είσοδο. Ανάλογα με τον τύπο δεδομένων (αριθμός ή κείμενο), ο μετασχηματισμός διατηρεί τις τιμές που συμφωνούν με την επιλεγμένη συνθήκη, όπως is null ή is not null. |
| Διαχείριση πεδίων | Ο μετασχηματισμός Διαχείριση πεδίων σάς επιτρέπει να προσθέσετε, να καταργήσετε, να αλλάξετε τον τύπο δεδομένων ή να μετονομάσετε πεδία που εισέρχονται από μια είσοδο ή έναν άλλο μετασχηματισμό. |
| Συγκέντρωμα | Χρησιμοποιήστε τον μετασχηματισμό Συγκεντρωτικών αποτελεσμάτων για να υπολογίσετε μια συνάθροιση (Άθροισμα, Ελάχιστο, Μέγιστο ή Μέσος όρος) κάθε φορά που παρουσιάζεται ένα νέο συμβάν σε μια χρονική περίοδο. Αυτή η λειτουργία επιτρέπει επίσης τη μετονομασία αυτών των υπολογιζόμενων στηλών και το φιλτράρισμα ή ανάλυση της συνάθροισης με βάση άλλες διαστάσεις στα δεδομένα σας. Μπορείτε να έχετε μία ή περισσότερες συναθροίσεις στον ίδιο μετασχηματισμό. |
| Ομαδοποίηση κατά | Χρησιμοποιήστε τον μετασχηματισμό Ομαδοποίηση κατά για να υπολογίσετε συναθροίσεις σε όλα τα συμβάντα μέσα σε ένα συγκεκριμένο χρονικό διάστημα. Μπορείτε να ομαδοποιήσετε σύμφωνα με τις τιμές σε ένα ή περισσότερα πεδία. Είναι σαν ο μετασχηματισμός συγκέντρωσης να επιτρέπει τη μετονομασία στηλών, αλλά παρέχει περισσότερες επιλογές για συνάθροιση και περιλαμβάνει πιο σύνθετες επιλογές για τα χρονικά παράθυρα. Όπως συνάθροιση, μπορείτε να προσθέσετε περισσότερες από μία συναθροίσεις ανά μετασχηματισμό. |
| Ένωση | Χρησιμοποιήστε τον μετασχηματισμό Ένωσης για να συνδέσετε δύο ή περισσότερους κόμβους και να προσθέσετε συμβάντα με κοινόχρηστα πεδία (με το ίδιο όνομα και τύπο δεδομένων) σε έναν πίνακα. Τα πεδία που δεν συμφωνούν απορρίπτονται και δεν περιλαμβάνονται στην έξοδο. |
| Ανάπτυξη | Χρησιμοποιήστε τον μετασχηματισμό Ανάπτυξη πίνακα για να δημιουργήσετε μια νέα γραμμή για κάθε τιμή σε έναν πίνακα. |
| Συμμετοχή | Χρησιμοποιήστε τον μετασχηματισμό Σύνδεση για να συνδυάσετε δεδομένα από δύο ροές με βάση μια αντίστοιχη συνθήκη μεταξύ τους. |
Εάν ενεργοποιήσατε τις Βελτιωμένες δυνατότητες κατά τη δημιουργία ενός συμβάντος, οι λειτουργίες μετασχηματισμού υποστηρίζονται για όλους τους προορισμούς (με παραγόμενη ροή να λειτουργεί ως ενδιάμεση γέφυρα για ορισμένους προορισμούς, όπως προσαρμοσμένο τελικό σημείο, Ενεργοποίηση Fabric). Εάν δεν το κάνατε, οι λειτουργίες μετασχηματισμού είναι διαθέσιμες μόνο για τους προορισμούς Lakehouse και Eventhouse (επεξεργασία συμβάντων πριν από την πρόσληψη).
Δρομολόγηση συμβάντων σε προορισμούς
Η δυνατότητα Ροές συμβάντων Fabric υποστηρίζει την αποστολή δεδομένων στους παρακάτω υποστηριζόμενους προορισμούς.
| Προορισμός | Περιγραφή |
|---|---|
| Προσαρμοσμένο τελικό σημείο (δηλαδή, Προσαρμοσμένη εφαρμογή σε τυπική δυνατότητα) | Με αυτόν τον προορισμό, μπορείτε εύκολα να δρομολογήσετε τα συμβάντα σε πραγματικό χρόνο σε ένα προσαρμοσμένο τελικό σημείο. Μπορείτε να συνδέσετε τις δικές σας εφαρμογές στο eventstream και να καταναλώσετε τα δεδομένα συμβάντων σε πραγματικό χρόνο. Αυτός ο προορισμός είναι χρήσιμος όταν θέλετε να μεταφέρετε δεδομένα σε πραγματικό χρόνο σε ένα εξωτερικό σύστημα εκτός του Microsoft Fabric. |
| Eventhouse | Αυτός ο προορισμός σάς επιτρέπει να προσλάβετε τα δεδομένα συμβάντων σε πραγματικό χρόνο σε μια Αποθήκη συμβάντων, όπου μπορείτε να χρησιμοποιήσετε την ισχυρή γλώσσα ερωτημάτων Kusto (KQL) για να υποβάλετε ερωτήματα και να αναλύσετε τα δεδομένα. Με τα δεδομένα στο Eventhouse, μπορείτε να αποκτήσετε βαθύτερες πληροφορίες σχετικά με τα δεδομένα συμβάντων σας και να δημιουργήσετε εμπλουτισμένες αναφορές και πίνακες εργαλείων. Μπορείτε να επιλέξετε μεταξύ δύο λειτουργιών πρόσληψης: Απευθείας πρόσληψη δεδομένων και Επεξεργασία συμβάντων πριν από την πρόσληψη. |
| Lakehouse | Αυτός ο προορισμός σάς δίνει τη δυνατότητα να μετασχηματίζετε τα συμβάντα πραγματικού χρόνου πριν από την κατάποσή τους στο lakehouse σας. Τα συμβάντα σε πραγματικό χρόνο μετατρέπονται σε μορφή Delta Lake και, στη συνέχεια, αποθηκεύονται στους καθορισμένους πίνακες lakehouse. Αυτός ο προορισμός υποστηρίζει σενάρια αποθήκευσης δεδομένων. |
| Παραγόμενη ροή | Η παραγόμενη ροή είναι ένας εξειδικευμένος τύπος προορισμού που μπορείτε να δημιουργήσετε μετά την προσθήκη λειτουργιών ροής, όπως φιλτράρισμα ή διαχείριση πεδίων, σε μια ροή συμβάντων. Η παραγόμενη ροή αντιπροσωπεύει τη μετασχηματισμένη προεπιλεγμένη ροή μετά την επεξεργασία της ροής. Μπορείτε να δρομολογήσετε την παραγόμενη ροή σε πολλούς προορισμούς στο Fabric και να προβάλετε την παραγόμενη ροή στο κέντρο σε πραγματικό χρόνο. |
| Ενεργοποίηση Fabric (προεπισκόπηση) | Αυτός ο προορισμός σάς επιτρέπει να συνδέσετε απευθείας τα δεδομένα συμβάντων σε πραγματικό χρόνο με έναν ενεργοποιητή Fabric. Ο ενεργοποιητής είναι ένας τύπος ευφυούς παράγοντα που περιέχει όλες τις πληροφορίες που απαιτούνται για τη σύνδεση σε δεδομένα, την παρακολούθηση συνθηκών και την πράξη. Όταν τα δεδομένα φτάσουν σε συγκεκριμένα όρια ή αντιστοιχίσουν άλλα μοτίβα, η συνάρτηση Activator λαμβάνει αυτόματα τα κατάλληλα μέτρα, όπως ειδοποίηση των χρηστών ή εκκίνηση ροών εργασιών του Power Automate. |
Μπορείτε να επισυνάψετε πολλούς προορισμούς σε ένα eventstream για να λαμβάνετε ταυτόχρονα δεδομένα από τη ροή συμβάντων χωρίς να παρεμβάλλετε ο ένας στον άλλο.
Σημείωμα
Συνιστούμε να χρησιμοποιήσετε τη δυνατότητα ροών συμβάντων Microsoft Fabric με τουλάχιστον 4 μονάδες εκχωρημένων πόρων (SKU: F4)
Apache Kafka στις ροές συμβάντων Fabric
Η δυνατότητα Ροές συμβάντων Fabric προσφέρει ένα τελικό σημείο Apache Kafka στο στοιχείο Eventstream, επιτρέποντας στους χρήστες να συνδέονται και να καταναλώνουν συμβάντα ροής μέσω του πρωτοκόλλου Kafka. Εάν έχετε ήδη μια εφαρμογή που χρησιμοποιεί το πρωτόκολλο Apache Kafka για την αποστολή ή κατανάλωση συμβάντων ροής με συγκεκριμένα θέματα Kafka, μπορείτε να προσαρμόσετε εύκολα την ίδια εφαρμογή για να στέλνει ή να καταναλώνει τα συμβάντα ροής εντός της ροής συμβάντων σας, ενημερώνοντας απλώς τις ρυθμίσεις σύνδεσής σας για να παραπέμπει στο τελικό σημείο Kafka που παρέχεται στο eventstream σας.
Η δυνατότητα Ροές συμβάντων Fabric υποστηρίζεται από το Azure Event Hubs, μια πλήρως διαχειριζόμενη εγγενή υπηρεσία στο cloud. Όταν δημιουργείται μια ροή συμβάντων, παρέχεται αυτόματα ένας χώρος ονομάτων κέντρου συμβάντων και ένα κέντρο συμβάντων εκχωρείται στην προεπιλεγμένη ροή χωρίς να απαιτούνται ρυθμίσεις παραμέτρων προμήθειας. Για να μάθετε περισσότερα σχετικά με τις δυνατότητες που είναι συμβατές με Kafka στην υπηρεσία Κέντρα συμβάντων Azure, ανατρέξτε στο θέμα Κέντρα συμβάντων Azure για Apache Kafka.
Για να μάθετε περισσότερα σχετικά με τον τρόπο λήψης λεπτομερειών τελικού σημείου Kafka για την αποστολή συμβάντων στο eventstream, ανατρέξτε στο θέμα Προσθήκη προσαρμοσμένης προέλευσης τελικού σημείου σε μια ροή συμβάντων και για την κατανάλωση συμβάντων από την ροή συμβάντων, ανατρέξτε στο θέμα Προσθήκη προσαρμοσμένου προορισμού τελικού σημείου σε μια ροή συμβάντων.
Βελτιωμένες δυνατότητες
Υπάρχουν περισσότερες δυνατότητες, προελεύσεις και προορισμοί διαθέσιμοι όταν ενεργοποιείτε την επιλογή Βελτιωμένες δυνατότητες κατά τη δημιουργία μιας ροής συμβάντων. Χρησιμοποιήστε τις καρτέλες Βελτιωμένες δυνατότητες και Τυπικές δυνατότητες για να μάθετε σχετικά με πρόσθετες προελεύσεις και προορισμούς που υποστηρίζονται με τις βελτιωμένες δυνατότητες.
Ακολουθούν μερικές άλλες αξιοσημείωτες δυνατότητες των Βελτιωμένων δυνατοτήτων:
- Λειτουργία επεξεργασίας και δυναμική προβολή. Εξερευνήστε δύο ξεχωριστές λειτουργίες για την απεικόνιση και σχεδίαση της επεξεργασίας ροής.
- Προεπιλεγμένες και παραγόμενες ροές. Δημιουργήστε μια συνεχή ροή ροών με τη μορφή που σχεδιάζετε, με έναν επεξεργαστή συμβάντων που μπορεί να χρησιμοποιηθεί αργότερα στο κέντρο σε πραγματικό χρόνο.
- Δρομολόγηση ροής δεδομένων με βάση το περιεχόμενο. Μετασχηματίστε και δρομολογήστε τις ροές δεδομένων σας οπουδήποτε εντός του Fabric με βάση το περιεχόμενο ροής δεδομένων που σχεδιάσατε με τον επεξεργαστή συμβάντων.