Διαθεσιμότητα OneLake eventhouse
Μπορείτε να δημιουργήσετε ένα λογικό αντίγραφο των δεδομένων της βάσης δεδομένων KQL σε μια αποθήκη συμβάντων, ενεργοποιώντας διαθεσιμότητα oneLake. Η ενεργοποίηση της διαθεσιμότητας του OneLake σημαίνει ότι μπορείτε να υποβάλετε ερωτήματα για τα δεδομένα στη βάση δεδομένων KQL σε μορφή Delta Lake μέσω άλλων κινητήρων Fabric, όπως είναι η λειτουργία Direct Lake στο Power BI, η Warehouse, το Lakehouse, τα Notebooks και πολλά άλλα.
Το Delta Lake είναι μια ενοποιημένη μορφή πίνακα λίμνης δεδομένων που επιτυγχάνει απρόσκοπτη πρόσβαση σε δεδομένα σε όλους τους μηχανισμούς υπολογιστικής λειτουργίας στο Microsoft Fabric. Για περισσότερες πληροφορίες σχετικά με το Delta Lake, ανατρέξτε στο θέμα Τι είναι το Delta Lake;.
Σε αυτό το άρθρο, θα μάθετε πώς μπορείτε να ενεργοποιήσετε τη διαθεσιμότητα των δεδομένων βάσης δεδομένων KQL στο OneLake.
Πώς λειτουργεί
Μπορείτε να ενεργοποιήσετε διαθεσιμότητας OneLake στο επίπεδο βάσης δεδομένων ή πίνακα. Όταν ενεργοποιηθεί στο επίπεδο βάσης δεδομένων, όλοι οι νέοι πίνακες και τα δεδομένα τους καθίστανται διαθέσιμα στο OneLake. Όταν ενεργοποιείτε τη δυνατότητα, μπορείτε επίσης να εφαρμόσετε αυτή την επιλογή σε υπάρχοντες πίνακες, επιλέγοντας Εφαρμογή σε υπάρχοντες πίνακες. Η ενεργοποίηση σε επίπεδο πίνακα καθιστά μόνο αυτόν τον πίνακα και τα δεδομένα του διαθέσιμα στο OneLake. Η πολιτική διατήρησης δεδομένων της βάσης δεδομένων KQL εφαρμόζεται επίσης στα δεδομένα στο OneLake. Τα δεδομένα που καταργούνται από τη βάση δεδομένων KQL στο τέλος της περιόδου διατήρησης καταργούνται επίσης από το OneLake. Εάν απενεργοποιήσετε τη διαθεσιμότητα του OneLake, τα δεδομένα διαγράφονται οριστικά από το OneLake.
Παρόλο που διαθεσιμότητας του OneLake είναι ενεργοποιημένη, δεν μπορείτε να κάνετε τις ακόλουθες εργασίες:
- Μετονομασία πινάκων
- Τροποποίηση σχημάτων πίνακα
- Εφαρμογή ασφάλειας σε επίπεδο γραμμών σε πίνακες
- Δεν είναι δυνατή η διαγραφή, η περικόπτωση ή ο καθαρισμός των δεδομένων
Εάν θέλετε να κάνετε οποιαδήποτε από αυτές τις εργασίες, ακολουθήστε τα παρακάτω βήματα:
Σημαντικό
Η απενεργοποίηση διαθεσιμότητας OneLake διαγράφει τα δεδομένα σας από το OneLake. Όταν ενεργοποιήσετε ξανά τη διαθεσιμότητα, μόνο νέα δεδομένα καθίστανται διαθέσιμα στο OneLake χωρίς παρασκηνίους των διαγραμμένων δεδομένων.
Απενεργοποιήστε τη διαθεσιμότητα του OneLake.
Εκτελέστε την επιθυμητή εργασία.
Ενεργοποιήστε τη διαθεσιμότητα OneLake.
Σημαντικό
Για περισσότερες πληροφορίες σχετικά με τον χρόνο που απαιτείται για να εμφανιστούν τα δεδομένα στο OneLake, ανατρέξτε στο θέμα προσαρμόσιμης συμπεριφοράς.
Δεν υπάρχει επιπλέον κόστος χώρου αποθήκευσης για να ενεργοποιήσετε τη διαθεσιμότητα oneLake. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Κατανάλωση πόρων.
Προαπαιτούμενα στοιχεία
- Ένας χώρος εργασίας με εκχωρημένους πόρους με δυνατότητα Microsoft Fabric
- Μια βάση δεδομένων KQL με δικαιώματα επεξεργασίας και δεδομένα
Ενεργοποίηση διαθεσιμότητας OneLake
Μπορείτε να ενεργοποιήσετε τη διαθεσιμότητα OneLake είτε σε επίπεδο βάσης δεδομένων KQL είτε σε επίπεδο πίνακα.
Για να ενεργοποιήσετε τη διαθεσιμότητα του OneLake, μεταβείτε στην ενότητα OneLake στο τμήμα παραθύρου λεπτομερειών της βάσης δεδομένων ή του πίνακα KQL.
Ορίστε τη Διαθεσιμότητα σε Ενεργό.
Η βάση δεδομένων ανανεώνεται αυτόματα.
Ενεργοποιήσατε τη διαθεσιμότητα OneLake στη βάση δεδομένων KQL. Τώρα, μπορείτε να αποκτήσετε πρόσβαση σε όλα τα νέα δεδομένα που προστίθενται στη βάση δεδομένων σας στη δεδομένη διαδρομή OneLake στη μορφή Delta Lake. Μπορείτε επίσης να επιλέξετε να δημιουργήσετε μια συντόμευση OneLake από ένα Lakehouse, Αποθήκη δεδομένων ή να υποβάλετε ερωτήματα για τα δεδομένα απευθείας μέσω της λειτουργίας Power BI Direct Lake.
Προσαρμόσιμη συμπεριφορά
Το Eventhouse προσφέρει έναν ισχυρό μηχανισμό που διαθέτει έξυπνα εισερχόμενες ροές δεδομένων σε ένα ή περισσότερα αρχεία Parquet, δομημένο για ανάλυση. Οι ροές δεδομένων δέσμης είναι σημαντικές κατά τον χειρισμό των δεδομένων που είναι ρυάκια. Η εγγραφή πολλών μικρών αρχείων Parquet στη λίμνη μπορεί να είναι αναποτελεσματική με αποτέλεσμα υψηλότερο κόστος και κακή απόδοση.
Ο προσαρμόσιμος μηχανισμός της Eventhouse μπορεί να καθυστερήσει τις λειτουργίες εγγραφής εάν δεν υπάρχουν αρκετά δεδομένα για τη δημιουργία βέλτιστων αρχείων Parquet. Αυτό εξασφαλίζει ότι τα αρχεία Parquet είναι ιδανικά σε μέγεθος και ακολουθούν τις βέλτιστες πρακτικές του Delta Lake. Ο προσαρμόσιμος μηχανισμός Eventhouse εξασφαλίζει ότι τα αρχεία Parquet είναι αρχικά για ανάλυση και εξισορροπεί την ανάγκη για άμεση διαθεσιμότητα δεδομένων με ζητήματα κόστους και απόδοσης.
Σημείωμα
- Από προεπιλογή, η λειτουργία εγγραφής μπορεί να χρειαστεί έως 3 ώρες ή μέχρι να δημιουργηθούν αρχεία επαρκούς μεγέθους (συνήθως 200-256 MB).
- Μπορείτε να προσαρμόσετε την καθυστέρηση σε μια τιμή μεταξύ 5 λεπτών και 3 ωρών.
Για παράδειγμα, χρησιμοποιήστε την ακόλουθη εντολή για να ορίσετε την καθυστέρηση σε 5 λεπτά:
.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);
Προσοχή
Η προσαρμογή της καθυστέρησης σε μικρότερη περίοδο μπορεί να οδηγήσει σε έναν μη αποδοτικό πίνακα δέλτα με μεγάλο αριθμό μικρών αρχείων, το οποίο μπορεί να οδηγήσει σε αναποτελεσματική απόδοση των ερωτημάτων. Ο πίνακας που προκύπτει στο OneLake είναι μόνο για ανάγνωση και δεν μπορεί να βελτιστοποιηθεί μετά τη δημιουργία του.
Μπορείτε να παρακολουθήσετε πόσο καιρό πριν προστέθηκαν νέα δεδομένα στη λίμνη, ελέγχοντας τον λανθάνοντα χρόνο δεδομένων σας χρησιμοποιώντας την εντολή .show table mirroring operations εντολή.
Τα αποτελέσματα μετρούνται από την τελευταία φορά που προστέθηκαν δεδομένα. Όταν ο λανθάνων χρόνος οδηγεί σε 00:00:00, όλα τα δεδομένα στη βάση δεδομένων KQL είναι διαθέσιμα στο OneLake.
Προβολή αρχείων
Όταν ενεργοποιείτε τη διαθεσιμότητα του OneLake σε έναν πίνακα, δημιουργείται ένας φάκελος καταγραφής δέλτα μαζί με τα αντίστοιχα αρχεία JSON και Parquet. Μπορείτε να δείτε τα αρχεία που έγιναν διαθέσιμα στο OneLake και τις ιδιότητές τους ενώ παραμένουν εντός της Ευφυΐας σε πραγματικό χρόνο.
Για να προβάλετε τα αρχεία, τοποθετήστε τον δείκτη επάνω σε έναν πίνακα στο τμήμα παραθύρου Explorer και, στη συνέχεια, επιλέξτε το μενού Περισσότερα [...]>Προβολή αρχείων.
Για να προβάλετε τις ιδιότητες του φακέλου αρχείου καταγραφής delta ή των μεμονωμένων αρχείων, τοποθετήστε τον δείκτη επάνω από τον φάκελο ή το αρχείο και, στη συνέχεια, επιλέξτε το μενού Περισσότερα [...]>Ιδιότητες.
Για να προβάλετε τα αρχεία στον φάκελο καταγραφής δέλτα:
- Επιλέξτε τον φάκελο _delta_log .
- Επιλέξτε ένα αρχείο για να προβάλετε τα μετα-δεδομένα και το σχήμα του πίνακα. Το πρόγραμμα επεξεργασίας που ανοίγει είναι σε μορφή μόνο για ανάγνωση.
Πολιτική κατοπτρισμού πρόσβασης
Από προεπιλογή, όταν είναι ενεργοποιημένη η διαθεσιμότητα oneLake, ενεργοποιείται μια πολιτική κατοπτρισμού. Μπορείτε να χρησιμοποιήσετε την πολιτική για να παρακολουθείτε τον λανθάνοντα χρόνο δεδομένων ή να τον αλλάζετε για τον διαμερισμό πινάκων δέλτα.
Σημείωμα
Εάν απενεργοποιήσετε τη διαθεσιμότητα oneLake, η ιδιότητα της IsEnabled πολιτικής κατοπτρισμού ορίζεται σε false (IsEnabled=false).
Πίνακες δέλτα διαμερίσματος
Μπορείτε να χωρίσετε τους πίνακες δέλτα σας για να βελτιώσετε την ταχύτητα των ερωτημάτων. Για πληροφορίες σχετικά με το πότε πρέπει να κάνετε διαμερισμό των αρχείων σας OneLake, ανατρέξτε στο θέμα Πότε πρέπει να χωρίσετε πίνακες. Κάθε διαμέρισμα αναπαρίσταται ως ξεχωριστή στήλη, χρησιμοποιώντας το PartitionName που παρατίθεται στη λίστα Διαμερίσματα . Αυτό σημαίνει ότι το αντίγραφο OneLake έχει περισσότερες στήλες από τον πίνακα προέλευσης.
Για να κάνετε διαμερισμό των πινάκων δέλτα, χρησιμοποιήστε την εντολή κατοπτρισμού πολιτικής πίνακα .alter-merge.
Σχετικό περιεχόμενο
- Για να εμφανίσετε τα δεδομένα στο OneLake, ανατρέξτε στο θέμα Δημιουργία συντόμευσης στο OneLake
- Για να δημιουργήσετε μια συντόμευση OneLake στο Lakehouse, ανατρέξτε στο θέμα Τι είναι οι συντομεύσεις στο lakehouse;
- Για να υποβάλετε ερωτήματα σε δεδομένα που αναφέρονται από το OneLake στη βάση δεδομένων ή τον πίνακα KQL, ανατρέξτε στο θέμα Δημιουργία συντόμευσης OneLake στη βάση δεδομένων KQL