Κοινή χρήση μέσω

Αρχεία καταγραφής του Delta Lake στην Warehouse στο Microsoft Fabric

  • Άρθρο

Ισχύει για:✅ Warehouse στο Microsoft Fabric

Η αποθήκη στο Microsoft Fabric είναι δομημένες ανοιχτές μορφές αρχείων. Οι πίνακες χρηστών αποθηκεύονται σε μορφή αρχείου parquet και τα αρχεία καταγραφής του Delta Lake δημοσιεύονται για όλους τους πίνακες χρηστών.

Τα αρχεία καταγραφής του Delta Lake ανοίγουν απευθείας πρόσβαση στους πίνακες χρηστών της αποθήκης για οποιονδήποτε μηχανισμό που μπορεί να διαβάσει πίνακες Delta Lake. Αυτή η πρόσβαση περιορίζεται σε μόνο για ανάγνωση, για να διασφαλιστεί ότι τα δεδομένα χρήστη διατηρούν τη συμμόρφωση με τις συναλλαγές ACID. Όλες οι εισαγωγές, ενημερώσεις και διαγραφές στα δεδομένα των πινάκων πρέπει να εκτελούνται μέσω της Αποθήκης. Μετά τη δέσμευση μιας συναλλαγής, ξεκινά μια διαδικασία συστήματος παρασκηνίου για τη δημοσίευση του ενημερωμένου αρχείου καταγραφής Delta Lake για τους πίνακες που επηρεάζονται.

Τρόπος λήψης της διαδρομής OneLake

Τα παρακάτω βήματα περιγράφουν τον τρόπο λήψης της διαδρομής OneLake από έναν πίνακα σε μια αποθήκη:

  1. Ανοίξτε την Αποθήκη στον χώρο εργασίας σας Microsoft Fabric.

  2. Στην Εξερεύνηση αντικειμένων, μπορείτε να βρείτε περισσότερες επιλογές (...) σε έναν επιλεγμένο πίνακα στον φάκελο Πίνακες. Επιλέξτε το μενού Ιδιότητες .

    Στιγμιότυπο οθόνης που δείχνει πού μπορείτε να βρείτε την επιλογή Ιδιότητες σε έναν επιλεγμένο πίνακα.

  3. Στην επιλογή, το τμήμα παραθύρου Ιδιότητες εμφανίζει τις ακόλουθες πληροφορίες:

    1. Ονομασία
    2. Μορφοποίηση
    3. Τύπος
    4. Διεύθυνση URL
    5. Σχετική διαδρομή
    6. Διαδρομή ABFS

    Στιγμιότυπο οθόνης του τμήματος παραθύρου Ιδιότητες.

Τρόπος λήψης της διαδρομής αρχείων καταγραφής του Delta Lake

Μπορείτε να εντοπίσετε αρχεία καταγραφής του Delta Lake μέσω των ακόλουθων μεθόδων:

  • Είναι δυνατή η ερωτήματα στα αρχεία καταγραφής του Delta Lake μέσω συντομεύσεων που δημιουργήθηκαν σε ένα lakehouse. Μπορείτε να προβάλετε τα αρχεία χρησιμοποιώντας ένα Σημειωματάριο Microsoft Fabric Spark ή την εξερεύνηση lakehouse στη Μηχανική δεδομένων Fabric στην πύλη Microsoft Fabric.

  • Μπορείτε να βρείτε αρχεία καταγραφής του Delta Lake μέσω της Εξερεύνησης υπηρεσίας αποθήκευσης Azure, μέσω συνδέσεων Spark όπως η λειτουργία Power BI Direct Lake ή χρησιμοποιώντας οποιαδήποτε άλλη υπηρεσία που μπορεί να διαβάσει πίνακες δέλτα.

  • Τα αρχεία καταγραφής του Delta Lake βρίσκονται στον _delta_log φάκελο κάθε πίνακα μέσω της εξερεύνησης OneLake στα Windows, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

    Στιγμιότυπο οθόνης της εξερεύνησης Windows OneLake, που εμφανίζει τη διαδρομή προς τον φάκελο αρχείων καταγραφής δέλτα για τον πίνακα call_center.

Παύση δημοσίευσης αρχείου καταγραφής Delta Lake

Η δημοσίευση των αρχείων καταγραφής του Delta Lake μπορεί να διακοπεί προσωρινά και να συνεχιστεί εάν χρειαστεί. Κατά την παύση της δημοσίευσης, οι μηχανές Microsoft Fabric που διαβάζουν πίνακες εκτός της Αποθήκης βλέπουν τα δεδομένα όπως ήταν πριν από την παύση. Εξασφαλίζει ότι οι αναφορές παραμένουν σταθερές και συνεπείς, αντικατοπτρίζοντας τα δεδομένα από όλους τους πίνακες όπως υπήρχαν πριν από την επίτευξη αλλαγών στους πίνακες. Μόλις ολοκληρωθούν οι ενημερώσεις δεδομένων σας, μπορείτε να συνεχίσετε τη δημοσίευση του Delta Lake Log για να κάνετε ορατές σε άλλους μηχανισμούς ανάλυσης όλες τις πρόσφατες αλλαγές δεδομένων. Μια άλλη περίπτωση χρήσης για παύση της δημοσίευσης αρχείων καταγραφής του Delta Lake είναι όταν οι χρήστες δεν χρειάζονται διαλειτουργικότητα με άλλους μηχανισμούς υπολογιστικής λειτουργίας στο Microsoft Fabric, καθώς μπορεί να βοηθήσει στην εξοικονόμηση κόστους υπολογιστικής λειτουργίας.

Η σύνταξη για παύση και συνέχιση της δημοσίευσης του αρχείου καταγραφής Delta Lake είναι η εξής:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO

Παράδειγμα: παύση και συνέχιση της δημοσίευσης αρχείων καταγραφής Delta Lake

Για να διακόψετε τη δημοσίευση αρχείων καταγραφής του Delta Lake, χρησιμοποιήστε το ακόλουθο τμήμα κώδικα:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED

Τα ερωτήματα σε πίνακες αποθηκών στην τρέχουσα αποθήκη από άλλους μηχανισμούς Microsoft Fabric (για παράδειγμα, τα ερωτήματα από ένα Lakehouse) εμφανίζουν τώρα μια έκδοση των δεδομένων όπως ήταν πριν από την παύση της δημοσίευσης του αρχείου καταγραφής Delta Lake. Τα ερωτήματα αποθήκης εξακολουθούν να εμφανίζουν την πιο πρόσφατη έκδοση δεδομένων.

Για να συνεχίσετε τη δημοσίευση αρχείων καταγραφής του Delta Lake, χρησιμοποιήστε το ακόλουθο τμήμα κώδικα:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO

Όταν η κατάσταση επανέλθει σε AUTO, η μηχανή Fabric Warehouse δημοσιεύει αρχεία καταγραφής όλων των πρόσφατων αλλαγών που έγιναν σε πίνακες στην αποθήκη, επιτρέποντας σε άλλους μηχανισμούς ανάλυσης στο Microsoft Fabric να διαβάσουν την πιο πρόσφατη έκδοση δεδομένων.

Έλεγχος της κατάστασης δημοσίευσης αρχείου καταγραφής Delta Lake

Για να ελέγξετε την τρέχουσα κατάσταση δημοσίευσης του αρχείου καταγραφής Delta Lake σε όλες τις αποθήκες για τον τρέχοντα χώρο εργασίας, χρησιμοποιήστε το ακόλουθο τμήμα κώδικα:

SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases

Περιορισμοί

  • Τα ονόματα πινάκων μπορούν να χρησιμοποιηθούν από το Spark και άλλα συστήματα μόνο εάν περιέχουν μόνο αυτούς τους χαρακτήρες: A-Z a-z 0-9 και χαρακτήρες υπογράμμισης.
  • Τα ονόματα στηλών που θα χρησιμοποιηθούν από το Spark και άλλα συστήματα δεν μπορούν να περιέχουν:
    • Χώρους
    • καρτέλες
    • αλλαγές παραγράφου
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Σχετικό περιεχόμενο