Τι είναι τα σχήματα lakehouse (Προεπισκόπηση);
Το Lakehouse υποστηρίζει τη δημιουργία προσαρμοσμένων σχημάτων. Τα σχήματα σάς επιτρέπουν να ομαδοποιήσετε τους πίνακές σας για καλύτερο εντοπισμό δεδομένων, έλεγχο πρόσβασης και πολλά άλλα.
Δημιουργία σχήματος lakehouse
Για να ενεργοποιήσετε την υποστήριξη σχήματος για τη λίμνη σας, επιλέξτε το πλαίσιο δίπλα στο στοιχείο Σχήματα Lakehouse (Δημόσια προεπισκόπηση) όταν το δημιουργήσετε.
Σημαντικό
Τα ονόματα χώρων εργασίας πρέπει να περιέχουν μόνο αλφαριθμητικούς χαρακτήρες λόγω περιορισμών της προεπισκόπησης. Εάν χρησιμοποιούνται ειδικοί χαρακτήρες σε ονόματα χώρων εργασίας, ορισμένες από τις δυνατότητες του Lakehouse δεν θα λειτουργούν.
Αφού δημιουργήσετε τη λίμνη, μπορείτε να βρείτε ένα προεπιλεγμένο σχήμα με την ονομασία dbo στην περιοχή Πίνακες. Αυτό το σχήμα είναι πάντα εκεί και δεν είναι δυνατή η αλλαγή ή η κατάργηση του. Για να δημιουργήσετε ένα νέο σχήμα, τοποθετήστε τον δείκτη του ποντικιού επάνω στην επιλογή Πίνακες, επιλέξτε ...και επιλέξτε Νέο σχήμα. Εισαγάγετε το όνομα του σχήματος και επιλέξτε Δημιουργία. Θα δείτε το σχήμα σας στην περιοχή Πίνακες με αλφαβητική σειρά.
Αποθήκευση πινάκων σε σχήματα lakehouse
Χρειάζεστε ένα όνομα σχήματος για να αποθηκεύσετε έναν πίνακα σε ένα σχήμα. Διαφορετικά, μεταβαίνει στο προεπιλεγμένο σχήμα dbo .
df.write.mode("Overwrite").saveAsTable("contoso.sales")
Μπορείτε να χρησιμοποιήσετε την Εξερεύνηση Lakehouse για να τακτοποιήσετε τους πίνακές σας και να μεταφέρετε και αποθέσετε ονόματα πινάκων σε διαφορετικά σχήματα.
Προσοχή
Εάν τροποποιήσετε τον πίνακα, πρέπει επίσης να ενημερώσετε σχετικά στοιχεία, όπως κώδικα σημειωματάριου ή ροές δεδομένων, για να βεβαιωθείτε ότι ευθυγραμμίζονται με το σωστό σχήμα.
Εισαγωγή πολλών πινάκων με συντόμευση σχήματος
Για αναφορά σε πολλούς πίνακες Delta από άλλη λίμνη Fabric ή εξωτερικό χώρο αποθήκευσης, χρησιμοποιήστε τη συντόμευση σχήματος που εμφανίζει όλους τους πίνακες κάτω από το επιλεγμένο σχήμα ή φάκελο. Τυχόν αλλαγές στους πίνακες στη θέση προέλευσης εμφανίζονται επίσης στο σχήμα. Για να δημιουργήσετε μια συντόμευση σχήματος, τοποθετήστε τον δείκτη του ποντικιού επάνω στην επιλογή Πίνακες, επιλέξτε ...και επιλέξτε Νέα συντόμευση σχήματος. Στη συνέχεια, επιλέξτε ένα σχήμα σε μια άλλη λίμνη ή έναν φάκελο με πίνακες Delta στον εξωτερικό χώρο αποθήκευσής σας, όπως Azure Data Lake Storage (ADLS) Gen2. Αυτό δημιουργεί ένα νέο σχήμα με τους πίνακες που αναφέρονται.
Σχήματα lakehouse πρόσβασης για αναφορές Power BI
Για να δημιουργήσετε το σημασιολογικό μοντέλο σας, απλώς επιλέξτε τους πίνακες που θέλετε να χρησιμοποιήσετε. Οι πίνακες μπορεί να βρίσκονται σε διαφορετικά σχήματα. Εάν οι πίνακες από διαφορετικά σχήματα μοιράζονται το ίδιο όνομα, βλέπετε αριθμούς δίπλα σε ονόματα πινάκων όταν βρίσκεστε στην προβολή μοντέλου.
Σχήματα Lakehouse στο σημειωματάριο
Όταν εξετάζετε μια λίμνη με δυνατότητα σχήματος στην εξερεύνηση αντικειμένων σημειωματάριου, βλέπετε ότι οι πίνακες βρίσκονται σε σχήματα. Μπορείτε να κάνετε μεταφορά και απόθεση πίνακα σε ένα κελί κώδικα και να λάβετε ένα τμήμα κώδικα που αναφέρεται στο σχήμα στο οποίο βρίσκεται ο πίνακας. Χρησιμοποιήστε αυτόν τον χώρο ονομάτων για να αναφερθείτε σε πίνακες στον κώδικά σας: "workspace.lakehouse.schema.table". Εάν αφήσετε εκτός λειτουργίας οποιοδήποτε από τα στοιχεία, το εκτελέσιμο αρχείο χρησιμοποιεί την προεπιλεγμένη ρύθμιση. Για παράδειγμα, εάν δώσετε μόνο όνομα πίνακα, χρησιμοποιεί το προεπιλεγμένο σχήμα (dbo) από την προεπιλεγμένη λίμνη για το σημειωματάριο.
Σημαντικό
Εάν θέλετε να χρησιμοποιήσετε σχήματα στον κώδικά σας, βεβαιωθείτε ότι το προεπιλεγμένο lakehouse για το σημειωματάριο είναι ενεργοποιημένο.
Ερωτήματα Spark SQL μεταξύ χώρων εργασίας
Χρησιμοποιήστε τον χώρο ονομάτων "workspace.lakehouse.schema.table" για να αναφερθείτε σε πίνακες στον κείμενό σας. Με αυτόν τον τρόπο, μπορείτε να ενώσετε πίνακες από διαφορετικούς χώρους εργασίας, εάν ο χρήστης που εκτελεί τον κώδικα έχει δικαίωμα πρόσβασης στους πίνακες.
SELECT *
FROM operations.hr.hrm.employees as employees
INNER JOIN global.corporate.company.departments as departments
ON employees.deptno = departments.deptno;
Σημαντικό
Βεβαιωθείτε ότι ενώζετε πίνακες μόνο από λίμνες που έχουν ενεργοποιημένα σχήματα. Η σύνδεση πινάκων από λίμνες που δεν έχουν ενεργοποιημένα σχήματα δεν θα λειτουργήσει.
Περιορισμοί δημόσιας προεπισκόπησης
Παρακάτω παρατίθενται οι μη υποστηριζόμενες δυνατότητες/λειτουργίες για την τρέχουσα έκδοση της δημόσιας προεπισκόπησης. Θα επιλυθούν στις επόμενες εκδόσεις πριν από τη γενική διαθεσιμότητα.
Μη υποστηριζόμενες δυνατότητες/λειτουργίες | Σημειώσεις |
---|---|
Κοινόχρηστο lakehouse | Η χρήση του χώρου εργασίας στον χώρο ονομάτων για κοινόχρηστες λιμνοθάλασσες δεν θα λειτουργήσει, π.χ. wokrkspace.sharedlakehouse.schema.table. Ο χρήστης πρέπει να έχει ρόλο χώρου εργασίας για να χρησιμοποιήσει τον χώρο εργασίας στο namaspace. |
Μη-Delta, Διαχειριζόμενο σχήμα πίνακα | Δεν υποστηρίζεται λήψη σχήματος για διαχειριζόμενους πίνακες χωρίς μορφοποίηση Delta (για παράδειγμα, CSV). Η ανάπτυξη αυτών των πινάκων στην εξερεύνηση lakehouse δεν εμφανίζει πληροφορίες σχήματος στην UX. |
Εξωτερικοί πίνακες Spark | Οι λειτουργίες εξωτερικού πίνακα Spark (για παράδειγμα, ο εντοπισμός, η λήψη σχήματος κ.λπ.) δεν υποστηρίζονται. Αυτοί οι πίνακες δεν έχουν στοιχεία ταυτότητας στην UX. |
Δημόσιο API | Τα δημόσια API (πίνακες λίστας, πίνακας φόρτωσης, εμφάνιση defaultSchema εκτεταμένη ιδιότητα κ.λπ.) δεν υποστηρίζονται για το ενεργοποιημένο σχήμα Lakehouse. Τα υπάρχοντα δημόσια API που καλούνται σε ένα σχήμα με δυνατότητα Lakehouse έχουν ως αποτέλεσμα ένα σφάλμα. |
Συντήρηση πίνακα | Δεν υποστηρίζεται. |
Ενημέρωση ιδιοτήτων πίνακα | Δεν υποστηρίζεται. |
Όνομα χώρου εργασίας που περιέχει ειδικούς χαρακτήρες | Δεν υποστηρίζεται χώρος εργασίας με ειδικούς χαρακτήρες (για παράδειγμα, διάστημα, καθέτους). Εμφανίζεται ένα σφάλμα χρήστη. |
Προβολές Spark | Δεν υποστηρίζεται. |
Συγκεκριμένες δυνατότητες hive | Δεν υποστηρίζεται. |
Spark.catalog API | Δεν υποστηρίζεται. Αντί για αυτό, χρησιμοποιήστε το Spark SQL. |
USE <schemaName> |
Δεν λειτουργεί μεταξύ χώρων εργασίας, αλλά υποστηρίζεται εντός του ίδιου χώρου εργασίας. |
Μετεγκατάσταση | Η μετεγκατάσταση υπαρχόντων μη σχημάτων lakehouses σε Lakehouses που βασίζονται σε σχήμα δεν υποστηρίζεται. |