Χρήση πινάκων Iceberg με oneLake

Άρθρο
11/14/2024

Στο Microsoft OneLake, μπορείτε να δημιουργήσετε συντομεύσεις στους πίνακες σας Apache Iceberg, ενεργοποιώντας τη χρήση τους σε πολλούς φόρτους εργασίας Fabric. Αυτή η λειτουργικότητα καθίσταται δυνατή μέσω μιας δυνατότητας που ονομάζεται απεικόνιση μετα-δεδομένων, η οποία επιτρέπει στους πίνακες Iceberg να ερμηνεύονται ως πίνακες Delta Lake από την πλευρά της συντόμευσης. Όταν δημιουργείτε μια συντόμευση για έναν φάκελο πίνακα Iceberg, το OneLake δημιουργεί αυτόματα τα αντίστοιχα μετα-δεδομένα Delta Lake (το αρχείο καταγραφής Delta) για αυτόν τον πίνακα, καθιστώντας τα μετα-δεδομένα του Delta Lake προσβάσιμα μέσω της συντόμευσης.

Σημαντικό

Αυτή η δυνατότητα είναι σε προεπισκόπηση.

Διάγραμμα που απεικονίζει την απεικόνιση μετα-δεδομένων του Delta Lake.

Παρόλο που αυτό το άρθρο περιλαμβάνει οδηγίες για τη σύνταξη πινάκων Iceberg από Snowflake σε OneLake, αυτή η δυνατότητα προορίζεται για χρήση με οποιουσδήποτε πίνακες Iceberg με αρχεία δεδομένων Parquet.

Δημιουργία συντόμευσης πίνακα σε πίνακα Iceberg

Εάν έχετε ήδη έναν πίνακα Iceberg σε μια θέση αποθήκευσης που υποστηρίζεται από συντομεύσεις OneLake, ακολουθήστε αυτά τα βήματα για να δημιουργήσετε μια συντόμευση και να εμφανιστεί ο πίνακάς σας Iceberg με τη μορφή Delta Lake.

Εντοπίστε τον πίνακα Iceberg σας. Βρείτε πού είναι αποθηκευμένος ο πίνακάς σας Iceberg, ο οποίος μπορεί να βρίσκεται στα Azure Data Lake Storage, OneLake, Amazon S3, Google Cloud Storage ή μια συμβατή υπηρεσία αποθήκευσης S3.

Σημείωμα

Εάν χρησιμοποιείτε Snowflake και δεν είστε βέβαιοι πού είναι αποθηκευμένος ο πίνακας Iceberg, μπορείτε να εκτελέσετε την ακόλουθη πρόταση για να δείτε τη θέση αποθήκευσης του πίνακα Iceberg.

SELECT SYSTEM$GET_ICEBERG_TABLE_INFORMATION('<table_name>');

Η εκτέλεση αυτής της πρότασης επιστρέφει μια διαδρομή προς το αρχείο μετα-δεδομένων για τον πίνακα Iceberg. Αυτή η διαδρομή σάς δείχνει ποιος λογαριασμός χώρου αποθήκευσης περιέχει τον πίνακα Iceberg. Για παράδειγμα, δείτε τις σχετικές πληροφορίες για να βρείτε τη διαδρομή ενός πίνακα Iceberg που είναι αποθηκευμένος στο Azure Data Lake Storage:

{"metadataLocation":"azure://<storage_account_path>/<path_within_storage>/<table_name>/metadata/00001-389700a2-977f-47a2-9f5f-7fd80a0d41b2.metadata.json","status":"success"}

Ο φάκελος του πίνακα Iceberg σας πρέπει να περιέχει έναν metadata φάκελο, ο οποίος περιέχει τουλάχιστον ένα αρχείο που τελειώνει σε .metadata.json.
Στη λίμνη Fabric, δημιουργήστε μια νέα συντόμευση στην περιοχή Πίνακες μιας λίμνης με δυνατότητα σχήματος.

Σημείωμα

Εάν βλέπετε σχήματα όπως dbo κάτω από το φάκελο Πίνακες της λίμνης, τότε η λίμνη έχει δυνατότητα σχήματος και δεν είναι ακόμα συμβατή με αυτή τη δυνατότητα.
Για τη διαδρομή προορισμού της συντόμευσης, επιλέξτε τον φάκελο πίνακα Iceberg. Ο φάκελος του πίνακα Iceberg περιέχει τους metadata φακέλους και data .
Μόλις δημιουργηθεί η συντόμευση, θα πρέπει να δείτε αυτόματα αυτόν τον πίνακα να απεικονίζεται ως πίνακας Delta Lake στο lakehouse σας, έτοιμος για χρήση σε όλο το Fabric.

Εάν η νέα συντόμευση πίνακα Iceberg δεν εμφανίζεται ως πίνακας με δυνατότητα χρήσης, ανατρέξτε στην ενότητα Αντιμετώπιση προβλημάτων .

Γράψτε έναν πίνακα Iceberg στο OneLake χρησιμοποιώντας snowflake

Εάν χρησιμοποιείτε το Snowflake στο Azure, μπορείτε να γράψετε πίνακες Iceberg στο OneLake ακολουθώντας τα εξής βήματα:

Βεβαιωθείτε ότι οι εκχωρημένοι πόροι Fabric βρίσκονται στην ίδια θέση Azure με την παρουσία σας Snowflake.

Προσδιορίστε τη θέση των εκχωρημένων πόρων Fabric που σχετίζονται με τη λίμνη Fabric. Ανοίξτε τις ρυθμίσεις του χώρου εργασίας Fabric που περιέχει τη λίμνη σας.

Στην κάτω αριστερή γωνία του λογαριασμού σας Snowflake στη διασύνδεση λογαριασμού Azure, ελέγξτε την περιοχή Azure του λογαριασμού Snowflake.

Εάν αυτές οι περιοχές είναι διαφορετικές, πρέπει να χρησιμοποιήσετε διαφορετικούς εκχωρημένους πόρους Fabric στην ίδια περιοχή με τον λογαριασμό σας Snowflake.
Ανοίξτε το μενού για την περιοχή Αρχεία της λίμνης, επιλέξτε Ιδιότητες και αντιγράψτε τη διεύθυνση URL (τη διαδρομή HTTPS) αυτού του φακέλου.
Προσδιορίστε το αναγνωριστικό μισθωτή Fabric σας. Επιλέξτε το προφίλ χρήστη σας στην επάνω δεξιά γωνία του περιβάλλοντος εργασίας χρήστη Fabric και τοποθετήστε τον δείκτη επάνω στη φυσαλίδα πληροφοριών δίπλα στο Όνομα μισθωτή. Αντιγράψτε το Αναγνωριστικό μισθωτή.
Στο Snowflake, ρυθμίστε το EXTERNAL VOLUME χρησιμοποιώντας τη διαδρομή προς το φάκελο Αρχεία στο lakehouse σας. Περισσότερες πληροφορίες σχετικά με τη ρύθμιση εξωτερικών όγκων του Snowflake μπορείτε να βρείτε εδώ.

Σημείωμα

Το Snowflake απαιτεί το σχήμα διεύθυνσης URL να είναι azure://, επομένως φροντίστε να αλλάξετε https:// σε azure://.
```
CREATE OR REPLACE EXTERNAL VOLUME onelake_exvol
STORAGE_LOCATIONS =
(
    (
        NAME = 'onelake_exvol'
        STORAGE_PROVIDER = 'AZURE'
        STORAGE_BASE_URL = 'azure://<path_to_Files>/icebergtables'
        AZURE_TENANT_ID = '<Tenant_ID>'
    )
);
```
Σε αυτό το δείγμα, οποιοιδήποτε πίνακες δημιουργούνται χρησιμοποιώντας αυτόν τον εξωτερικό όγκο αποθηκεύονται στη λίμνη Fabric, μέσα στον Files/icebergtables φάκελο.
Τώρα που δημιουργείται ο εξωτερικός όγκος σας, εκτελέστε την ακόλουθη εντολή για να ανακτήσετε τη διεύθυνση URL συγκατάθεσης και το όνομα της εφαρμογής που χρησιμοποιεί η Snowflake για την εγγραφή στο OneLake. Αυτή η εφαρμογή χρησιμοποιείται από οποιονδήποτε άλλο εξωτερικό όγκο στον λογαριασμό σας Snowflake.
```
DESC EXTERNAL VOLUME onelake_exvol;
```
Το αποτέλεσμα αυτής της εντολής επιστρέφει τις AZURE_CONSENT_URL ιδιότητες και AZURE_MULTI_TENANT_APP_NAME . Σημειώστε και τις δύο τιμές. Το όνομα της πολυεπίπεδης εφαρμογής Azure μοιάζει με <name>_<number>, αλλά χρειάζεται μόνο να καταγράψετε το <name> τμήμα.
Ανοίξτε τη διεύθυνση URL συγκατάθεσης από το προηγούμενο βήμα σε μια νέα καρτέλα προγράμματος περιήγησης. Εάν θέλετε να συνεχίσετε, συγκατάθεση για τα απαιτούμενα δικαιώματα εφαρμογής, εάν σας ζητηθεί.
Πίσω στο Fabric, ανοίξτε τον χώρο εργασίας σας και επιλέξτε Διαχείριση πρόσβασης και, στη συνέχεια , Προσθήκη ατόμων ή ομάδων. Εκχωρήστε στην εφαρμογή που χρησιμοποιείται από τον εξωτερικό όγκο snowflake τα δικαιώματα που απαιτούνται για την εγγραφή δεδομένων σε lakehouses στον χώρο εργασίας σας. Συνιστούμε να εκχωρήσετε τον ρόλο Συμβάλλοντα .
Πίσω στο Snowflake, χρησιμοποιήστε τον νέο εξωτερικό όγκο σας για να δημιουργήσετε έναν πίνακα Iceberg.
```
CREATE OR REPLACE ICEBERG TABLE MYDATABASE.PUBLIC.Inventory (
    InventoryId int,
    ItemName STRING
)
EXTERNAL_VOLUME = 'onelake_exvol'
CATALOG = 'SNOWFLAKE'
BASE_LOCATION = 'Inventory/';
```
Με αυτήν την πρόταση, δημιουργείται ένας νέος φάκελος πίνακα Iceberg με την ονομασία Inventory μέσα στη διαδρομή φακέλου που ορίζεται στον εξωτερικό όγκο.
Προσθέστε ορισμένα δεδομένα στον πίνακα Iceberg σας.
```
INSERT INTO MYDATABASE.PUBLIC.Inventory
VALUES
(123456,'Amatriciana');
```
Τέλος, στην περιοχή Πίνακες της ίδιας λίμνης, μπορείτε να δημιουργήσετε μια συντόμευση OneLake για τον πίνακα Iceberg σας. Μέσω της συντόμευσης αυτή, ο πίνακας Iceberg εμφανίζεται ως πίνακας Delta Lake για κατανάλωση σε φόρτους εργασίας Fabric.

Αντιμετώπιση προβλημάτων

Οι παρακάτω συμβουλές μπορούν να σας βοηθήσουν να βεβαιωθείτε ότι οι πίνακές σας Iceberg είναι συμβατοί με αυτή τη δυνατότητα:

Ελέγξτε τη δομή φακέλων του πίνακα Iceberg σας

Ανοίξτε τον φάκελο Iceberg στο εργαλείο εξερεύνησης χώρου αποθήκευσης που προτιμάτε και ελέγξτε την καταχώρηση καταλόγου του φακέλου σας Iceberg στην αρχική του θέση. Θα πρέπει να δείτε μια δομή φακέλων όπως το παρακάτω παράδειγμα.

../
|-- MyIcebergTable123/
    |-- data/
        |-- snow_A5WYPKGO_2o_APgwTeNOAxg_0_1_002.parquet
        |-- snow_A5WYPKGO_2o_AAIBON_h9Rc_0_1_003.parquet
    |-- metadata/
        |-- 00000-1bdf7d4c-dc90-488e-9dd9-2e44de30a465.metadata.json
        |-- 00001-08bf3227-b5d2-40e2-a8c7-2934ea97e6da.metadata.json
        |-- 00002-0f6303de-382e-4ebc-b9ed-6195bd0fb0e7.metadata.json
        |-- 1730313479898000000-Kws8nlgCX2QxoDHYHm4uMQ.avro
        |-- 1730313479898000000-OdsKRrRogW_PVK9njHIqAA.avro
        |-- snap-1730313479898000000-9029d7a2-b3cc-46af-96c1-ac92356e93e9.avro
        |-- snap-1730313479898000000-913546ba-bb04-4c8e-81be-342b0cbc5b50.avro

Εάν δεν βλέπετε τον φάκελο μετα-δεδομένων ή εάν δεν βλέπετε αρχεία με τις επεκτάσεις που εμφανίζονται σε αυτό το παράδειγμα, τότε μπορεί να μην έχετε έναν πίνακα Iceberg που έχει δημιουργηθεί σωστά.

Έλεγχος του αρχείου καταγραφής μετατροπών

Όταν ένας πίνακας Iceberg εικονικοποιείται ως πίνακας Delta Lake, ένας φάκελος με ονομασία _delta_log/ μπορεί να βρεθεί μέσα στον φάκελο συντόμευσης. Αυτός ο φάκελος περιέχει τα μετα-δεδομένα της μορφής Delta Lake (το αρχείο καταγραφής Delta) μετά την επιτυχή μετατροπή.

Αυτός ο φάκελος περιλαμβάνει επίσης το αρχείο, το latest_conversion_log.txt οποίο περιέχει τις λεπτομέρειες επιτυχίας ή αποτυχίας της τελευταίας απόπειρας μετατροπής.

Για να δείτε τα περιεχόμενα αυτού του αρχείου μετά τη δημιουργία της συντόμευσης, ανοίξτε το μενού για τη συντόμευση πίνακα Iceberg στην περιοχή Πίνακες της λίμνης σας και επιλέξτε Προβολή αρχείων.

Στιγμιότυπο οθόνης στοιχείου μενού

Θα πρέπει να δείτε μια δομή όπως το παρακάτω παράδειγμα:

Tables/
|-- MyIcebergTable123/
    |-- data/
        |-- <data files>
    |-- metadata/
        |-- <metadata files>
    |-- _delta_log/   <-- Virtual folder. This folder doesn't exist in the original location.
        |-- 00000000000000000000.json
        |-- latest_conversion_log.txt   <-- Conversion log with latest success/failure details.

Ανοίξτε το αρχείο καταγραφής μετατροπής για να δείτε τον πιο πρόσφατο χρόνο μετατροπής ή τις λεπτομέρειες αποτυχίας. Εάν δεν βλέπετε ένα αρχείο αρχείου καταγραφής μετατροπής, δεν έγινε προσπάθεια μετατροπής.

Εάν δεν επιχειρήθηκε μετατροπή

Εάν δεν βλέπετε ένα αρχείο αρχείου καταγραφής μετατροπής, τότε δεν έγινε προσπάθεια μετατροπής. Ακολουθούν δύο συνήθεις λόγοι για τους οποίους δεν γίνεται προσπάθεια μετατροπής:

Η συντόμευση δεν δημιουργήθηκε στο σωστό σημείο.

Για να μετατραπεί μια συντόμευση σε έναν πίνακα Iceberg στη μορφή Delta Lake, η συντόμευση πρέπει να τοποθετηθεί απευθείας κάτω από το φάκελο Πίνακες μιας λίμνης με δυνατότητα σχήματος. Δεν θα πρέπει να τοποθετείτε τη συντόμευση στην ενότητα Αρχεία ή κάτω από έναν άλλο φάκελο εάν θέλετε ο πίνακας να εικονικοποιείται αυτόματα ως πίνακας Delta Lake.
Η διαδρομή προορισμού της συντόμευσης δεν είναι η διαδρομή του φακέλου Iceberg.

Όταν δημιουργείτε τη συντόμευση, η διαδρομή φακέλου που επιλέγετε στη θέση αποθήκευσης προορισμού πρέπει να είναι μόνο ο φάκελος του πίνακα Iceberg. Αυτός ο φάκελος περιέχει τους metadata φακέλους και data .

Περιορισμοί και ζητήματα

Λάβετε υπόψη τους ακόλουθους προσωρινούς περιορισμούς κατά τη χρήση αυτής της δυνατότητας:

Υποστηριζόμενοι τύποι δεδομένων

Οι ακόλουθοι τύποι δεδομένων στήλης Iceberg αντιστοιχίζουν στους αντίστοιχους τύπους Delta Lake που χρησιμοποιούν αυτή τη δυνατότητα.

Τύπος στήλης Iceberg	Τύπος στήλης Delta Lake	Σχόλια
`int`	`integer`
`long`	`long`	Ανατρέξτε στο θέμα Πρόβλημα πλάτους τύπου.
`float`	`float`
`double`	`double`	Ανατρέξτε στο θέμα Πρόβλημα πλάτους τύπου.
`decimal(P, S)`	`decimal(P, S)`	Ανατρέξτε στο θέμα Πρόβλημα πλάτους τύπου.
`boolean`	`boolean`
`date`	`date`
`timestamp`	`timestamp_ntz`	Ο `timestamp` τύπος δεδομένων Iceberg δεν περιέχει πληροφορίες ζώνης ώρας. Ο `timestamp_ntz` τύπος Delta Lake δεν υποστηρίζεται πλήρως σε όλους τους φόρτους εργασίας Fabric. Συνιστούμε τη χρήση χρονικής σήμανσης με συμπερίληψη ζωνών ώρας.
`timestamptz`	`timestamp`	Στο Snowflake, για χρήση αυτού του τύπου, καθορίστε `timestamp_ltz` ως τον τύπο στήλης κατά τη δημιουργία πίνακα Iceberg. Περισσότερες πληροφορίες σχετικά με τους τύπους δεδομένων Iceberg που υποστηρίζονται στο Snowflake μπορείτε να βρείτε εδώ.
`string`	`string`
`binary`	`binary`

Πρόβλημα πλάτους τύπου

Εάν χρησιμοποιείτε το Snowflake για να συντάξετε τον πίνακα Iceberg και ο πίνακας περιέχει τύπους στηλών INT64, doubleή Decimal με ακρίβεια >= 10, τότε ο εικονικός πίνακας Delta Lake που προκύπτει ενδέχεται να μην μπορεί να χρησιμοποιηθεί από όλους τους μηχανισμούς Fabric. Ενδέχεται να δείτε σφάλματα όπως:
```
Parquet column cannot be converted in file ... Column: [ColumnA], Expected: decimal(18,4), Found: INT32.
```
Εργαζόμαστε για να διορθώσουμε αυτό το ζήτημα.

Λύση: Εάν χρησιμοποιείτε το περιβάλλον εργασίας χρήστη προεπισκόπησης πίνακα Lakehouse και δείτε αυτό το πρόβλημα, μπορείτε να επιλύσετε αυτό το σφάλμα μεταβαίνοντας στην προβολή τελικού σημείου SQL (επάνω δεξιά γωνία, επιλέξτε Προβολή Lakehouse, μεταβείτε σε Τελικό σημείο SQL) και κάνοντας προεπισκόπηση του πίνακα από εκεί. Εάν, στη συνέχεια, επιστρέψετε στην προβολή Lakehouse, η προεπισκόπηση πίνακα θα πρέπει να εμφανίζεται σωστά.

Εάν εκτελείτε ένα σημειωματάριο Spark ή μια εργασία και αντιμετωπίζετε αυτό το πρόβλημα, μπορείτε να επιλύσετε αυτό το σφάλμα ρυθμίζοντας τη spark.sql.parquet.enableVectorizedReader ρύθμιση παραμέτρων Spark σε false. Ακολουθεί ένα παράδειγμα εντολής PySpark για εκτέλεση σε ένα σημειωματάριο Spark:
```
spark.conf.set("spark.sql.parquet.enableVectorizedReader","false")
```
Ο χώρος αποθήκευσης μετα-δεδομένων πίνακα Iceberg δεν είναι φορητός

Τα αρχεία μετα-δεδομένων ενός πίνακα Iceberg αναφέρονται το ένα στο άλλο, χρησιμοποιώντας απόλυτες αναφορές διαδρομής. Εάν αντιγράψετε ή μετακινήσετε τα περιεχόμενα φακέλων ενός πίνακα Iceberg σε άλλη θέση χωρίς να γράψετε ξανά τα αρχεία μετα-δεδομένων Iceberg, ο πίνακας δεν είναι αναγνώσιμος από τους αναγνώστες του Iceberg, συμπεριλαμβανομένης αυτής της δυνατότητας OneLake.

Λύση:

Εάν θέλετε να μετακινήσετε τον πίνακά σας Iceberg σε άλλη τοποθεσία για να χρησιμοποιήσετε αυτή τη δυνατότητα, χρησιμοποιήστε το εργαλείο που αρχικά έγραψε ο πίνακας Iceberg για να γράψετε έναν νέο πίνακα Iceberg στην επιθυμητή θέση.
Οι πίνακες Iceberg πρέπει να είναι βαθύτερα από το επίπεδο ρίζας

Ο φάκελος πίνακα Iceberg στον χώρο αποθήκευσης πρέπει να βρίσκεται σε έναν κατάλογο βαθύτερο από επίπεδο κάδου ή κοντέινερ. Οι πίνακες Iceberg που αποθηκεύονται απευθείας στον ριζικό κατάλογο ενός κάδου ή κοντέινερ μπορεί να μην εικονικοποιούνται στη μορφή Delta Lake.

Εργαζόμαστε για μια βελτίωση για την κατάργηση αυτής της απαίτησης.

Λύση:

Βεβαιωθείτε ότι οποιοιδήποτε πίνακες Iceberg αποθηκεύονται σε έναν κατάλογο βαθύτερα από τον ριζικό κατάλογο ενός κάδου ή κοντέινερ.
Οι φάκελοι πίνακα Iceberg πρέπει να περιέχουν μόνο ένα σύνολο αρχείων μετα-δεδομένων

Εάν αναπτύξετε και δημιουργήσετε εκ νέου έναν πίνακα Iceberg στο Snowflake, τα αρχεία μετα-δεδομένων δεν εκκαθαρίζουν. Αυτή η συμπεριφορά υποστηρίζεται της UNDROP δυνατότητας στο Snowflake. Ωστόσο, επειδή η συντόμευση δείχνει απευθείας σε έναν φάκελο και αυτός ο φάκελος έχει πλέον πολλά σύνολα αρχείων μετα-δεδομένων μέσα σε αυτόν, δεν μπορούμε να μετατρέψουμε τον πίνακα μέχρι να καταργήσετε τα αρχεία μετα-δεδομένων του παλαιού πίνακα.

Προς το παρόν, γίνεται προσπάθεια μετατροπής σε αυτό το σενάριο, το οποίο μπορεί να έχει ως αποτέλεσμα την εμφάνιση παλαιών περιεχομένων πινάκων και πληροφοριών σχήματος στον εικονικό πίνακα Delta Lake.

Εργαζόμαστε για μια επιδιόρθωση στην οποία η μετατροπή αποτυγχάνει εάν βρεθούν περισσότερα από ένα σύνολο αρχείων μετα-δεδομένων στον φάκελο μετα-δεδομένων του πίνακα Iceberg.

Λύση:

Για να εξασφαλίσετε ότι ο πίνακας που μετατρέπεται αντικατοπτρίζει τη σωστή έκδοση του πίνακα:
- Βεβαιωθείτε ότι δεν αποθηκεύονται περισσότεροι από ένας πίνακες Iceberg στον ίδιο φάκελο.
- Εκκαθαρίστε τυχόν περιεχόμενα ενός φακέλου πίνακα Iceberg μετά την απόθεση, προτού δημιουργήσετε ξανά τον πίνακα.
Οι αλλαγές μετα-δεδομένων δεν αντικατοπτρίζονται αμέσως

Εάν κάνετε αλλαγές μετα-δεδομένων στον πίνακα Iceberg, όπως προσθήκη στήλης, διαγραφή στήλης, μετονομασία στήλης ή αλλαγή τύπου στήλης, ο πίνακας ενδέχεται να μην επανέλθει μέχρι να πραγματοποιηθεί μια αλλαγή δεδομένων, όπως η προσθήκη μιας γραμμής δεδομένων.

Εργαζόμαστε για μια επιδιόρθωση που επιλέγει το σωστό πιο πρόσφατο αρχείο μετα-δεδομένων που περιλαμβάνει την πιο πρόσφατη αλλαγή μετα-δεδομένων.

Λύση:

Αφού κάνετε την αλλαγή σχήματος στον πίνακα Iceberg, προσθέστε μια γραμμή δεδομένων ή κάντε οποιαδήποτε άλλη αλλαγή στα δεδομένα. Μετά από αυτή την αλλαγή, θα πρέπει να μπορείτε να ανανεώσετε και να δείτε την τελευταία προβολή του πίνακά σας στο Fabric.
Δεν υποστηρίζονται ακόμα χώροι εργασίας με δυνατότητα σχήματος

Εάν δημιουργήσετε μια συντόμευση Iceberg σε μια λίμνη με δυνατότητα σχήματος, δεν πραγματοποιείται μετατροπή για αυτήν τη συντόμευση.

Προσπαθούμε να κάνουμε μια βελτίωση για να καταργήσουμε αυτόν τον περιορισμό.

Λύση:

Χρησιμοποιήστε μια λίμνη με δυνατότητα μη σχήματος με αυτήν τη δυνατότητα. Μπορείτε να ρυθμίσετε αυτήν τη ρύθμιση κατά τη δημιουργία του lakehouse.
Περιορισμός διαθεσιμότητας περιοχής

Η δυνατότητα δεν είναι ακόμα διαθέσιμη στις ακόλουθες περιοχές:
- Qatar Central
- Δυτική Νορβηγία
Λύση:

Χώροι εργασίας που συνδέονται σε εκχωρημένους πόρους Fabric σε άλλες περιοχές μπορούν να χρησιμοποιήσουν αυτή τη δυνατότητα. Δείτε την πλήρη λίστα των περιοχών στις οποίες είναι διαθέσιμο το Microsoft Fabric.
Δεν υποστηρίζονται ιδιωτικές συνδέσεις

Αυτή η δυνατότητα δεν υποστηρίζεται προς το παρόν για μισθωτές ή χώρους εργασίας που έχουν ενεργοποιημένες ιδιωτικές συνδέσεις.

Προσπαθούμε να κάνουμε μια βελτίωση για να καταργήσουμε αυτόν τον περιορισμό.
Περιορισμός μεγέθους πίνακα

Έχουμε έναν προσωρινό περιορισμό σχετικά με το μέγεθος του πίνακα Iceberg που υποστηρίζεται από αυτή τη δυνατότητα. Ο μέγιστος υποστηριζόμενος αριθμός αρχείων δεδομένων Parquet είναι περίπου 5.000 αρχεία δεδομένων ή περίπου 1 δισεκατομμύριο γραμμές, όποιο όριο αντιμετωπίσετε πρώτα.

Προσπαθούμε να κάνουμε μια βελτίωση για να καταργήσουμε αυτόν τον περιορισμό.
Οι συντομεύσεις OneLake πρέπει να είναι ίδιας περιοχής

Έχουμε έναν προσωρινό περιορισμό στη χρήση αυτής της δυνατότητας με συντομεύσεις που δείχνουν σε θέσεις OneLake: η θέση προορισμού της συντόμευσης πρέπει να είναι στην ίδια περιοχή με τη συντόμευση.

Εργαζόμαστε για μια βελτίωση για την κατάργηση αυτής της απαίτησης.

Λύση:

Εάν έχετε μια συντόμευση OneLake σε έναν πίνακα Iceberg σε μια άλλη λίμνη, βεβαιωθείτε ότι η άλλη λίμνη συσχετίζεται με ένα σύνολο εκχωρημένων πόρων στην ίδια περιοχή.

Μάθετε περισσότερα σχετικά με την ασφάλεια Fabric και OneLake.
Μάθετε περισσότερα σχετικά με τις συντομεύσεις oneLake.

Κοινή χρήση μέσω

Χρήση πινάκων Iceberg με oneLake

Δημιουργία συντόμευσης πίνακα σε πίνακα Iceberg

Γράψτε έναν πίνακα Iceberg στο OneLake χρησιμοποιώντας snowflake

Αντιμετώπιση προβλημάτων

Ελέγξτε τη δομή φακέλων του πίνακα Iceberg σας

Έλεγχος του αρχείου καταγραφής μετατροπών

Εάν δεν επιχειρήθηκε μετατροπή

Περιορισμοί και ζητήματα

Σχόλια

Πρόσθετοι πόροι

Κοινή χρήση μέσω

Χρήση πινάκων Iceberg με oneLake

Δημιουργία συντόμευσης πίνακα σε πίνακα Iceberg

Γράψτε έναν πίνακα Iceberg στο OneLake χρησιμοποιώντας snowflake

Αντιμετώπιση προβλημάτων

Ελέγξτε τη δομή φακέλων του πίνακα Iceberg σας

Έλεγχος του αρχείου καταγραφής μετατροπών

Εάν δεν επιχειρήθηκε μετατροπή

Περιορισμοί και ζητήματα

Σχετικό περιεχόμενο

Σχόλια

Πρόσθετοι πόροι