Προορισμοί δεδομένων Gen2 ροής δεδομένων και διαχειριζόμενες ρυθμίσεις

Αφού καθαρίσετε και προετοιμάσετε τα δεδομένα σας με το Dataflow Gen2, θέλετε να μεταφέρετε τα δεδομένα σας σε έναν προορισμό. Αυτό μπορείτε να το κάνετε χρησιμοποιώντας τις δυνατότητες προορισμού δεδομένων στο Dataflow Gen2. Με αυτήν τη δυνατότητα, μπορείτε να επιλέξετε από διαφορετικούς προορισμούς, όπως Azure SQL, Fabric Lakehouse και πολλούς άλλους. Στη συνέχεια, το Dataflow Gen2 εγγράφει τα δεδομένα σας στον προορισμό και από εκεί μπορείτε να χρησιμοποιήσετε τα δεδομένα σας για περαιτέρω ανάλυση και αναφορά.

Η παρακάτω λίστα περιέχει τους υποστηριζόμενους προορισμούς δεδομένων.

• Βάσεις δεδομένων SQL Azure
• Azure Data Explorer (Kusto)
• Fabric Lakehouse
• Fabric Warehouse
• Βάση δεδομένων KQL Fabric
• Βάση δεδομένων SQL Fabric

Σημεία εισόδου

Κάθε ερώτημα δεδομένων στο Dataflow Gen2 μπορεί να έχει έναν προορισμό δεδομένων. Δεν υποστηρίζονται συναρτήσεις και λίστες. μπορείτε να την εφαρμόσετε μόνο σε ερωτήματα σε μορφή πίνακα. Μπορείτε να καθορίσετε τον προορισμό δεδομένων για κάθε ερώτημα ξεχωριστά και μπορείτε να χρησιμοποιήσετε πολλούς διαφορετικούς προορισμούς εντός της ροής δεδομένων.

Υπάρχουν τρία κύρια σημεία εισόδου για τον καθορισμό του προορισμού δεδομένων:

• Από την επάνω κορδέλα.

  

• Μέσω των ρυθμίσεων ερωτήματος.

  

• Μέσω της προβολής διαγράμματος.

  

Σύνδεση στον προορισμό δεδομένων

Η σύνδεση στον προορισμό δεδομένων είναι παρόμοια με τη σύνδεση σε μια προέλευση δεδομένων. Οι συνδέσεις μπορούν να χρησιμοποιηθούν τόσο για την ανάγνωση όσο και για την εγγραφή των δεδομένων σας, δεδομένου ότι έχετε τα κατάλληλα δικαιώματα στην προέλευση δεδομένων. Πρέπει να δημιουργήσετε μια νέα σύνδεση ή να επιλέξετε μια υπάρχουσα σύνδεση και, στη συνέχεια, να επιλέξετε Επόμενο.

Δημιουργία νέου πίνακα ή επιλογή ενός υπάρχοντος πίνακα

Κατά τη φόρτωση στον προορισμό δεδομένων σας, μπορείτε είτε να δημιουργήσετε έναν νέο πίνακα είτε να επιλέξετε έναν υπάρχοντα πίνακα.

Δημιουργία ενός νέου πίνακα

Όταν επιλέγετε να δημιουργήσετε έναν νέο πίνακα, κατά τη διάρκεια της ανανέωσης Dataflow Gen2 δημιουργείται ένας νέος πίνακας στον προορισμό δεδομένων σας. Εάν ο πίνακας διαγραφεί στο μέλλον με μη αυτόματη μετάβαση στον προορισμό, η ροή δεδομένων δημιουργεί εκ νέου τον πίνακα κατά τη διάρκεια της επόμενης ανανέωσης ροής δεδομένων.

Από προεπιλογή, το όνομα του πίνακά σας έχει το ίδιο όνομα με το όνομα του ερωτήματός σας. Εάν έχετε μη έγκυρους χαρακτήρες στο όνομα πίνακα που δεν υποστηρίζει ο προορισμός, το όνομα του πίνακα προσαρμόζεται αυτόματα. Για παράδειγμα, πολλοί προορισμοί δεν υποστηρίζουν διαστήματα ή ειδικούς χαρακτήρες.

Στη συνέχεια, πρέπει να επιλέξετε το κοντέινερ προορισμού. Εάν επιλέξατε οποιονδήποτε από τους προορισμούς δεδομένων Fabric, μπορείτε να χρησιμοποιήσετε τον πλοηγό για να επιλέξετε το αντικείμενο σχεδίασης Fabric στο οποίο θέλετε να φορτώσετε τα δεδομένα σας. Για τους προορισμούς Azure, μπορείτε είτε να καθορίσετε τη βάση δεδομένων κατά τη δημιουργία της σύνδεσης, είτε να επιλέξετε τη βάση δεδομένων από την εμπειρία περιήγησης.

Χρήση υπάρχοντος πίνακα

Για να επιλέξετε έναν υπάρχοντα πίνακα, χρησιμοποιήστε το κουμπί εναλλαγής στο επάνω μέρος της περιήγησης. Όταν επιλέγετε έναν υπάρχοντα πίνακα, πρέπει να επιλέξετε τόσο το αντικείμενο σχεδίασης/βάσης δεδομένων Fabric όσο και τον πίνακα χρησιμοποιώντας την περιήγηση.

Όταν χρησιμοποιείτε έναν υπάρχοντα πίνακα, δεν είναι δυνατή η δημιουργία του πίνακα σε κανένα σενάριο. Εάν διαγράψετε τον πίνακα με μη αυτόματο τρόπο από τον προορισμό δεδομένων, το Dataflow Gen2 δεν θα δημιουργήσει ξανά τον πίνακα στην επόμενη ανανέωση.

Διαχειριζόμενες ρυθμίσεις για νέους πίνακες

Όταν φορτώνετε σε έναν νέο πίνακα, οι αυτόματες ρυθμίσεις είναι ενεργοποιημένων από προεπιλογή. Εάν χρησιμοποιείτε τις αυτόματες ρυθμίσεις, το Dataflow Gen2 διαχειρίζεται την αντιστοίχιση για εσάς. Οι αυτόματες ρυθμίσεις παρέχουν την ακόλουθη συμπεριφορά:

• Αντικατάσταση μεθόδου ενημέρωσης: Τα δεδομένα αντικαθίστανται σε κάθε ανανέωση ροής δεδομένων. Τυχόν δεδομένα στον προορισμό καταργούνται. Τα δεδομένα στον προορισμό αντικαθίστανται με τα δεδομένα εξόδου της ροής δεδομένων.

• Διαχειριζόμενη αντιστοίχιση: Η αντιστοίχιση είναι διαχειριζόμενη για εσάς. Όταν πρέπει να κάνετε αλλαγές στα δεδομένα/το ερώτημά σας για να προσθέσετε μια άλλη στήλη ή να αλλάξετε έναν τύπο δεδομένων, η αντιστοίχιση προσαρμόζεται αυτόματα για αυτήν την αλλαγή όταν αναδημοσιεύετε τη ροή δεδομένων σας. Δεν χρειάζεται να μεταβαίνετε στην εμπειρία προορισμού δεδομένων κάθε φορά που κάνετε αλλαγές στη ροή δεδομένων σας, επιτρέποντας εύκολες αλλαγές στο σχήμα κατά την αναδημοσίευση της ροής δεδομένων.

• Αποθέστε και αναδημιουργήστε πίνακα: Για να επιτρέψετε αυτές τις αλλαγές σχήματος, σε κάθε ανανέωση ροής δεδομένων, ο πίνακας θα καταργηθεί και θα δημιουργηθεί εκ νέου. Η ανανέωση ροής δεδομένων μπορεί να προκαλέσει την κατάργηση σχέσεων ή μετρήσεων που προστέθηκαν προηγουμένως στον πίνακά σας.

Σημείωμα

Προς το παρόν, η αυτόματη ρύθμιση υποστηρίζεται μόνο για βάσεις δεδομένων Lakehouse και Azure SQL ως προορισμός δεδομένων.

Μη αυτόματες ρυθμίσεις

Αν καταργήσετε την εναλλαγή Χρησιμοποιήστε αυτόματες ρυθμίσεις, θα έχετε πλήρη έλεγχο του τρόπου φόρτωσης των δεδομένων σας στον προορισμό δεδομένων. Μπορείτε να κάνετε οποιεσδήποτε αλλαγές στην αντιστοίχιση στηλών αλλάζοντας τον τύπο προέλευσης ή εξαιρώντας οποιαδήποτε στήλη που δεν χρειάζεστε στον προορισμό δεδομένων σας.

Ενημέρωση μεθόδων

Οι περισσότεροι προορισμοί υποστηρίζουν προσάρτηση και αντικατάσταση ως μέθοδοι ενημέρωσης. Ωστόσο, οι βάσεις δεδομένων Fabric KQL και η Εξερεύνηση δεδομένων Azure δεν υποστηρίζουν αντικατάσταση ως μέθοδο ενημέρωσης.

• Αντικατάσταση: Σε κάθε ανανέωση ροής δεδομένων, τα δεδομένα σας απορρίπτονται από τον προορισμό και αντικαθίστανται από τα δεδομένα εξόδου της ροής δεδομένων.

• Προσάρτηση: Σε κάθε ανανέωση ροής δεδομένων, τα δεδομένα εξόδου από τη ροή δεδομένων προσαρτώνται στα υπάρχοντα δεδομένα στον πίνακα προορισμού δεδομένων.

Επιλογές σχήματος κατά τη δημοσίευση

Οι επιλογές σχήματος στη δημοσίευση ισχύουν μόνο όταν αντικατασταθεί η μέθοδος ενημέρωσης. Κατά την προσάρτηση δεδομένων, οι αλλαγές στο σχήμα δεν είναι δυνατές.

• Δυναμικό σχήμα: Όταν επιλέγετε δυναμικό σχήμα, επιτρέπετε αλλαγές σχήματος στον προορισμό δεδομένων κατά την αναδημοσίευση της ροής δεδομένων. Επειδή δεν χρησιμοποιείτε διαχειριζόμενη αντιστοίχιση, εξακολουθεί να χρειάζεται να ενημερώσετε την αντιστοίχιση στηλών στη ροή προορισμού ροής δεδομένων όταν κάνετε οποιεσδήποτε αλλαγές στο ερώτημά σας. Όταν ανανεώνεται η ροή δεδομένων, ο πίνακάς σας θα καταργηθεί και θα δημιουργηθεί εκ νέου. Η ανανέωση ροής δεδομένων μπορεί να προκαλέσει την κατάργηση σχέσεων ή μετρήσεων που προστέθηκαν προηγουμένως στον πίνακά σας.

• Σταθερό σχήμα: Όταν επιλέγετε σταθερό σχήμα, οι αλλαγές σχήματος δεν είναι δυνατές. Όταν η ροή δεδομένων ανανεώνεται, μόνο οι γραμμές στον πίνακα απορρίπτονται και αντικαθίστανται με τα δεδομένα εξόδου από τη ροή δεδομένων. Οποιεσδήποτε σχέσεις ή μετρήσεις στον πίνακα παραμένουν ανέπαφα. Εάν κάνετε οποιεσδήποτε αλλαγές στο ερώτημά σας στη ροή δεδομένων, η δημοσίευση της ροής δεδομένων αποτυγχάνει εάν εντοπιστεί ότι το σχήμα ερωτήματος δεν συμφωνεί με το σχήμα προορισμού δεδομένων. Χρησιμοποιήστε αυτήν τη ρύθμιση όταν δεν σκοπεύετε να αλλάξετε το σχήμα και να προσθέσετε σχέσεις ή μετρήσεις στον πίνακα προορισμού σας.

Σημείωμα

Κατά τη φόρτωση δεδομένων στην αποθήκη, υποστηρίζεται μόνο σταθερό σχήμα.

Υποστηριζόμενοι τύποι προέλευσης δεδομένων ανά προορισμό

Υποστηριζόμενοι τύποι δεδομένων ανά θέση αποθήκευσης	Ροές δεδομένωνΗ ετικέταLakehouse	Έξοδος Βάσης δεδομένων Azure (SQL)	Έξοδος της Εξερεύνησης δεδομένων Azure	Έξοδος Fabric Lakehouse (LH)	Έξοδος Αποθήκης Fabric (WH)	Έξοδος βάσης δεδομένων SQL Fabric (SQL)
Ενέργεια	Όχι	όχι	όχι	όχι	όχι	Όχι
Any	Όχι	όχι	όχι	όχι	όχι	Όχι
Δυαδικό	Όχι	όχι	όχι	όχι	όχι	Όχι
Νομισματική μονάδα	Όχι	Όχι	Όχι	Όχι	όχι	Όχι
Ζώνη ημερομηνίας/ώρας	Όχι	Όχι	Όχι	όχι	όχι	Όχι
Duration	Όχι	όχι	Όχι	όχι	όχι	Όχι
Function	Όχι	όχι	όχι	όχι	όχι	Όχι
Κανένα	Όχι	όχι	όχι	όχι	όχι	Όχι
Null	Όχι	όχι	όχι	όχι	όχι	Όχι
Ώρα	Όχι	Όχι	όχι	όχι	όχι	Όχι
Τύπος	Όχι	όχι	όχι	όχι	όχι	Όχι
Δομημένο (Λίστα, Εγγραφή, Πίνακας)	Όχι	όχι	όχι	όχι	όχι	Όχι

Θέματα για προχωρημένους

Χρήση προεργασίας πριν από τη φόρτωση σε έναν προορισμό

Για να βελτιώσετε τις επιδόσεις της επεξεργασίας ερωτημάτων, μπορείτε να χρησιμοποιήσετε τη προεργασία στο Dataflows Gen2 για να χρησιμοποιήσετε την υπολογιστική λειτουργία Fabric για την εκτέλεση των ερωτημάτων σας.

Όταν είναι ενεργοποιημένη η προεργασία στα ερωτήματά σας (η προεπιλεγμένη συμπεριφορά), τα δεδομένα σας φορτώνονται στη θέση προεργασίας, η οποία είναι ένα εσωτερικό Lakehouse προσβάσιμο μόνο από τις ίδια τις ροές δεδομένων.

Η χρήση θέσεων προεργασίας μπορεί να βελτιώσει την απόδοση σε ορισμένες περιπτώσεις όπου η αναδίπλωση του ερωτήματος στο τελικό σημείο ανάλυσης SQL είναι ταχύτερη από ό,τι στην επεξεργασία μνήμης.

Κατά τη φόρτωση δεδομένων στο Lakehouse ή σε άλλους προορισμούς που δεν είναι αποθήκες, απενεργοποιούμε από προεπιλογή τη δυνατότητα προεργασίας για τη βελτίωση των επιδόσεων. Όταν φορτώνετε δεδομένα στον προορισμό δεδομένων, τα δεδομένα εγγράφεται απευθείας στον προορισμό δεδομένων χωρίς τη χρήση προεργασίας. Εάν θέλετε να χρησιμοποιήσετε προεργασία για το ερώτημά σας, μπορείτε να το ενεργοποιήσετε ξανά.

Για να ενεργοποιήσετε την προεργασία, κάντε δεξί κλικ στο ερώτημα και ενεργοποιήστε τη προεργασία επιλέγοντας το κουμπί Ενεργοποίηση προεργασίας . Στη συνέχεια, το ερώτημά σας γίνεται μπλε.

Φόρτωση δεδομένων στην Αποθήκη

Όταν φορτώνετε δεδομένα στην Αποθήκη, απαιτείται προεργασία πριν από τη λειτουργία εγγραφής στον προορισμό δεδομένων. Αυτή η απαίτηση βελτιώνει τις επιδόσεις. Προς το παρόν, υποστηρίζεται μόνο φόρτωση στον ίδιο χώρο εργασίας με τη ροή δεδομένων. Βεβαιωθείτε ότι είναι ενεργοποιημένη η προεργασία για όλα τα ερωτήματα που φορτώνονται στην αποθήκη.

Όταν η προεργασία είναι απενεργοποιημένη και επιλέξετε Αποθήκη ως προορισμό εξόδου, λαμβάνετε μια προειδοποίηση για να ενεργοποιήσετε πρώτα την προεργασία, για να μπορέσετε να ρυθμίσετε τις παραμέτρους του προορισμού δεδομένων.

Εάν έχετε ήδη μια αποθήκη ως προορισμό και προσπαθήσετε να απενεργοποιήσετε την προεργασία, εμφανίζεται μια προειδοποίηση. Μπορείτε να καταργήσετε την αποθήκη ως προορισμό ή να κλείσετε την ενέργεια προεργασίας.

Κενός προορισμός δεδομένων lakehouse σας

Όταν χρησιμοποιείτε το Lakehouse ως προορισμό για το Dataflow Gen2 στο Microsoft Fabric, είναι σημαντικό να εκτελείτε τακτικές εργασίες συντήρησης για να εξασφαλίσετε βέλτιστη απόδοση και αποτελεσματική διαχείριση του χώρου αποθήκευσης. Μια απαραίτητη εργασία συντήρησης είναι η σκούπα στον προορισμό των δεδομένων σας. Αυτή η διαδικασία βοηθά στην κατάργηση παλαιών αρχείων που δεν αναφέρονται πλέον από το αρχείο καταγραφής πίνακα Delta, βελτιστοποιώντας έτσι το κόστος αποθήκευσης και διατηρώντας την ακεραιότητα των δεδομένων σας.

Γιατί το κενό είναι σημαντικό

1. Βελτιστοποίηση χώρου αποθήκευσης: Με την πάροδο του χρόνου, οι πίνακες Delta συγκεντρώνουν παλιά αρχεία που δεν είναι πλέον απαραίτητα. Το κενό βοηθά στην εκκαθάριση αυτών των αρχείων, απελευθερώνοντας χώρο αποθήκευσης και μειώνοντας το κόστος.
2. Βελτίωση επιδόσεων: Η κατάργηση περιττών αρχείων μπορεί να βελτιώσει την απόδοση των ερωτημάτων, μειώνοντας τον αριθμό των αρχείων που πρέπει να σαρωθούν κατά τη διάρκεια των λειτουργιών ανάγνωσης.
3. Ακεραιότητα δεδομένων: Η διασφάλιση ότι διατηρούνται μόνο τα σχετικά αρχεία συμβάλλει στη διατήρηση της ακεραιότητας των δεδομένων σας, αποτρέποντας πιθανά προβλήματα με μη δεσμευμένα αρχεία που θα μπορούσαν να οδηγήσουν σε αποτυχίες αναγνώστη ή καταστροφή πινάκων.

Πώς να σκουπίσετε τον προορισμό δεδομένων σας

Για να σκουπίσετε τους πίνακες Delta στο Lakehouse, ακολουθήστε τα εξής βήματα:

1. Μεταβείτε στο Lakehouse: Από τον λογαριασμό σας Microsoft Fabric, μεταβείτε στο επιθυμητό Lakehouse.
2. Συντήρηση πίνακα πρόσβασης: Στην εξερεύνηση Lakehouse, κάντε δεξί κλικ στον πίνακα που θέλετε να διατηρήσετε ή χρησιμοποιήστε τα αποσιωπητικά για να αποκτήσετε πρόσβαση στο μενού περιβάλλοντος.
3. Επιλέξτε επιλογές συντήρησης: Επιλέξτε την καταχώρηση μενού Συντήρηση και επιλέξτε Κενό.
4. Εκτελέστε την εντολή κενού: Ορίστε το όριο διατήρησης (η προεπιλογή είναι επτά ημέρες) και εκτελέστε την εντολή κενού επιλέγοντας Εκτέλεση τώρα.

Βέλτιστες πρακτικές

• Περίοδος διατήρησης: Ορίστε ένα διάστημα διατήρησης τουλάχιστον επτά ημερών για να εξασφαλίσετε ότι τα παλιά στιγμιότυπα και τα μη δεσμευμένα αρχεία δεν καταργούνται πρόωρα, γεγονός που θα μπορούσε να διακόψει τους ταυτόχρονους αναγνώστες και συντάκτες πινάκων.
• Τακτική συντήρηση: Προγραμματίστε τακτική σκούπα ως μέρος της ρουτίνας συντήρησης δεδομένων σας για να διατηρήσετε τους πίνακες Delta βελτιστοποιημένους και έτοιμους για ανάλυση.

Ενσωματώνοντας κενό στη στρατηγική συντήρησης δεδομένων σας, μπορείτε να εξασφαλίσετε ότι ο προορισμός σας στο Lakehouse παραμένει αποτελεσματικός, οικονομικά αποδοτικός και αξιόπιστος για τις λειτουργίες ροής δεδομένων σας.

Για πιο λεπτομερείς πληροφορίες σχετικά με τη συντήρηση πίνακα στο Lakehouse, ανατρέξτε στην τεκμηρίωση συντήρησης πίνακα Delta.

Επιδέχεται τιμές null

Σε ορισμένες περιπτώσεις, όταν έχετε μια στήλη που επιδέχεται τιμές null, εντοπίζεται από το Power Query ως μη null και κατά την εγγραφή στον προορισμό δεδομένων, ο τύπος στήλης δεν επιδέχεται τιμές null. Κατά τη διάρκεια της ανανέωσης, παρουσιάζεται το ακόλουθο σφάλμα:

E104100 Couldn't refresh entity because of an issue with the mashup document MashupException.Error: DataFormat.Error: Error in replacing table's content with new data in a version: #{0}., InnerException: We can't insert null data into a non-nullable column., Underlying error: We can't insert null data into a non-nullable column. Details: Reason = DataFormat.Error;Message = We can't insert null data into a non-nullable column.; Message.Format = we can't insert null data into a non-nullable column.

Για να επιχειρήσετε στήλες που επιδέχονται τιμές null, μπορείτε να δοκιμάσετε τα παρακάτω βήματα:

1. Διαγράψτε τον πίνακα από τον προορισμό δεδομένων.

2. Καταργήστε τον προορισμό δεδομένων από τη ροή δεδομένων.

3. Μεταβείτε στη ροή δεδομένων και ενημερώστε τους τύπους δεδομένων χρησιμοποιώντας τον παρακάτω κώδικα Power Query:

   Table.TransformColumnTypes(
      #"PREVIOUS STEP", {
         {"COLLUMNNAME1", type nullable text}, 
         {"COLLUMNNAME2", type nullable Int64.Type}
      }
   ) 
   

4. Προσθέστε τον προορισμό δεδομένων.

Μετατροπή τύπων δεδομένων και αύξηση κλίμακας

Σε ορισμένες περιπτώσεις, ο τύπος δεδομένων εντός της ροής δεδομένων διαφέρει από αυτό που υποστηρίζεται στον παρακάτω προορισμό δεδομένων είναι ορισμένες προεπιλεγμένες μετατροπές που έχουμε δημιουργήσει για να διασφαλίσουμε ότι εξακολουθείτε να μπορείτε να λάβετε τα δεδομένα σας στον προορισμό δεδομένων:

Προορισμός	Τύπος δεδομένων ροής δεδομένων	Τύπος δεδομένων προορισμού
Fabric Warehouse	Int8.Type	Int16.Type