Ρύθμιση παραμέτρων lakehouse σε δραστηριότητα αντιγραφής
Αυτό το άρθρο περιγράφει τον τρόπο χρήσης της δραστηριότητας αντιγραφής σε μια διοχέτευση δεδομένων για την αντιγραφή δεδομένων από και προς το Fabric Lakehouse. Από προεπιλογή, τα δεδομένα γράφονται στον Πίνακα Lakehouse σε V-Order και μπορείτε να μεταβείτε στη βελτιστοποίηση πινάκων Delta Lake και V-Order για περισσότερες πληροφορίες.
Υποστηριζόμενη μορφή
Το Lakehouse υποστηρίζει τις παρακάτω μορφές αρχείων. Ανατρέξτε σε κάθε άρθρο για ρυθμίσεις που βασίζονται σε μορφές.
- Μέση μορφή
- Δυαδική μορφή
- Οριοθετημένη μορφή κειμένου
- Μορφή Excel
- Μορφή JSON
- Μορφή ORC
- Μορφή parquet
- Μορφή XML
Υποστηριζόμενη ρύθμιση παραμέτρων
Για τη ρύθμιση παραμέτρων κάθε καρτέλας στην περιοχή δραστηριότητα αντιγραφής, μεταβείτε στις ακόλουθες ενότητες αντίστοιχα.
Γενική
Για τη ρύθμιση παραμέτρων της καρτέλας Γενικά , μεταβείτε στην περιοχή Γενικά.
Πηγή
Οι παρακάτω ιδιότητες υποστηρίζονται για το Lakehouse στην καρτέλα Προέλευση μιας δραστηριότητας αντιγραφής.
Απαιτούνται οι ακόλουθες ιδιότητες:
Σύνδεση: Επιλέξτε μια σύνδεση Lakehouse από τη λίστα συνδέσεων. Εάν δεν υπάρχει σύνδεση, τότε δημιουργήστε μια νέα σύνδεση Lakehouse επιλέγοντας Περισσότερα στο κάτω μέρος της λίστας συνδέσεων. Εάν εφαρμόσετε Χρήση δυναμικού περιεχομένου για να καθορίσετε το Lakehouse, προσθέστε μια παράμετρο και καθορίστε το αναγνωριστικό αντικειμένου Lakehouse ως τιμή παραμέτρου. Για να λάβετε το αναγνωριστικό αντικειμένου Lakehouse, ανοίξτε το Lakehouse στον χώρο εργασίας σας και το αναγνωριστικό θα εμφανιστεί
/lakehouses/
στη διεύθυνση URL.Ριζικός φάκελος: Επιλέξτε Πίνακες ή Αρχεία, το οποίο υποδεικνύει την εικονική προβολή της διαχειριζόμενης ή μη διαχειριζόμενης περιοχής στη λίμνη σας. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Εισαγωγή στο Lakehouse.
Εάν επιλέξετε Πίνακες:
Όνομα πίνακα: Επιλέξτε έναν υπάρχοντα πίνακα από τη λίστα πινάκων ή καθορίστε ένα όνομα πίνακα ως προέλευση. Εναλλακτικά, μπορείτε να επιλέξετε Δημιουργία για να δημιουργήσετε έναν νέο πίνακα.
Πίνακας: Όταν εφαρμόζετε το Lakehouse με σχήματα στη σύνδεση, επιλέξτε έναν υπάρχοντα πίνακα με ένα σχήμα από τη λίστα πινάκων ή καθορίστε έναν πίνακα με σχήμα ως προέλευση. Εναλλακτικά, μπορείτε να επιλέξετε Δημιουργία για να δημιουργήσετε έναν νέο πίνακα με ένα σχήμα. Εάν δεν καθορίσετε ένα όνομα σχήματος, η υπηρεσία θα χρησιμοποιήσει το dbo ως το προεπιλεγμένο σχήμα.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
- Χρονική σήμανση: Καθορίστε την υποβολή ερωτήματος σε ένα παλαιότερο στιγμιότυπο κατά χρονική σήμανση.
- Έκδοση: Καθορίστε να υποβάλετε ερώτημα για ένα παλαιότερο στιγμιότυπο κατά έκδοση.
- Πρόσθετες στήλες: Προσθέστε επιπλέον στήλες δεδομένων στη σχετική διαδρομή ή στατική τιμή των αρχείων προέλευσης αποθήκευσης. Η παράσταση υποστηρίζεται για το τελευταίο.
Υποστηρίζεται η έκδοση 1 του αναγνώστη. Μπορείτε να βρείτε τις αντίστοιχες υποστηριζόμενες δυνατότητες του Delta Lake σε αυτό το άρθρο.
Εάν επιλέξετε Αρχεία:
Τύπος διαδρομής αρχείου: Μπορείτε να επιλέξετε Διαδρομή αρχείου, Διαδρομή αρχείου χαρακτήρα μπαλαντέρ ή Λίστα αρχείων ως τύπο διαδρομής αρχείου. Η παρακάτω λίστα περιγράφει τη ρύθμιση παραμέτρων κάθε ρύθμισης:
Διαδρομή αρχείου: Επιλέξτε Αναζήτηση για να επιλέξετε το αρχείο που θέλετε να αντιγράψετε ή συμπληρώστε τη διαδρομή με μη αυτόματο τρόπο.
Διαδρομή αρχείου μπαλαντέρ: Καθορίστε τη διαδρομή φακέλου ή αρχείου με χαρακτήρες μπαλαντέρ κάτω από τη δεδομένη μη διαχειριζόμενη περιοχή Lakehouse (στην περιοχή Αρχεία) για να φιλτράρετε τους φακέλους ή τα αρχεία προέλευσης. Οι επιτρεπόμενοι χαρακτήρες μπαλαντέρ είναι οι εξής:
*
(συμφωνεί με κανέναν ή περισσότερους χαρακτήρες) και?
(συμφωνεί με μηδέν ή με έναν μόνο χαρακτήρα). Χρησιμοποιήστε^
το για διαφυγή εάν το όνομα φακέλου ή αρχείου έχει χαρακτήρα μπαλαντέρ ή αυτόν τον χαρακτήρα διαφυγής στο εσωτερικό.Διαδρομή φακέλου χαρακτήρα μπαλαντέρ: Η διαδρομή προς τον φάκελο κάτω από το δεδομένο κοντέινερ. Εάν θέλετε να χρησιμοποιήσετε έναν χαρακτήρα μπαλαντέρ για να φιλτράρετε τον φάκελο, παραλείψτε αυτήν τη ρύθμιση και καθορίστε αυτές τις πληροφορίες στις ρυθμίσεις προέλευσης δραστηριότητας.
Όνομα αρχείου μπαλαντέρ: Το όνομα αρχείου κάτω από τη δεδομένη μη διαχειριζόμενη περιοχή Lakehouse (στην περιοχή Αρχεία) και τη διαδρομή φακέλου.
Λίστα αρχείων: Υποδεικνύει την αντιγραφή ενός συγκεκριμένου συνόλου αρχείων.
- Διαδρομή φακέλου: Παραπέμπει σε έναν φάκελο που περιλαμβάνει αρχεία που θέλετε να αντιγράψετε.
- Διαδρομή προς τη λίστα αρχείων: Παραπέμπει σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα με τα αρχεία που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή, που είναι η σχετική διαδρομή προς τη διαδρομή αρχείου που έχει ρυθμιστεί.
Αναδρομικά: Υποδεικνύει εάν τα δεδομένα διαβάζονται αναδρομικά από τους υποφακέλους ή μόνο από τον καθορισμένο φάκελο. Εάν ενεργοποιηθεί, όλα τα αρχεία στον φάκελο εισόδου και τους υποφακέλους του επεξεργάζονται αναδρομικά. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων.
Μορφή αρχείου: Επιλέξτε τη μορφή αρχείου σας από την αναπτυσσόμενη λίστα. Επιλέξτε το κουμπί Ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της μορφής αρχείου. Για ρυθμίσεις διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
- Φιλτράρισμα κατά τελευταία τροποποίηση: Τα αρχεία φιλτράρονται με βάση τις ημερομηνίες τελευταίας τροποποίησης. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων.
- Ώρα έναρξης: Τα αρχεία επιλέγονται εάν ο τελευταίος τροποποιημένος χρόνος τους είναι μεγαλύτερος ή ίσος με τον καθορισμένο χρόνο.
- Ώρα λήξης: Τα αρχεία επιλέγονται εάν η ώρα τελευταίας τροποποίησης είναι μικρότερη από τη ρυθμισμένη ώρα.
- Ενεργοποίηση εντοπισμού διαμερίσματος: Για τα αρχεία που διαμερίζονται, καθορίστε αν θέλετε να αναλύσετε τα διαμερίσματα από τη διαδρομή αρχείου και να τα προσθέσετε ως επιπλέον στήλες προέλευσης.
- Ριζική διαδρομή διαμερίσματος: Όταν είναι ενεργοποιημένος ο εντοπισμός διαμερίσματος, καθορίστε την απόλυτη διαδρομή ρίζας για να διαβάσετε τους διαμερισμένους φακέλους ως στήλες δεδομένων.
- Μέγιστες ταυτόχρονες συνδέσεις: Υποδεικνύει το ανώτατο όριο ταυτόχρονων συνδέσεων που δημιουργούνται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις.
- Φιλτράρισμα κατά τελευταία τροποποίηση: Τα αρχεία φιλτράρονται με βάση τις ημερομηνίες τελευταίας τροποποίησης. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων.
Προορισμός
Οι παρακάτω ιδιότητες υποστηρίζονται για το Lakehouse στην καρτέλα Προορισμός μιας δραστηριότητας αντιγραφής.
Απαιτούνται οι ακόλουθες ιδιότητες:
Σύνδεση: Επιλέξτε μια σύνδεση Lakehouse από τη λίστα συνδέσεων. Εάν δεν υπάρχει σύνδεση, τότε δημιουργήστε μια νέα σύνδεση Lakehouse επιλέγοντας Περισσότερα στο κάτω μέρος της λίστας συνδέσεων. Εάν εφαρμόσετε Χρήση δυναμικού περιεχομένου για να καθορίσετε το Lakehouse, προσθέστε μια παράμετρο και καθορίστε το αναγνωριστικό αντικειμένου Lakehouse ως τιμή παραμέτρου. Για να λάβετε το αναγνωριστικό αντικειμένου Lakehouse, ανοίξτε το Lakehouse στον χώρο εργασίας σας και το αναγνωριστικό θα εμφανιστεί
/lakehouses/
στη διεύθυνση URL.Ριζικός φάκελος: Επιλέξτε Πίνακες ή Αρχεία, το οποίο υποδεικνύει την εικονική προβολή της διαχειριζόμενης ή μη διαχειριζόμενης περιοχής στη λίμνη σας. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Εισαγωγή στο Lakehouse.
Εάν επιλέξετε Πίνακες:
Όνομα πίνακα: Επιλέξτε έναν υπάρχοντα πίνακα από τη λίστα πινάκων ή καθορίστε ένα όνομα πίνακα ως προορισμό. Εναλλακτικά, μπορείτε να επιλέξετε Δημιουργία για να δημιουργήσετε έναν νέο πίνακα.
Πίνακας: Όταν εφαρμόζετε το Lakehouse με σχήματα στη σύνδεση, επιλέξτε έναν υπάρχοντα πίνακα με ένα σχήμα από τη λίστα πινάκων ή καθορίστε έναν πίνακα με σχήμα ως προορισμό. Εναλλακτικά, μπορείτε να επιλέξετε Δημιουργία για να δημιουργήσετε έναν νέο πίνακα με ένα σχήμα. Εάν δεν καθορίσετε ένα όνομα σχήματος, η υπηρεσία θα χρησιμοποιήσει το dbo ως το προεπιλεγμένο σχήμα.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
Ενέργειες πίνακα: Καθορίστε τη λειτουργία σε σχέση με τον επιλεγμένο πίνακα.
Προσάρτηση: Προσαρτήστε νέες τιμές σε υπάρχοντα πίνακα.
- Ενεργοποίηση διαμερίσματος: Αυτή η επιλογή σάς επιτρέπει να δημιουργείτε διαμερίσματα σε μια δομή φακέλου που βασίζεται σε μία ή πολλές στήλες. Κάθε διακριτή τιμή στήλης (ζεύγος) είναι ένα νέο διαμέρισμα. Για παράδειγμα, "year=2000/month=01/file".
- Όνομα στήλης διαμερίσματος: Επιλέξτε από τις στήλες προορισμού στην αντιστοίχιση σχημάτων κατά την προσάρτηση δεδομένων σε έναν νέο πίνακα. Όταν προσαρτάτε δεδομένα σε έναν υπάρχοντα πίνακα που έχει ήδη διαμερίσματα, οι στήλες διαμερίσματος προέρχονται αυτόματα από τον υπάρχοντα πίνακα. Οι υποστηριζόμενοι τύποι δεδομένων είναι συμβολοσειρά, ακέραιος, δυαδική τιμή και ημερομηνία/ώρα. Η μορφοποίηση σέβεται τις ρυθμίσεις μετατροπής τύπου στην καρτέλα Αντιστοίχιση .
- Ενεργοποίηση διαμερίσματος: Αυτή η επιλογή σάς επιτρέπει να δημιουργείτε διαμερίσματα σε μια δομή φακέλου που βασίζεται σε μία ή πολλές στήλες. Κάθε διακριτή τιμή στήλης (ζεύγος) είναι ένα νέο διαμέρισμα. Για παράδειγμα, "year=2000/month=01/file".
Αντικατάσταση: Αντικαταστήστε τα υπάρχοντα δεδομένα και το σχήμα στον πίνακα χρησιμοποιώντας τις νέες τιμές. Εάν επιλεγεί αυτή η λειτουργία, μπορείτε να ενεργοποιήσετε το διαμέρισμα στον πίνακα προορισμού σας:
- Ενεργοποίηση διαμερίσματος: Αυτή η επιλογή σάς επιτρέπει να δημιουργείτε διαμερίσματα σε μια δομή φακέλου που βασίζεται σε μία ή πολλές στήλες. Κάθε διακριτή τιμή στήλης (ζεύγος) είναι ένα νέο διαμέρισμα. Για παράδειγμα, "year=2000/month=01/file".
- Όνομα στήλης διαμερίσματος: Επιλέξτε από τις στήλες προορισμού στην αντιστοίχιση σχημάτων. Οι υποστηριζόμενοι τύποι δεδομένων είναι συμβολοσειρά, ακέραιος, δυαδική τιμή και ημερομηνία/ώρα. Η μορφοποίηση σέβεται τις ρυθμίσεις μετατροπής τύπου στην καρτέλα Αντιστοίχιση .
Υποστηρίζει ταξίδια χρόνου στο Delta Lake. Ο αντικατασταθείς πίνακας έχει αρχεία καταγραφής δέλτα για τις προηγούμενες εκδόσεις, στα οποία μπορείτε να αποκτήσετε πρόσβαση στο Lakehouse σας. Μπορείτε επίσης να αντιγράψετε τον προηγούμενο πίνακα έκδοσης από το Lakehouse, καθορίζοντας την Έκδοση στην προέλευση δραστηριότητας αντιγραφής.
- Ενεργοποίηση διαμερίσματος: Αυτή η επιλογή σάς επιτρέπει να δημιουργείτε διαμερίσματα σε μια δομή φακέλου που βασίζεται σε μία ή πολλές στήλες. Κάθε διακριτή τιμή στήλης (ζεύγος) είναι ένα νέο διαμέρισμα. Για παράδειγμα, "year=2000/month=01/file".
Μέγιστες ταυτόχρονες συνδέσεις: Το ανώτατο όριο ταυτόχρονων συνδέσεων που δημιουργούνται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις.
Υποστηρίζεται η έκδοση 2 του συντάκτη. Μπορείτε να βρείτε τις αντίστοιχες υποστηριζόμενες δυνατότητες του Delta Lake σε αυτό το άρθρο.
Εάν επιλέξετε Αρχεία:
Διαδρομή αρχείου: Επιλέξτε Αναζήτηση για να επιλέξετε το αρχείο που θέλετε να αντιγράψετε ή συμπληρώστε τη διαδρομή με μη αυτόματο τρόπο.
Μορφή αρχείου: Επιλέξτε τη μορφή αρχείου σας από την αναπτυσσόμενη λίστα. Επιλέξτε Ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της μορφής αρχείου. Για ρυθμίσεις διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
Συμπεριφορά αντιγραφής: Καθορίζει τη συμπεριφορά αντιγραφής όταν η προέλευση είναι αρχεία από έναν χώρο αποθήκευσης δεδομένων που βασίζεται σε αρχείο. Μπορείτε να επιλέξετε Μετατροπή ιεραρχίας σε επίπεδη δομή, Συγχώνευση αρχείων, Διατήρηση ιεραρχίας ή Προσθήκη δυναμικού περιεχομένου ως συμπεριφορά αντιγραφής. Η ρύθμιση παραμέτρων κάθε ρύθμισης είναι:
Μετατροπή ιεραρχίας σε επίπεδη δομή: Όλα τα αρχεία από τον φάκελο προέλευσης βρίσκονται στο πρώτο επίπεδο του φακέλου προορισμού. Τα αρχεία προορισμού έχουν ονόματα που δημιουργούνται αυτόματα.
Συγχώνευση αρχείων: Συγχωνεύει όλα τα αρχεία από τον φάκελο προέλευσης σε ένα αρχείο. Εάν καθοριστεί το όνομα αρχείου, το όνομα του συγχωνευμένο αρχείου είναι το καθορισμένο όνομα. Διαφορετικά, πρόκειται για ένα όνομα αρχείου που δημιουργείται αυτόματα.
Διατήρηση ιεραρχίας: Διατηρεί την ιεραρχία αρχείων στον φάκελο προορισμού. Η σχετική διαδρομή ενός αρχείου προέλευσης στον φάκελο προέλευσης είναι ίδια με τη σχετική διαδρομή ενός αρχείου προορισμού με τον φάκελο προορισμού.
Προσθήκη δυναμικού περιεχομένου: Για να καθορίσετε μια παράσταση για μια τιμή ιδιότητας, επιλέξτε Προσθήκη δυναμικού περιεχομένου. Αυτό το πεδίο ανοίγει το εργαλείο δόμησης παραστάσεων όπου μπορείτε να δημιουργήσετε παραστάσεις από υποστηριζόμενες μεταβλητές συστήματος, έξοδο δραστηριότητας, συναρτήσεις και μεταβλητές ή παραμέτρους που καθορίζονται από τον χρήστη. Για περισσότερες πληροφορίες σχετικά με τη γλώσσα παράστασης, μεταβείτε στις Παραστάσεις και συναρτήσεις.
Μέγιστες ταυτόχρονες συνδέσεις: Το ανώτατο όριο ταυτόχρονων συνδέσεων που δημιουργούνται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις.
Μέγεθος μπλοκ (MB): Καθορίστε το μέγεθος μπλοκ σε MB κατά την εγγραφή δεδομένων στο Lakehouse. Η επιτρεπόμενη τιμή είναι μεταξύ 4 MB και 100 MB.
Μετα-δεδομένα: Ορίστε προσαρμοσμένα μετα-δεδομένα κατά την αντιγραφή στον χώρο αποθήκευσης δεδομένων προορισμού. Κάθε αντικείμενο κάτω από τον
metadata
πίνακα αντιπροσωπεύει μια επιπλέον στήλη. Ηname
καθορίζει το όνομα κλειδιού μετα-δεδομένων και υποδεικνύει τηνvalue
τιμή δεδομένων αυτού του κλειδιού. Εάν χρησιμοποιηθεί η δυνατότητα διατήρησης χαρακτηριστικών, τα καθορισμένα μετα-δεδομένα θα ενωθούν/αντικαταστήσουν με τα μετα-δεδομένα του αρχείου προέλευσης. Οι επιτρεπόμενες τιμές δεδομένων είναι οι εξής:
Αντιστοίχιση
Για τη ρύθμιση παραμέτρων της καρτέλας Αντιστοίχιση , εάν δεν εφαρμόσετε τον πίνακα Lakehouse ως χώρο αποθήκευσης δεδομένων προορισμού, μεταβείτε στην Αντιστοίχιση.
Εάν εφαρμόσετε τον πίνακα Lakehouse ως χώρο αποθήκευσης δεδομένων προορισμού, εκτός από τη ρύθμιση παραμέτρων στην Αντιστοίχιση, μπορείτε να επεξεργαστείτε τον τύπο για τις στήλες προορισμού σας. Αφού επιλέξετε Εισαγωγή σχημάτων, μπορείτε να καθορίσετε τον τύπο στήλης στον προορισμό σας.
Για παράδειγμα, ο τύπος για τη στήλη PersonID στην προέλευση είναι ενσωματωμένος και μπορείτε να τον αλλάξετε σε τύπο συμβολοσειράς κατά την αντιστοίχιση σε στήλη προορισμού.
Σημείωμα
Η επεξεργασία του τύπου προορισμού αυτήν τη στιγμή δεν υποστηρίζεται όταν η προέλευσή σας είναι δεκαδικός τύπος.
Εάν επιλέξετε Δυαδική τιμή ως μορφή αρχείου, η αντιστοίχιση δεν υποστηρίζεται.
Ρυθμίσεις
Για τη ρύθμιση παραμέτρων της καρτέλας Ρυθμίσεις , μεταβείτε στις Ρυθμίσεις.
Σύνοψη πίνακα
Οι ακόλουθοι πίνακες περιέχουν περισσότερες πληροφορίες σχετικά με μια δραστηριότητα αντιγραφής στο Lakehouse.
Πληροφορίες προέλευσης
Ονομασία | Περιγραφή | Τιμή | Απαραίτητο | Ιδιότητα δέσμης ενεργειών JSON |
---|---|---|---|---|
Σύνδεση | Την ενότητα για να επιλέξετε τη σύνδεσή σας. | < τη σύνδεσή σας στο Lakehouse> | Όχι | workspaceId artifactId |
Ριζικός φάκελος | Ο τύπος του ριζικού φακέλου. | • Πίνακες • Αρχεία |
Όχι | rootFolder: Πίνακας ή αρχεία |
Όνομα πίνακα | Το όνομα του πίνακα που θέλετε να διαβάσετε δεδομένα. | <το όνομα του πίνακά σας> | Ναι, όταν επιλέγετε Πίνακες στον ριζικό φάκελο | πίνακας |
Πίνακας | Το όνομα του πίνακα με ένα σχήμα που θέλετε να διαβάζετε δεδομένα όταν εφαρμόζετε το Lakehouse με σχήματα ως σύνδεση. | <ο πίνακάς σας με ένα σχήμα> | Ναι, όταν επιλέγετε Πίνακες στον ριζικό φάκελο | / |
Για πίνακα | ||||
όνομα σχήματος | Το όνομα του σχήματος. | <το όνομα σχήματος> (η προεπιλογή είναι dbo) |
Όχι | (στην περιοχή source ->datasetSettings ->typeProperties )σχήμα |
όνομα πίνακα | Το όνομα του πίνακα. | <το όνομα του πίνακά σας> | Όχι | πίνακας |
Χρονική σήμανση | Η χρονική σήμανση για την υποβολή ερωτήματος σε ένα παλαιότερο στιγμιότυπο. | <Χρονική σήμανση> | Όχι | timestampAsOf |
Έκδοση | Η έκδοση για την υποβολή ερωτήματος σε ένα παλαιότερο στιγμιότυπο. | <εκδοχή> | Όχι | versionAsOf |
Πρόσθετες στήλες | Πρόσθετες στήλες δεδομένων για την αποθήκευση της σχετικής διαδρομής ή της στατικής τιμής των αρχείων προέλευσης. Η παράσταση υποστηρίζεται για το τελευταίο. | • Πλήρες όνομα •Τιμή |
Όχι | πρόσθετες στηλών: •Όνομα •τιμή |
Τύπος διαδρομής αρχείου | Ο τύπος της διαδρομής αρχείου που χρησιμοποιείτε. | • Διαδρομή αρχείου • Διαδρομή αρχείου χαρακτήρα μπαλαντέρ • Λίστα αρχείων |
Ναι, όταν επιλέγετε Αρχεία στον ριζικό φάκελο | / |
Διαδρομή αρχείου | Αντιγράψτε από τη διαδρομή σε έναν φάκελο/αρχείο στην περιοχή χώρος αποθήκευσης δεδομένων προέλευσης. | <διαδρομή αρχείου> | Ναι, όταν επιλέγετε Τη διαδρομή αρχείου | • folderPath •Όνομα_αρχείου |
Διαδρομές χαρακτήρα μπαλαντέρ | Η διαδρομή φακέλου με χαρακτήρες μπαλαντέρ κάτω από τον χώρο αποθήκευσης δεδομένων προέλευσης έχει ρυθμιστεί για το φιλτράρισμα φακέλων προέλευσης. | <διαδρομές χαρακτήρα μπαλαντέρ> | Ναι, όταν επιλέγετε τη διαδρομή αρχείου Χαρακτήρα μπαλαντέρ | • wildcardFolderPath • χαρακτήρας μπαλαντέρΑρχείου |
Διαδρομή φακέλου | Παραπέμπει σε έναν φάκελο που περιλαμβάνει αρχεία που θέλετε να αντιγράψετε. | <διαδρομή φακέλου> | Όχι | folderPath |
Διαδρομή προς λίστα αρχείων | Υποδεικνύει την αντιγραφή ενός συγκεκριμένου συνόλου αρχείων. Κατευθύνετε σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα των αρχείων που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή, το οποίο είναι η σχετική διαδρομή προς τη διαδρομή που έχει ρυθμιστεί. | <διαδρομή στη λίστα αρχείων> | Όχι | fileListPath |
Αναδρομικά | Επεξεργαστείτε όλα τα αρχεία στον φάκελο εισόδου και τους υποφακέλους του αναδρομικά ή μόνο αυτά που βρίσκονται στον επιλεγμένο φάκελο. Αυτή η ρύθμιση απενεργοποιείται όταν επιλέγεται ένα μεμονωμένο αρχείο. | επιλογή ή κατάργηση επιλογής | Όχι | Αναδρομικό: true ή false |
Μορφή αρχείου | Η μορφή αρχείου για τα δεδομένα προέλευσής σας. Για τις πληροφορίες διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες. | / | Ναι, όταν επιλέγετε Αρχεία στον ριζικό φάκελο | / |
Φιλτράρισμα κατά τελευταία τροποποίηση | Τα αρχεία με την ώρα τελευταίας τροποποίησης στην περιοχή [Ώρα έναρξης, Ώρα λήξης) θα φιλτραριστούν για περαιτέρω επεξεργασία. Η ώρα εφαρμόζεται στη ζώνη ώρας UTC με τη μορφή yyyy-mm-ddThh:mm:ss.fffZ .Μπορείτε να παραλείψετε αυτή την ιδιότητα, το οποίο σημαίνει ότι δεν εφαρμόζεται φίλτρο χαρακτηριστικού αρχείου. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων. |
• Ώρα έναρξης • Ώρα λήξης |
Όχι | modifiedDatetimeStart modifiedDatetimeEnd |
Ενεργοποίηση εντοπισμού διαμερίσματος | Εάν θέλετε να αναλύσετε τα διαμερίσματα από τη διαδρομή αρχείου και να τα προσθέσετε ως επιπλέον στήλες προέλευσης. | Επιλεγμένα ή μη επιλεγμένα | Όχι | enablePartitionDiscovery: true ή false (προεπιλογή) |
Ριζική διαδρομή διαμερίσματος | Η απόλυτη ριζική διαδρομή διαμερίσματος για την ανάγνωση διαμειωμένων φακέλων ως στήλες δεδομένων. | <η ριζική διαδρομή του διαμερίσματός σας> | Όχι | partitionRootPath |
Μέγιστος αριθμός ταυτόχρονων συνδέσεων | Το ανώτατο όριο ταυτόχρονων συνδέσεων που καθορίζονται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Μια τιμή απαιτείται μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις. | <μέγιστες ταυτόχρονες συνδέσεις> | Όχι | maxConcurrentConnections |
Πληροφορίες προορισμού
Ονομασία | Περιγραφή | Τιμή | Απαραίτητο | Ιδιότητα δέσμης ενεργειών JSON |
---|---|---|---|---|
Σύνδεση | Την ενότητα για να επιλέξετε τη σύνδεσή σας. | < τη σύνδεσή σας στο Lakehouse> | Όχι | workspaceId artifactId |
Ριζικός φάκελος | Ο τύπος του ριζικού φακέλου. | • Πίνακες • Αρχεία |
Όχι | rootFolder: Πίνακας ή αρχεία |
Όνομα πίνακα | Το όνομα του πίνακα στον οποίο θέλετε να γράψετε δεδομένα. | <το όνομα του πίνακά σας> | Ναι, όταν επιλέγετε Πίνακες στον ριζικό φάκελο | πίνακας |
Πίνακας | Το όνομα του πίνακα με ένα σχήμα στο οποίο θέλετε να γράψετε δεδομένα όταν εφαρμόζετε το Lakehouse με σχήματα ως σύνδεση. | <ο πίνακάς σας με ένα σχήμα> | Ναι, όταν επιλέγετε Πίνακες στον ριζικό φάκελο | / |
Για πίνακα | ||||
όνομα σχήματος | Το όνομα του σχήματος. | <το όνομα σχήματος> (η προεπιλογή είναι dbo) |
Όχι | (στην περιοχή sink ->datasetSettings ->typeProperties )σχήμα |
όνομα πίνακα | Το όνομα του πίνακα. | <το όνομα του πίνακά σας> | Όχι | πίνακας |
Ενέργεια "Πίνακας" | Προσαρτήστε νέες τιμές σε έναν υπάρχοντα πίνακα ή αντικαταστήστε τα υπάρχοντα δεδομένα και το σχήμα στον πίνακα χρησιμοποιώντας τις νέες τιμές. | • Προσάρτηση • Αντικατάσταση |
Όχι | tableActionOption: Προσάρτηση ή ΑντικατάστασηΣχήμα |
Ενεργοποίηση διαμερισμάτων | Αυτή η επιλογή σάς επιτρέπει να δημιουργήσετε διαμερίσματα σε μια δομή φακέλου που βασίζεται σε μία ή πολλές στήλες. Κάθε διακριτή τιμή στήλης (ζεύγος) είναι ένα νέο διαμέρισμα. Για παράδειγμα, "year=2000/month=01/file". | Επιλεγμένα ή μη επιλεγμένα | Όχι | partitionOption: PartitionByKey ή None |
Στήλες διαμερίσματος | Οι στήλες προορισμού στην αντιστοίχιση σχημάτων. | <οι στήλες διαμερίσματος> | Όχι | partitionNameList |
Διαδρομή αρχείου | Κάντε εγγραφή δεδομένων στη διαδρομή προς έναν φάκελο/αρχείο στην περιοχή χώρος αποθήκευσης δεδομένων προορισμού. | <διαδρομή αρχείου> | Όχι | • folderPath •Όνομα_αρχείου |
Μορφή αρχείου | Η μορφή αρχείου για τα δεδομένα προορισμού σας. Για τις πληροφορίες διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες. | / | Ναι, όταν επιλέγετε Αρχεία στον ριζικό φάκελο | / |
Συμπεριφορά αντιγραφής | Η συμπεριφορά αντιγραφής που ορίζεται όταν η προέλευση είναι αρχεία από έναν χώρο αποθήκευσης δεδομένων που βασίζεται σε αρχεία. | • Μετατροπή της ιεραρχίας σε επίπεδη δομή • Συγχώνευση αρχείων • Διατήρηση ιεραρχίας • Προσθήκη δυναμικού περιεχομένου |
Όχι | copyBehavior: • FlattenHierarchy • MergeFiles • ΔιατήρησηHierarchy |
Μέγιστος αριθμός ταυτόχρονων συνδέσεων | Το ανώτατο όριο ταυτόχρονων συνδέσεων που καθορίζονται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις. | <μέγιστες ταυτόχρονες συνδέσεις> | Όχι | maxConcurrentConnections |
Μέγεθος μπλοκ (MB) | Το μέγεθος μπλοκ σε MB που χρησιμοποιείται για την εγγραφή δεδομένων στο Lakehouse. Η επιτρεπόμενη τιμή είναι μεταξύ 4 MB και 100 MB. | <μέγεθος μπλοκ> | Όχι | blockSizeInMB |
Μετα-δεδομένα | Τα προσαρμοσμένα μετα-δεδομένα που έχουν οριστεί κατά την αντιγραφή σε έναν προορισμό. | • $$LASTMODIFIED •Έκφραση • Στατική τιμή |
Όχι | μετα-δεδομένα |