Ρύθμιση παραμέτρων Αρχεία Azure σε δραστηριότητα αντιγράφου
Αυτό το άρθρο περιγράφει τον τρόπο χρήσης της δραστηριότητας αντιγραφής στη διοχέτευση δεδομένων για την αντιγραφή δεδομένων από και προς Αρχεία Azure.
Υποστηριζόμενη μορφή
Αρχεία Azure υποστηρίζει τις παρακάτω μορφές αρχείων. Ανατρέξτε σε κάθε άρθρο για ρυθμίσεις που βασίζονται σε μορφές.
- Μέση μορφή
- Δυαδική μορφή
- Οριοθετημένη μορφή κειμένου
- Μορφή Excel
- Μορφή JSON
- Μορφή ORC
- Μορφή parquet
- Μορφή XML
Υποστηριζόμενη ρύθμιση παραμέτρων
Για τη ρύθμιση παραμέτρων κάθε καρτέλας στην περιοχή δραστηριότητα αντιγραφής, μεταβείτε στις ακόλουθες ενότητες αντίστοιχα.
Γενική
Ανατρέξτε στην καθοδήγηση Γενικές ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της καρτέλας Γενικές ρυθμίσεις.
Πηγή
Οι παρακάτω ιδιότητες υποστηρίζονται για Αρχεία Azure στην καρτέλα Προέλευση μιας δραστηριότητας αντιγραφής.
Απαιτούνται οι ακόλουθες ιδιότητες:
Τύπος χώρου αποθήκευσης δεδομένων: Επιλέξτε Εξωτερικός.
Σύνδεση ion: Επιλέξτε μια σύνδεση Αρχεία Azure από τη λίστα συνδέσεων. Εάν δεν υπάρχει σύνδεση, δημιουργήστε ένα νέο Αρχεία Azure σύνδεση, επιλέγοντας Δημιουργία.
Τύπος διαδρομής αρχείου: Μπορείτε να επιλέξετε Διαδρομή αρχείου, Πρόθημα, Διαδρομή αρχείου Μπαλαντέρ, Λίστα αρχείων ως τύπο διαδρομής αρχείου. Η ρύθμιση παραμέτρων κάθε ρύθμισης είναι:
Διαδρομή αρχείου: Εάν επιλέξετε αυτόν τον τύπο, τα δεδομένα μπορούν να αντιγραφούν από την καθορισμένη διαδρομή φακέλου/αρχείου.
Πρόθημα: Πρόθημα για το όνομα αρχείου κάτω από τον καθορισμένο κοινόχρηστο χώρο αρχείων για το φιλτράρισμα αρχείων προέλευσης. Τα αρχεία με όνομα που αρχίζουν από
fileshare_in_connection/this_prefixτο είναι επιλεγμένα. Χρησιμοποιεί το φίλτρο από την πλευρά της υπηρεσίας για Αρχεία Azure, το οποίο παρέχει καλύτερες επιδόσεις σε σχέση με ένα φίλτρο μπαλαντέρ.
Διαδρομή αρχείου χαρακτήρα μπαλαντέρ: Καθορίστε τη διαδρομή φακέλου ή αρχείου με χαρακτήρες μπαλαντέρ για να φιλτράρετε φακέλους προέλευσης ή αρχεία.
Οι επιτρεπόμενοι χαρακτήρες μπαλαντέρ είναι
*(συμφωνεί με κανέναν ή περισσότερους χαρακτήρες) και?(συμφωνεί με μηδέν ή με έναν μόνο χαρακτήρα). Χρησιμοποιήστε^το για διαφυγή εάν το όνομα φακέλου σας έχει έναν χαρακτήρα μπαλαντέρ ή αυτόν τον χαρακτήρα διαφυγής μέσα. Για περισσότερα παραδείγματα, μεταβείτε στα παραδείγματα φίλτρου φακέλων και αρχείων.
Διαδρομή φακέλου χαρακτήρα μπαλαντέρ: Καθορίστε τη διαδρομή φακέλου με χαρακτήρες μπαλαντέρ για να φιλτράρετε τους φακέλους προέλευσης.
Όνομα αρχείου χαρακτήρα μπαλαντέρ: Καθορίστε το όνομα αρχείου με χαρακτήρες μπαλαντέρ κάτω από τη διαδρομή φακέλου/φακέλου μπαλαντέρ που έχει ρυθμιστεί για να φιλτράρετε τα αρχεία προέλευσης.
Λίστα αρχείων: Υποδεικνύει ένα δεδομένο αρχείο στο οποίο θα αντιγραφεί. Στη λίστα Διαδρομή προς αρχείο, πληκτρολογήστε ή περιηγηθείτε σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα με τα αρχεία που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή, το οποίο είναι η σχετική διαδρομή προς κάθε αρχείο.
Όταν χρησιμοποιείτε αυτή την επιλογή, μην καθορίσετε ένα όνομα αρχείου. Για περισσότερα παραδείγματα, μεταβείτε στα Παραδείγματα λίστας αρχείων.
Διαδρομή φακέλου: Καθορίστε τη διαδρομή προς έναν φάκελο. Είναι υποχρεωτικό.
Διαδρομή προς τη λίστα αρχείων: Καθορίστε τη διαδρομή του αρχείου κειμένου που περιλαμβάνει μια λίστα με τα αρχεία που θέλετε να αντιγράψετε.
Αναδρομικά: Καθορίστε αν τα δεδομένα διαβάζονται αναδρομικά από τους υποφακέλους ή μόνο από τον καθορισμένο φάκελο. Σημειώστε ότι όταν επιλέγεται Αναδρομικά και ο προορισμός είναι χώρος αποθήκευσης βάσει αρχείου, δεν αντιγράφεται ή δημιουργείται ένας κενός φάκελος ή υποφάκελος στον προορισμό. Αυτή η ιδιότητα επιλέγεται από προεπιλογή και δεν ισχύει όταν ρυθμίζετε τις παραμέτρους της λίστας Διαδρομή σε αρχείο.
Μορφή αρχείου: Επιλέξτε τη μορφή αρχείου που εφαρμόζεται από την αναπτυσσόμενη λίστα. Επιλέξτε Ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της μορφής αρχείου. Για ρυθμίσεις διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
Φιλτράρισμα κατά τελευταία τροποποίηση: Τα αρχεία φιλτράρονται με βάση τις ημερομηνίες τελευταίας τροποποίησης. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων.
Ώρα έναρξης (UTC): Τα αρχεία επιλέγονται εάν ο τελευταίος τροποποιημένος χρόνος τους είναι μεγαλύτερος ή ίσος με τη ρυθμισμένη ώρα.
Ώρα λήξης (UTC): Τα αρχεία επιλέγονται εάν ο τελευταίος τροποποιημένος χρόνος τους είναι μικρότερος από τον καθορισμένο χρόνο.
Όταν η ώρα έναρξης (UTC) έχει τιμή ημερομηνίας/ώρας, αλλά η Ώρα λήξης (UTC) είναι NULL, αυτό σημαίνει ότι τα αρχεία των οποίων το χαρακτηριστικό τελευταίας τροποποίησης είναι μεγαλύτερο από ή ίσο με την τιμή ημερομηνίας/ώρας θα επιλεγούν. Όταν η Ώρα λήξης (UTC) έχει τιμή ημερομηνίας/ώρας, αλλά η Ώρα έναρξης (UTC) είναι NULL, αυτό σημαίνει ότι τα αρχεία των οποίων το χαρακτηριστικό τελευταίας τροποποίησης είναι μικρότερο από την τιμή ημερομηνίας/ώρας θα επιλεγούν. Οι ιδιότητες μπορεί να είναι NULL, το οποίο σημαίνει ότι δεν θα εφαρμοστεί φίλτρο χαρακτηριστικού αρχείου στα δεδομένα.
Ενεργοποίηση εντοπισμού διαμερίσματος: Καθορίστε εάν θα αναλυθούν τα διαμερίσματα από τη διαδρομή αρχείου και θα προστεθούν ως πρόσθετες στήλες προέλευσης. Δεν είναι επιλεγμένο από προεπιλογή και δεν υποστηρίζεται όταν χρησιμοποιείτε δυαδική μορφή αρχείου.
Ριζική διαδρομή διαμερίσματος: Όταν είναι ενεργοποιημένος ο εντοπισμός διαμερίσματος, καθορίστε την απόλυτη διαδρομή ρίζας για να διαβάσετε τους διαμερισμένους φακέλους ως στήλες δεδομένων.
Εάν δεν καθορίζεται, από προεπιλογή,
- Όταν χρησιμοποιείτε τη διαδρομή αρχείου ή μια λίστα αρχείων στην προέλευση, η διαδρομή ρίζας διαμερίσματος είναι η διαδρομή που ρυθμίσατε.
- Όταν χρησιμοποιείτε φίλτρο φακέλου μπαλαντέρ, η διαδρομή ρίζας διαμερίσματος είναι η δευτερεύουσα διαδρομή πριν από τον πρώτο χαρακτήρα μπαλαντέρ.
Για παράδειγμα, υποθέτοντας ότι ρυθμίζετε τη διαδρομή ως
root/folder/year=2020/month=08/day=27:- Εάν καθορίσετε τη διαδρομή ρίζας διαμερίσματος ως
root/folder/year=2020, η δραστηριότητα αντιγραφής θα δημιουργήσει δύο ακόμα στήλες μήνα και ημέρα με τιμή "08" και "27" αντίστοιχα, επιπλέον των στηλών μέσα στα αρχεία. - Εάν δεν έχει καθοριστεί διαδρομή ρίζας διαμερίσματος, δεν θα δημιουργηθεί καμία επιπλέον στήλη.
Μέγιστες ταυτόχρονες συνδέσεις: Αυτή η ιδιότητα υποδεικνύει το ανώτατο όριο ταυτόχρονων συνδέσεων που δημιουργούνται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις.
Πρόσθετες στήλες: Προσθέστε επιπλέον στήλες δεδομένων για να αποθηκεύσετε τη σχετική διαδρομή ή τη στατική τιμή αρχείων προέλευσης. Η παράσταση υποστηρίζεται για το τελευταίο.
Προορισμός
Οι παρακάτω ιδιότητες υποστηρίζονται για Αρχεία Azure στην καρτέλα Προορισμός μιας δραστηριότητας αντιγραφής.
Απαιτούνται οι ακόλουθες ιδιότητες:
- Τύπος χώρου αποθήκευσης δεδομένων: Επιλέξτε Εξωτερικός.
- Σύνδεση ion: Επιλέξτε μια Αρχεία Azure σύνδεση από τη λίστα συνδέσεων. Εάν η σύνδεση δεν υπάρχει, τότε δημιουργήστε ένα νέο Αρχεία Azure σύνδεση, επιλέγοντας Δημιουργία.
- Διαδρομή αρχείου: Επιλέξτε Αναζήτηση για να επιλέξετε το αρχείο που θέλετε να αντιγράψετε ή να συμπληρώσετε τη διαδρομή με μη αυτόματο τρόπο.
- Μορφή αρχείου: Επιλέξτε τη μορφή αρχείου που εφαρμόζεται από την αναπτυσσόμενη λίστα. Επιλέξτε Ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της μορφής αρχείου. Για ρυθμίσεις διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
Συμπεριφορά αντιγραφής: Καθορίζει τη συμπεριφορά αντιγραφής όταν η προέλευση είναι αρχεία από έναν χώρο αποθήκευσης δεδομένων που βασίζεται σε αρχείο. Μπορείτε να επιλέξετε μια συμπεριφορά από την αναπτυσσόμενη λίστα.
- Μετατροπή ιεραρχίας σε επίπεδη δομή: Όλα τα αρχεία από τον φάκελο προέλευσης βρίσκονται στο πρώτο επίπεδο του φακέλου προορισμού. Τα αρχεία προορισμού έχουν ονόματα που δημιουργούνται αυτόματα.
- Συγχώνευση αρχείων: Συγχωνεύει όλα τα αρχεία από τον φάκελο προέλευσης σε ένα αρχείο. Εάν καθοριστεί το όνομα αρχείου, το όνομα του συγχωνευμένο αρχείου είναι το καθορισμένο όνομα. Διαφορετικά, πρόκειται για ένα όνομα αρχείου που δημιουργείται αυτόματα.
- Διατήρηση ιεραρχίας: Διατηρεί την ιεραρχία αρχείων στον φάκελο προορισμού. Η σχετική διαδρομή του αρχείου προέλευσης στον φάκελο προέλευσης είναι ίδια με τη σχετική διαδρομή του αρχείου προορισμού στον φάκελο προορισμού.
Μέγιστες ταυτόχρονες συνδέσεις: Το ανώτατο όριο ταυτόχρονων συνδέσεων που δημιουργούνται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις.
Μέγιστος αριθμός γραμμών ανά αρχείο: Κατά την εγγραφή δεδομένων σε έναν φάκελο, μπορείτε να επιλέξετε να κάνετε εγγραφή σε πολλά αρχεία και να καθορίσετε τις μέγιστες γραμμές ανά αρχείο. Καθορίστε τις μέγιστες γραμμές που θέλετε να συντάξετε ανά αρχείο.
Αντιστοίχιση
Για τη ρύθμιση παραμέτρων της καρτέλας Αντιστοίχιση , μεταβείτε στην ενότητα Ρύθμιση παραμέτρων των αντιστοιχίσεων στην καρτέλα αντιστοίχισης. Εάν επιλέξετε Δυαδική τιμή ως μορφή αρχείου, η αντιστοίχιση δεν θα υποστηρίζεται.
Ρυθμίσεις
Για Ρυθμίσεις ρύθμιση παραμέτρων καρτέλας, ανατρέξτε στο θέμα Ρύθμιση παραμέτρων των άλλων ρυθμίσεων σας στην καρτέλα Ρυθμίσεις.
Σύνοψη πίνακα
Οι ακόλουθοι πίνακες περιέχουν περισσότερες πληροφορίες σχετικά με τη δραστηριότητα αντιγραφής σε Αρχεία Azure.
Πληροφορίες προέλευσης
| Ονομασία | Περιγραφή | Τιμή | Απαραίτητο | Ιδιότητα δέσμης ενεργειών JSON |
|---|---|---|---|---|
| Τύπος χώρου αποθήκευσης δεδομένων | Ο τύπος του χώρου αποθήκευσης δεδομένων σας. | Εξωτερική | Όχι | / |
| Σύνδεση ion | Η σύνδεσή σας με τον χώρο αποθήκευσης δεδομένων προέλευσης. | <τη Αρχεία Azure σύνδεσή σας> | Όχι | Σύνδεση |
| Τύπος διαδρομής αρχείου | Ο τύπος διαδρομής αρχείου που χρησιμοποιείται για τη λήψη δεδομένων προέλευσης. | • Διαδρομή αρχείου •Πρόθεμα • Διαδρομή αρχείου χαρακτήρα μπαλαντέρ • Λίστα αρχείων |
Όχι | / |
| Για τη διαδρομή αρχείου | ||||
| Κατάλογο | Η διαδρομή προς τον φάκελο. | <το όνομα του φακέλου σας> | Όχι | folderPath |
| Όνομα αρχείου | Το όνομα αρχείου κάτω από την καθορισμένη διαδρομή φακέλου. | <το όνομα του αρχείου σας> | Όχι | Όνομα_αρχείου |
| Για πρόθημα | ||||
| Πρόθεμα | Το πρόθεμα για το όνομα αρχείου κάτω από τον καθορισμένο κοινόχρηστο χώρο αρχείων για το φιλτράρισμα αρχείων προέλευσης. | <το πρόθημα> | Όχι | Πρόθεμα |
| Για τη διαδρομή αρχείου χαρακτήρα μπαλαντέρ | ||||
| Διαδρομή φακέλου χαρακτήρα μπαλαντέρ | Η διαδρομή φακέλου με χαρακτήρες μπαλαντέρ για το φιλτράρισμα φακέλων προέλευσης. | <Η διαδρομή φακέλου σας με χαρακτήρες μπαλαντέρ> | Όχι | wildcardFolderPath |
| Όνομα αρχείου χαρακτήρα μπαλαντέρ | Το όνομα αρχείου με χαρακτήρες μπαλαντέρ κάτω από τον καθορισμένο φάκελο/διαδρομή φακέλου μπαλαντέρ για το φιλτράρισμα αρχείων προέλευσης. | <το όνομα του αρχείου σας με χαρακτήρες μπαλαντέρ> | Όχι | wildcardFileName |
| Για λίστα αρχείων | ||||
| Διαδρομή φακέλου | Η διαδρομή προς τον φάκελο. | <το όνομα του φακέλου σας> | Όχι | διαδρομή φακέλου |
| Διαδρομή προς λίστα αρχείων | Υποδεικνύει την αντιγραφή ενός συγκεκριμένου συνόλου αρχείων. Κατευθύνετε σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα των αρχείων που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή. | < διαδρομή λίστας αρχείων > | Όχι | fileListPath |
| Αναδρομικά | Επεξεργαστείτε όλα τα αρχεία στον φάκελο εισόδου και τους υποφακέλους του αναδρομικά ή μόνο αυτά που βρίσκονται στον επιλεγμένο φάκελο. Αυτή η ρύθμιση απενεργοποιείται όταν επιλέγεται ένα μεμονωμένο αρχείο. | Επιλογή ή κατάργηση επιλογής | Όχι | Αναδρομικό |
| Μορφή αρχείου | Η μορφή αρχείου για τα δεδομένα προέλευσής σας. Για τις πληροφορίες διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες. | / | Όχι | / |
| Φιλτράρισμα κατά τελευταία τροποποίηση | Τα αρχεία με την ώρα τελευταίας τροποποίησης στην περιοχή [Ώρα έναρξης, Ώρα λήξης) θα φιλτραριστούν για περαιτέρω επεξεργασία. Η ώρα θα εφαρμοστεί στη ζώνη ώρας UTC με τη μορφή yyyy-mm-ddThh:mm:ss.fffZ. Μπορείτε να παραλείψετε αυτές τις ιδιότητες, το οποίο σημαίνει ότι δεν θα εφαρμοστεί φίλτρο χαρακτηριστικού αρχείου. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων. |
datetime | Όχι | modifiedDatetimeStart modifiedDatetimeEnd |
| Ενεργοποίηση εντοπισμού διαμερίσματος | Υποδεικνύει εάν πρέπει να αναλύσετε τα διαμερίσματα από τη διαδρομή αρχείου και να τα προσθέσετε ως πρόσθετες στήλες προέλευσης. | επιλεγμένο ή μη επιλεγμένο (προεπιλογή) | Όχι | enablePartitionDiscovery: true ή false (προεπιλογή) |
| Μέγιστος αριθμός ταυτόχρονων συνδέσεων | Το ανώτατο όριο ταυτόχρονων συνδέσεων που καθορίζονται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις. | <μέγιστες ταυτόχρονες συνδέσεις> | Όχι | maxConcurrent Σύνδεση ions |
| Πρόσθετες στήλες | Προσθέστε επιπλέον στήλες δεδομένων για να αποθηκεύσετε τη σχετική διαδρομή ή τη στατική τιμή των αρχείων προέλευσης. Η παράσταση υποστηρίζεται για το τελευταίο. | • Πλήρες όνομα •Τιμή |
Όχι | πρόσθετες στηλών: •Όνομα •Τιμή |
Πληροφορίες προορισμού
| Ονομασία | Περιγραφή | Τιμή | Απαραίτητο | Ιδιότητα δέσμης ενεργειών JSON |
|---|---|---|---|---|
| Τύπος χώρου αποθήκευσης δεδομένων | Ο τύπος του χώρου αποθήκευσης δεδομένων σας. | Εξωτερική | Όχι | / |
| Σύνδεση ion | Η σύνδεσή σας με τον χώρο αποθήκευσης δεδομένων προορισμού. | <η σύνδεσή σας> | Όχι | Σύνδεση |
| Διαδρομή αρχείου | Η διαδρομή φακέλου/αρχείου στο αρχείο προορισμού. | < φάκελος/διαδρομή αρχείου > | Όχι | / |
| Κατάλογο | Η διαδρομή προς τον φάκελο κάτω από τον καθορισμένο κάδο. | <το όνομα του φακέλου σας> | Όχι | διαδρομή φακέλου |
| Όνομα αρχείου | Το όνομα αρχείου κάτω από την καθορισμένη διαδρομή κάδου και φακέλου. | <το όνομα του αρχείου σας> | Όχι | Όνομα_αρχείου |
| Συμπεριφορά αντιγραφής | Καθορίζει τη συμπεριφορά αντιγραφής όταν η προέλευση είναι αρχεία από έναν χώρο αποθήκευσης δεδομένων που βασίζεται σε αρχεία. | • Μετατροπή της ιεραρχίας σε επίπεδη δομή • Συγχώνευση αρχείων • Διατήρηση ιεραρχίας |
Όχι | copyBehavior: • FlattenHierarchy • MergeFiles • ΔιατήρησηHierarchy |
| Μέγιστος αριθμός ταυτόχρονων συνδέσεων | Το ανώτατο όριο ταυτόχρονων συνδέσεων που καθορίζονται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις. | <μέγιστες ταυτόχρονες συνδέσεις> | Όχι | maxConcurrent Σύνδεση ions |
| Μέγιστος αριθμός γραμμών ανά αρχείο | Κατά την εγγραφή δεδομένων σε έναν φάκελο, μπορείτε να επιλέξετε να γράψετε σε πολλά αρχεία και να καθορίσετε τις μέγιστες γραμμές ανά αρχείο. Καθορίστε τις μέγιστες γραμμές που θέλετε να συντάξετε ανά αρχείο. | < οι μέγιστες γραμμές ανά αρχείο > | Όχι | maxRowsPerFile |