Ρύθμιση παραμέτρων FTP σε δραστηριότητα αντιγραφής
Αυτό το άρθρο περιγράφει τον τρόπο χρήσης της δραστηριότητας αντιγραφής στη διοχέτευση δεδομένων για την αντιγραφή δεδομένων από το FTP.
Υποστηριζόμενη μορφή
Το FTP υποστηρίζει τις ακόλουθες μορφές αρχείων. Ανατρέξτε σε κάθε άρθρο για ρυθμίσεις που βασίζονται σε μορφές.
- Μέση μορφή
- Δυαδική μορφή
- Οριοθετημένη μορφή κειμένου
- Μορφή Excel
- Μορφή JSON
- Μορφή ORC
- Μορφή parquet
- Μορφή XML
Υποστηριζόμενη ρύθμιση παραμέτρων
Για τη ρύθμιση παραμέτρων κάθε καρτέλας στην περιοχή δραστηριότητα αντιγραφής, μεταβείτε στις ακόλουθες ενότητες αντίστοιχα.
Γενικές
Ανατρέξτε στην καθοδήγηση Γενικές ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της καρτέλας Γενικές ρυθμίσεις.
Πηγή
Μεταβείτε στην καρτέλα Προέλευση για να ρυθμίσετε τις παραμέτρους της προέλευσης δραστηριότητας αντιγραφής. Ανατρέξτε στο παρακάτω περιεχόμενο για τις λεπτομερείς ρυθμίσεις παραμέτρων.
Απαιτούνται οι ακόλουθες τρεις ιδιότητες:
Τύπος χώρου αποθήκευσης δεδομένων: Επιλέξτε Εξωτερικός.
Σύνδεση ion: Επιλέξτε μια σύνδεση FTP από τη λίστα συνδέσεων. Εάν δεν υπάρχει σύνδεση, δημιουργήστε μια νέα σύνδεση FTP επιλέγοντας Νέα.
Τύπος διαδρομής αρχείου: Επιλέξτε από τη Διαδρομή αρχείου, τη διαδρομή του αρχείου Χαρακτήρα μπαλαντέρ και τη Λίστα αρχείων με βάση τον τρόπο ανάγνωσης των αρχείων.
Διαδρομή αρχείου: Εάν επιλέξετε αυτόν τον τύπο, καθορίστε τη διαδρομή του αρχείου προέλευσης. Μπορείτε να επιλέξετε Αναζήτηση για να επιλέξετε τα αρχεία προέλευσης ή να εισαγάγετε τη διαδρομή του αρχείου με μη αυτόματο τρόπο.
Άγρια διαδρομή αρχείου: Εάν επιλέξετε αυτόν τον τύπο, καθορίστε τις διαδρομές Μπαλαντέρ για να φιλτράρετε τους φακέλους ή τα αρχεία προέλευσης.
Οι επιτρεπόμενοι χαρακτήρες μπαλαντέρ είναι
*(συμφωνεί με κανέναν ή περισσότερους χαρακτήρες) και?(συμφωνεί με μηδέν ή με έναν μόνο χαρακτήρα). Χρησιμοποιήστε^το για διαφυγή εάν το όνομα φακέλου σας έχει έναν χαρακτήρα μπαλαντέρ ή αυτόν τον χαρακτήρα διαφυγής μέσα. Για περισσότερα παραδείγματα, μεταβείτε στα παραδείγματα φίλτρου φακέλων και αρχείων.
Διαδρομή φακέλου χαρακτήρα μπαλαντέρ: Καθορίστε τη διαδρομή φακέλου με χαρακτήρες μπαλαντέρ για να φιλτράρετε τους φακέλους προέλευσης.
Όνομα αρχείου χαρακτήρα μπαλαντέρ: Καθορίστε το όνομα αρχείου με χαρακτήρες μπαλαντέρ κάτω από τον δεδομένο φάκελο Διαδρομή/φάκελος μπαλαντέρ για να φιλτράρετε τα αρχεία προέλευσης.
Λίστα αρχείων: Εάν επιλέξετε αυτόν τον τύπο, καθορίστε τη Διαδρομή φακέλου και τη λίστα Διαδρομή προς αρχείο για να υποδείξετε ότι θέλετε να αντιγράψετε ένα συγκεκριμένο σύνολο αρχείων. Κατευθύνετε σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα των αρχείων που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή. Για περισσότερα παραδείγματα, μεταβείτε στα Παραδείγματα λίστας αρχείων.
Διαδρομή φακέλου: Καθορίστε τη διαδρομή προς τον φάκελο προέλευσης. Είναι υποχρεωτικό.
Διαδρομή προς τη λίστα αρχείων: Καθορίστε τη διαδρομή του αρχείου κειμένου που περιλαμβάνει μια λίστα με τα αρχεία που θέλετε να αντιγράψετε.
Μορφή αρχείου: Επιλέξτε τη μορφή αρχείου που εφαρμόζεται από την αναπτυσσόμενη λίστα. Επιλέξτε Ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της μορφής αρχείου. Για ρυθμίσεις διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
Φιλτράρισμα κατά τελευταία τροποποίηση: Τα αρχεία φιλτράρονται με βάση τις ημερομηνίες τελευταίας τροποποίησης. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων.
- Ώρα έναρξης (UTC): Τα αρχεία επιλέγονται εάν ο τελευταίος τροποποιημένος χρόνος τους είναι μεγαλύτερος ή ίσος με τη ρυθμισμένη ώρα.
- Ώρα λήξης (UTC): Τα αρχεία επιλέγονται εάν ο τελευταίος τροποποιημένος χρόνος τους είναι μικρότερος από τον καθορισμένο χρόνο.
Όταν η ώρα έναρξης (UTC) έχει τιμή ημερομηνίας/ώρας, αλλά η Ώρα λήξης (UTC) είναι NULL, αυτό σημαίνει ότι τα αρχεία των οποίων το χαρακτηριστικό τελευταίας τροποποίησης είναι μεγαλύτερο από ή ίσο με την τιμή ημερομηνίας/ώρας θα επιλεγούν. Όταν η Ώρα λήξης (UTC) έχει τιμή ημερομηνίας/ώρας, αλλά η Ώρα έναρξης (UTC) είναι NULL, αυτό σημαίνει ότι τα αρχεία των οποίων το χαρακτηριστικό τελευταίας τροποποίησης είναι μικρότερο από την τιμή ημερομηνίας/ώρας θα επιλεγούν. Οι ιδιότητες μπορεί να είναι NULL, το οποίο σημαίνει ότι δεν θα εφαρμοστεί φίλτρο χαρακτηριστικού αρχείου στα δεδομένα.
Απενεργοποίηση τμήματος: Το μπλοκ έχει σχεδιαστεί για τη βελτιστοποίηση της απόδοσης και συμβαίνει από κάτω. Αυτή η επιλογή σάς επιτρέπει να απενεργοποιήσετε το chunking μέσα σε κάθε αρχείο. Κατά την αντιγραφή δεδομένων από το FTP, η υπηρεσία προσπαθεί να λάβει πρώτα το μήκος του αρχείου και, στη συνέχεια, να διαιρέσει το αρχείο σε πολλαπλά μέρη και να τα διαβάσει παράλληλα. Καθορίστε αν ο διακομιστής FTP υποστηρίζει τη λήψη του μήκους του αρχείου ή την αναζήτηση για ανάγνωση από μια συγκεκριμένη μετατόπιση. Δεν είναι επιλεγμένο από προεπιλογή.
Ενεργοποίηση εντοπισμού διαμερίσματος: Καθορίστε εάν θα αναλυθούν τα διαμερίσματα από τη διαδρομή αρχείου και θα προστεθούν ως πρόσθετες στήλες προέλευσης. Δεν είναι επιλεγμένο από προεπιλογή και δεν υποστηρίζεται όταν χρησιμοποιείτε δυαδική μορφή αρχείου.
Ριζική διαδρομή διαμερίσματος: Όταν είναι ενεργοποιημένος ο εντοπισμός διαμερίσματος, καθορίστε την απόλυτη διαδρομή ρίζας για να διαβάσετε τους διαμερισμένους φακέλους ως στήλες δεδομένων.
Εάν δεν καθορίζεται, από προεπιλογή,- Όταν χρησιμοποιείτε τη διαδρομή αρχείου ή μια λίστα αρχείων στην προέλευση, η διαδρομή ρίζας διαμερίσματος είναι η διαδρομή που ρυθμίσατε.
- Όταν χρησιμοποιείτε φίλτρο φακέλου μπαλαντέρ, η διαδρομή ρίζας διαμερίσματος είναι η δευτερεύουσα διαδρομή πριν από τον πρώτο χαρακτήρα μπαλαντέρ.
Για παράδειγμα, υποθέτοντας ότι ρυθμίζετε τη διαδρομή ως
root/folder/year=2020/month=08/day=27:- Εάν καθορίσετε τη διαδρομή ρίζας διαμερίσματος ως
root/folder/year=2020, η δραστηριότητα αντιγραφής θα δημιουργήσει δύο ακόμα στήλες μήνα και ημέρα με τιμή "08" και "27" αντίστοιχα, επιπλέον των στηλών μέσα στα αρχεία. - Εάν δεν έχει καθοριστεί διαδρομή ρίζας διαμερίσματος, δεν θα δημιουργηθεί καμία επιπλέον στήλη.
Χρήση δυαδικής μεταφοράς: Καθορίστε εάν θα χρησιμοποιείται η λειτουργία δυαδικής μεταφοράς. Επιλέξτε το για να χρησιμοποιήσετε τη δυαδική λειτουργία (προεπιλογή) ή καταργήστε την επιλογή της για χρήση του ASCII.
Μέγιστες ταυτόχρονες συνδέσεις: Αυτή η ιδιότητα υποδεικνύει το ανώτατο όριο ταυτόχρονων συνδέσεων που δημιουργούνται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις.
Πρόσθετες στήλες: Προσθέστε επιπλέον στήλες δεδομένων για να αποθηκεύσετε τη σχετική διαδρομή ή τη στατική τιμή αρχείων προέλευσης. Η παράσταση υποστηρίζεται για το τελευταίο. Για περισσότερες πληροφορίες, μεταβείτε στην προσθήκη επιπλέον στηλών κατά την αντιγραφή.
Αντιστοίχιση
Για τη ρύθμιση παραμέτρων της καρτέλας Αντιστοίχιση , ανατρέξτε στο θέμα Ρύθμιση παραμέτρων των αντιστοιχίσεων σας στην καρτέλα αντιστοίχισης. Εάν επιλέξετε Δυαδική τιμή ως μορφή αρχείου, η αντιστοίχιση δεν θα υποστηρίζεται.
Ρυθμίσεις
Για Ρυθμίσεις ρύθμιση παραμέτρων καρτέλας, μεταβείτε στην ενότητα Ρύθμιση παραμέτρων των άλλων ρυθμίσεων σας στην καρτέλα Ρυθμίσεις.
Σύνοψη πίνακα
Ο παρακάτω πίνακας περιέχει περισσότερες πληροφορίες σχετικά με τη δραστηριότητα αντιγραφής στο FTP.
Πηγή
| Ονομασία | Περιγραφή | Τιμή | Απαραίτητο | Ιδιότητα δέσμης ενεργειών JSON |
|---|---|---|---|---|
| Τύπος χώρου αποθήκευσης δεδομένων | Ο τύπος του χώρου αποθήκευσης δεδομένων σας. | Εξωτερική | Όχι | / |
| Σύνδεση ion | Η σύνδεσή σας FTP στον χώρο αποθήκευσης δεδομένων προέλευσης. | < τη σύνδεσή σας FTP > | Όχι | Σύνδεση |
| Τύπος διαδρομής αρχείου | Ο τύπος διαδρομής αρχείου που χρησιμοποιείται για τη λήψη δεδομένων προέλευσης. | • Διαδρομή αρχείου • Διαδρομή αρχείου χαρακτήρα μπαλαντέρ • Λίστα αρχείων |
Όχι | / |
| Διαδρομή αρχείου | Η διαδρομή προς το αρχείο προέλευσης. | < διαδρομή αρχείου> | Όχι | Όνομα_αρχείου διαδρομή φακέλου |
| Διαδρομές χαρακτήρα μπαλαντέρ | Η διαδρομή χαρακτήρα μπαλαντέρ στο αρχείο προέλευσης. | < η διαδρομή του αρχείου μπαλαντέρ > | Ναι για το όνομα αρχείου μπαλαντέρ | wildcardFolderPath wildcardFileName |
| Διαδρομή φακέλου | Η διαδρομή προς τον φάκελο προέλευσης. | < κοινή διαδρομή φακέλου αρχικής σελίδας> | Όχι | folderPath |
| Διαδρομή προς λίστα αρχείων | Υποδεικνύει την αντιγραφή ενός συγκεκριμένου συνόλου αρχείων. Κατευθύνετε σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα των αρχείων που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή. | < διαδρομή λίστας αρχείων > | Όχι | fileListPath |
| Μορφή αρχείου | Η μορφή αρχείου για τα δεδομένα προέλευσής σας. Για τις πληροφορίες διαφορετικών μορφών αρχείων, ανατρέξτε σε άρθρα στην Υποστηριζόμενη μορφή για λεπτομερείς πληροφορίες. | / | Όχι | / |
| Φιλτράρισμα κατά τελευταία τροποποίηση | Τα αρχεία με την ώρα τελευταίας τροποποίησης στην περιοχή [Ώρα έναρξης, Ώρα λήξης) θα φιλτραριστούν για περαιτέρω επεξεργασία. Η ώρα θα εφαρμοστεί στη ζώνη ώρας UTC με τη μορφή yyyy-mm-ddThh:mm:ss.fffZ. Μπορείτε να παραλείψετε αυτές τις ιδιότητες, το οποίο σημαίνει ότι δεν θα εφαρμοστεί φίλτρο χαρακτηριστικού αρχείου. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων. |
datetime | Όχι | modifiedDatetimeStart modifiedDatetimeEnd |
| Απενεργοποίηση τμήματος | Το τμήμα έχει σχεδιαστεί για τη βελτιστοποίηση των επιδόσεων και συμβαίνει από κάτω. Αυτή η επιλογή σάς επιτρέπει να απενεργοποιήσετε το chunking μέσα σε κάθε αρχείο. Κατά την αντιγραφή δεδομένων από το FTP, η υπηρεσία προσπαθεί να λάβει πρώτα το μήκος του αρχείου και, στη συνέχεια, να διαιρέσει το αρχείο σε πολλαπλά μέρη και να τα διαβάσει παράλληλα. Καθορίστε αν ο διακομιστής FTP υποστηρίζει τη λήψη του μήκους του αρχείου ή την αναζήτηση για ανάγνωση από μια συγκεκριμένη μετατόπιση. | επιλεγμένο ή μη επιλεγμένο (προεπιλογή) | Όχι | disableChunking: true ή false (προεπιλογή) |
| Ενεργοποίηση εντοπισμού διαμερίσματος | Υποδεικνύει εάν πρέπει να αναλύσετε τα διαμερίσματα από τη διαδρομή αρχείου και να τα προσθέσετε ως πρόσθετες στήλες προέλευσης. | επιλεγμένο ή μη επιλεγμένο (προεπιλογή) | Όχι | enablePartitionDiscovery: true ή false (προεπιλογή) |
| Ριζική διαδρομή διαμερίσματος | Η απόλυτη διαδρομή ρίζας διαμερίσματος για την ανάγνωση διαμειωμένων φακέλων ως στηλών δεδομένων. Καθορίστε το όταν είναι ενεργοποιημένος ο εντοπισμός διαμερίσματος. | < ριζική διαδρομή διαμερίσματος > | Όχι | partitionRootPath |
| Χρήση δυαδικής μεταφοράς | Υποδεικνύει εάν θα χρησιμοποιείται η λειτουργία δυαδικής μεταφοράς. Οι τιμές είναι true για δυαδική λειτουργία (προεπιλογή) και false για ASCII. | επιλεγμένο (προεπιλογή) ή μη επιλεγμένο | Όχι | useBinaryTransfer: true (προεπιλογή) ή false |
| Μέγιστος αριθμός ταυτόχρονων συνδέσεων | Το ανώτατο όριο ταυτόχρονων συνδέσεων που καθορίζονται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις. | < ανώτατο όριο ταυτόχρονων συνδέσεων > (ακέραιος) |
Όχι | maxConcurrent Σύνδεση ions |
| Πρόσθετες στήλες | Προσθέστε επιπλέον στήλες δεδομένων για να αποθηκεύσετε τη σχετική διαδρομή ή τη στατική τιμή των αρχείων προέλευσης. Η παράσταση υποστηρίζεται για το τελευταίο. Για περισσότερες πληροφορίες, μεταβείτε στην προσθήκη επιπλέον στηλών κατά την αντιγραφή | • Πλήρες όνομα •Τιμή |
Όχι | πρόσθετες στηλών: •Όνομα •Τιμή |