Ρύθμιση παραμέτρων Υπηρεσία αποθήκευσης Oracle Cloud σε δραστηριότητα αντιγράφου
Αυτό το άρθρο περιγράφει τον τρόπο χρήσης της δραστηριότητας αντιγραφής σε μια διοχέτευση δεδομένων για την αντιγραφή δεδομένων από oracle Cloud Υπηρεσία αποθήκευσης.
Προαπαιτούμενα στοιχεία
Για να αντιγράψετε δεδομένα από το Oracle Cloud Υπηρεσία αποθήκευσης, ανατρέξτε στο θέμα Αντικείμενο Υπηρεσία αποθήκευσης API συμβατότητας Amazon S3 για τις προϋποθέσεις και τα απαιτούμενα δικαιώματα.
Υποστηριζόμενη μορφή
Το Oracle Cloud Υπηρεσία αποθήκευσης υποστηρίζει τις ακόλουθες μορφές αρχείων. Ανατρέξτε σε κάθε άρθρο για ρυθμίσεις που βασίζονται σε μορφές.
- Μέση μορφή
- Δυαδική μορφή
- Οριοθετημένη μορφή κειμένου
- Μορφή Excel
- Μορφή JSON
- Μορφή ORC
- Μορφή parquet
- Μορφή XML
Υποστηριζόμενη ρύθμιση παραμέτρων
Για τη ρύθμιση παραμέτρων κάθε καρτέλας σε μια δραστηριότητα αντιγραφής, μεταβείτε στις ακόλουθες ενότητες:
Γενική
Για τη ρύθμιση παραμέτρων καρτέλας Γενικά , μεταβείτε στην περιοχή Γενικά.
Πηγή
Οι παρακάτω ιδιότητες υποστηρίζονται για το Oracle Cloud Υπηρεσία αποθήκευσης στην καρτέλα Προέλευση μιας δραστηριότητας αντιγραφής.
Απαιτούνται οι ακόλουθες ιδιότητες:
Τύπος χώρου αποθήκευσης δεδομένων: Επιλέξτε Εξωτερικός.
Σύνδεση ion: Επιλέξτε μια σύνδεση Oracle Cloud Υπηρεσία αποθήκευσης από τη λίστα συνδέσεων. Εάν δεν υπάρχει σύνδεση, δημιουργήστε μια νέα σύνδεση Oracle Cloud Υπηρεσία αποθήκευσης επιλέγοντας Δημιουργία.
Τύπος διαδρομής αρχείου: Μπορείτε να επιλέξετε Διαδρομή αρχείου, Πρόθημα, Διαδρομή αρχείου Μπαλαντέρ ή Λίστα αρχείων ως τύπο διαδρομής αρχείου. Η ρύθμιση παραμέτρων καθεμιάς από αυτές τις ρυθμίσεις είναι:
Διαδρομή αρχείου: Τα δεδομένα μπορούν να αντιγραφούν από τον καθορισμένο κάδο ή τη διαδρομή φακέλου/αρχείου που καθορίζεται στη Διαδρομή αρχείου.
Πρόθημα: Καθορίστε τον κάδο και το πρόθεμα.
Κάδος: Καθορίστε το όνομα κάδου Oracle Cloud Υπηρεσία αποθήκευσης. Είναι υποχρεωτικό.
Πρόθημα: Το πρόθεμα για το Oracle Cloud Υπηρεσία αποθήκευσης όνομα κλειδιού κάτω από τον καθορισμένο κάδο για το φιλτράρισμα των αρχείων προέλευσης Oracle Cloud Υπηρεσία αποθήκευσης. Το Oracle Cloud Υπηρεσία αποθήκευσης κλειδιά των οποίων ξεκινούν
given_bucket/this_prefix
τα ονόματα είναι επιλεγμένα. Χρησιμοποιεί το φίλτρο πλευράς υπηρεσίας του Oracle Cloud Υπηρεσία αποθήκευσης, το οποίο παρέχει καλύτερες επιδόσεις σε σχέση με ένα φίλτρο μπαλαντέρ.
Διαδρομή αρχείου χαρακτήρα μπαλαντέρ: Καθορίστε τις διαδρομές Κάδος και Χαρακτήρας μπαλαντέρ.
Κάδος: Καθορίστε το όνομα κάδου Oracle Cloud Υπηρεσία αποθήκευσης. Είναι υποχρεωτικό.
Διαδρομές χαρακτήρα μπαλαντέρ: Καθορίστε τη διαδρομή φακέλου ή αρχείου με χαρακτήρες μπαλαντέρ κάτω από τον καθορισμένο κάδο για να φιλτράρετε τους φακέλους ή τα αρχεία προέλευσης.
Οι επιτρεπόμενοι χαρακτήρες μπαλαντέρ είναι οι εξής:
*
(συμφωνεί με κανέναν ή περισσότερους χαρακτήρες) και?
(συμφωνεί με το μηδέν ή με έναν μόνο χαρακτήρα). Χρησιμοποιήστε^
το για διαφυγή εάν το όνομα φακέλου σας έχει έναν χαρακτήρα μπαλαντέρ ή αυτόν τον χαρακτήρα διαφυγής μέσα. Για περισσότερα παραδείγματα, μεταβείτε στα παραδείγματα φίλτρου φακέλων και αρχείων.- Διαδρομή φακέλου χαρακτήρα μπαλαντέρ: Καθορίστε τη διαδρομή φακέλου με χαρακτήρες μπαλαντέρ κάτω από τον καθορισμένο κάδο για να φιλτράρετε τους φακέλους προέλευσης.
- Όνομα αρχείου χαρακτήρα μπαλαντέρ: Καθορίστε το όνομα αρχείου με χαρακτήρες μπαλαντέρ κάτω από την καθορισμένη διαδρομή κάδου και φακέλου (ή διαδρομή φακέλου χαρακτήρα μπαλαντέρ) για να φιλτράρετε τα αρχεία προέλευσης.
Λίστα αρχείων: Καθορίστε τη διαδρομή φακέλου και τη λίστα Διαδρομή προς το αρχείο για να υποδείξετε ότι θέλετε να αντιγράψετε ένα καθορισμένο σύνολο αρχείων. Κατευθύνετε σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα των αρχείων που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή, το οποίο είναι η σχετική διαδρομή προς τη διαδρομή που έχει ρυθμιστεί. Για περισσότερα παραδείγματα, μεταβείτε στα Παραδείγματα λίστας αρχείων.
- Διαδρομή φακέλου: Καθορίστε τη διαδρομή προς τον φάκελο κάτω από τον καθορισμένο κάδο. Είναι υποχρεωτικό.
- Διαδρομή προς τη λίστα αρχείων: Καθορίστε τη διαδρομή του αρχείου κειμένου που περιλαμβάνει μια λίστα με τα αρχεία που θέλετε να αντιγράψετε.
Αναδρομικά: Υποδεικνύει εάν τα δεδομένα διαβάζονται αναδρομικά από τους υποφακέλους ή μόνο από τον καθορισμένο φάκελο. Όταν είναι επιλεγμένο αυτό το πλαίσιο ελέγχου και ο προορισμός είναι χώρος αποθήκευσης που βασίζεται σε αρχεία, δεν αντιγράφεται ή δημιουργείται ένας κενός φάκελος ή υποφάκελος στον προορισμό.
Μορφή αρχείου: Επιλέξτε τη μορφή αρχείου που εφαρμόζεται από την αναπτυσσόμενη λίστα. Επιλέξτε Ρυθμίσεις για να ρυθμίσετε τις παραμέτρους της μορφής αρχείου. Για ρυθμίσεις διαφορετικών μορφών αρχείων, ανατρέξτε στα άρθρα σε υποστηριζόμενη μορφή.
Στην περιοχή Για προχωρημένους, μπορείτε να καθορίσετε τα ακόλουθα πεδία:
Φιλτράρισμα κατά την τελευταία τροποποίηση: Τα αρχεία φιλτράρονται με βάση τις ημερομηνίες τελευταίας τροποποίησης που καθορίσατε. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων.
- Ώρα έναρξης (UTC): Τα αρχεία επιλέγονται εάν ο τελευταίος τροποποιημένος χρόνος τους είναι μεγαλύτερος ή ίσος με τη ρυθμισμένη ώρα.
- Ώρα λήξης (UTC): Τα αρχεία επιλέγονται εάν ο τελευταίος τροποποιημένος χρόνος τους είναι μικρότερος από τον καθορισμένο χρόνο.
Όταν η Ώρα έναρξης (UTC) έχει μια τιμή ημερομηνίας/ώρας, αλλά η Ώρα λήξης (UTC) είναι NULL, αυτό σημαίνει ότι τα αρχεία των οποίων το χαρακτηριστικό τελευταίας τροποποίησης είναι μεγαλύτερο ή ίσο με την τιμή ημερομηνίας/ώρας. Όταν η Ώρα λήξης (UTC) έχει μια τιμή ημερομηνίας/ώρας, αλλά η Ώρα έναρξης (UTC) είναι NULL, αυτό σημαίνει ότι τα αρχεία των οποίων το χαρακτηριστικό τελευταίας τροποποίησης είναι μικρότερο από την τιμή ημερομηνίας/ώρας που είναι επιλεγμένα. Οι ιδιότητες μπορεί να είναι NULL, το οποίο σημαίνει ότι δεν εφαρμόζεται φίλτρο χαρακτηριστικού αρχείου στα δεδομένα.
Ενεργοποίηση εντοπισμού διαμερισμάτων: Καθορίστε εάν θα αναλυθούν τα διαμερίσματα από τη διαδρομή αρχείου και θα προστεθούν ως άλλες στήλες προέλευσης. Δεν επιλέγεται από προεπιλογή και δεν υποστηρίζεται όταν χρησιμοποιείτε δυαδική μορφή αρχείου.
Ριζική διαδρομή διαμερισμάτων: Όταν είναι ενεργοποιημένος ο εντοπισμός διαμερίσματος, καθορίστε την απόλυτη ριζική διαδρομή για την ανάγνωση διαμερισμένων φακέλων ως στηλών δεδομένων.
Εάν δεν καθορίζεται, από προεπιλογή:
- Όταν χρησιμοποιείτε μια διαδρομή αρχείου ή μια λίστα αρχείων στην προέλευση, η διαδρομή ρίζας διαμερίσματος είναι η διαδρομή που ρυθμίσατε.
- Όταν χρησιμοποιείτε ένα φίλτρο φακέλου μπαλαντέρ, η διαδρομή ρίζας διαμερίσματος είναι η δευτερεύουσα διαδρομή πριν από τον πρώτο χαρακτήρα μπαλαντέρ.
- Όταν χρησιμοποιείτε ένα πρόθεμα, η διαδρομή ρίζας διαμερίσματος είναι η δευτερεύουσα διαδρομή πριν από την τελευταία "/".
Για παράδειγμα, υποθέτοντας ότι ρυθμίζετε τη διαδρομή ως
root/folder/year=2020/month=08/day=27
:- Εάν καθορίσετε τη διαδρομή ρίζας διαμερίσματος ως
root/folder/year=2020
, η δραστηριότητα αντιγραφής δημιουργεί δύο ακόμα στήλες, μήνα και ημέρα. Αυτές οι στήλες έχουν τις τιμές "08" και "27" αντίστοιχα, εκτός από τις στήλες μέσα στα αρχεία. - Εάν η διαδρομή ρίζας διαμερίσματος δεν έχει καθοριστεί, δεν δημιουργείται καμία επιπλέον στήλη.
Μέγιστες ταυτόχρονες συνδέσεις: Το ανώτατο όριο ταυτόχρονων συνδέσεων που δημιουργούνται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις.
Πρόσθετες στήλες: Προσθέστε περισσότερες στήλες δεδομένων για να αποθηκεύσετε τη σχετική διαδρομή ή τη στατική τιμή των αρχείων προέλευσης. Η παράσταση υποστηρίζεται για το τελευταίο.
Αντιστοίχιση
Για τη ρύθμιση παραμέτρων της καρτέλας Αντιστοίχιση , ανατρέξτε στο θέμα Ρύθμιση παραμέτρων των αντιστοιχίσεων σας στην καρτέλα Αντιστοίχιση. Εάν επιλέξετε Δυαδική τιμή ως μορφή αρχείου, η αντιστοίχιση δεν θα υποστηρίζεται.
Ρυθμίσεις
Για Ρυθμίσεις ρύθμιση παραμέτρων καρτέλας, ανατρέξτε στο θέμα Ρύθμιση παραμέτρων των άλλων ρυθμίσεων σας στην καρτέλα Ρυθμίσεις.
Σύνοψη πίνακα
Ο παρακάτω πίνακας περιέχει περισσότερες πληροφορίες σχετικά με τη δραστηριότητα αντιγραφής στο Oracle Cloud Υπηρεσία αποθήκευσης.
Πληροφορίες προέλευσης
Όνομα. | Περιγραφή | Τιμή | Απαιτείται | Ιδιότητα δέσμης ενεργειών JSON |
---|---|---|---|---|
Τύπος χώρου αποθήκευσης δεδομένων | Ο τύπος του χώρου αποθήκευσης δεδομένων σας. | Εξωτερική | Όχι | / |
Σύνδεση ion | Η σύνδεσή σας με τον χώρο αποθήκευσης δεδομένων προέλευσης. | <τη σύνδεσή σας oracle Cloud Υπηρεσία αποθήκευσης> | Όχι | Σύνδεση |
Τύπος διαδρομής αρχείου | Ο τύπος διαδρομής αρχείου που χρησιμοποιείται για τη λήψη δεδομένων προέλευσης. | • Διαδρομή αρχείου • Πρόθεμα • Διαδρομή αρχείου χαρακτήρα μπαλαντέρ • Λίστα αρχείων |
Όχι | / |
Για τη διαδρομή αρχείου | ||||
Κουβά | Το όνομα κάδου Oracle Cloud Υπηρεσία αποθήκευσης. | <το όνομα του κάδου σας> | Όχι | όνομα_κάδου |
Κατάλογο | Η διαδρομή προς τον φάκελο κάτω από τον καθορισμένο κάδο. | <το όνομα του φακέλου σας> | Όχι | διαδρομή φακέλου |
Όνομα αρχείου | Το όνομα αρχείου κάτω από την καθορισμένη διαδρομή κάδου και φακέλου. | <το όνομα του αρχείου σας> | Όχι | Όνομα_αρχείου |
Για πρόθημα | ||||
Κουβά | Το όνομα κάδου Oracle Cloud Υπηρεσία αποθήκευσης. | <το όνομα του κάδου σας> | Όχι | όνομα_κάδου |
Πρόθεμα | Το πρόθεμα για το Oracle Cloud Υπηρεσία αποθήκευσης όνομα κλειδιού κάτω από τον καθορισμένο κάδο για το φιλτράρισμα των αρχείων προέλευσης Oracle Cloud Υπηρεσία αποθήκευσης. | <το πρόθημα> | Όχι | Πρόθεμα |
Για τη διαδρομή αρχείου χαρακτήρα μπαλαντέρ | ||||
Κουβά | Το όνομα κάδου Oracle Cloud Υπηρεσία αποθήκευσης. | <το όνομα του κάδου σας> | Όχι | όνομα_κάδου |
Διαδρομή φακέλου χαρακτήρα μπαλαντέρ | Η διαδρομή φακέλου με χαρακτήρες μπαλαντέρ κάτω από τον καθορισμένο κάδο για το φιλτράρισμα φακέλων προέλευσης. | <Η διαδρομή φακέλου σας με χαρακτήρες μπαλαντέρ> | Όχι | wildcardFolderPath |
Όνομα αρχείου χαρακτήρα μπαλαντέρ | Το όνομα αρχείου με χαρακτήρες μπαλαντέρ κάτω από την καθορισμένη διαδρομή κάδου και φακέλου (ή τη διαδρομή φακέλου μπαλαντέρ) για το φιλτράρισμα αρχείων προέλευσης. | <το όνομα του αρχείου σας με χαρακτήρες μπαλαντέρ> | Όχι | wildcardFileName |
Για λίστα αρχείων | ||||
Κουβά | Το όνομα κάδου Oracle Cloud Υπηρεσία αποθήκευσης. | <το όνομα του κάδου σας> | Όχι | όνομα_κάδου |
Κατάλογο | Η διαδρομή προς τον φάκελο κάτω από τον καθορισμένο κάδο. | <το όνομα του φακέλου σας> | Όχι | διαδρομή φακέλου |
Διαδρομή προς λίστα αρχείων | Υποδεικνύει την αντιγραφή ενός καθορισμένου συνόλου αρχείων. Κατευθύνετε σε ένα αρχείο κειμένου που περιλαμβάνει μια λίστα των αρχείων που θέλετε να αντιγράψετε, ένα αρχείο ανά γραμμή. | < διαδρομή λίστας αρχείων > | Όχι | fileListPath |
Μορφή αρχείου | Η μορφή αρχείου για τα δεδομένα προέλευσής σας. Για πληροφορίες σχετικά με διαφορετικές μορφές αρχείων, ανατρέξτε σε άρθρα σε υποστηριζόμενη μορφή. | / | Όχι | / |
Αναδρομικά | Υποδεικνύει εάν τα δεδομένα διαβάζονται αναδρομικά από τους υποφακέλους ή μόνο από τον καθορισμένο φάκελο. Όταν είναι επιλεγμένο αυτό το πλαίσιο ελέγχου και ο προορισμός είναι χώρος αποθήκευσης που βασίζεται σε αρχεία, δεν αντιγράφεται ή δημιουργείται ένας κενός φάκελος ή υποφάκελος στον προορισμό. | επιλεγμένο (προεπιλογή) ή κατάργηση επιλογής | Όχι | Αναδρομικό |
Φιλτράρισμα κατά τελευταία τροποποίηση | Τα αρχεία με την τελευταία τροποποιημένη ώρα στην περιοχή [Ώρα έναρξης, Ώρα λήξης) φιλτράρονται για περαιτέρω επεξεργασία. Η ώρα εφαρμόζεται στη ζώνη ώρας UTC με τη μορφή yyyy-mm-ddThh:mm:ss.fffZ . Μπορείτε να παραλείψετε αυτές τις ιδιότητες, το οποίο σημαίνει ότι δεν εφαρμόζεται φίλτρο χαρακτηριστικού αρχείου. Αυτή η ιδιότητα δεν ισχύει όταν ρυθμίζετε τον τύπο διαδρομής αρχείου ως Λίστα αρχείων. |
datetime | Όχι | modifiedDatetimeStart modifiedDatetimeEnd |
Ενεργοποίηση εντοπισμού διαμερισμάτων | Υποδεικνύει εάν θέλετε να αναλύσετε τα διαμερίσματα από τη διαδρομή αρχείου και να τα προσθέσετε ως άλλες στήλες προέλευσης. | επιλεγμένο ή μη επιλεγμένο (προεπιλογή) | Όχι | enablePartitionDiscovery: true ή false (προεπιλογή) |
Ριζική διαδρομή διαμερισμάτων | Όταν είναι ενεργοποιημένος ο εντοπισμός διαμερίσματος, καθορίστε την απόλυτη ριζική διαδρομή για την ανάγνωση διαμερισμένων φακέλων ως στηλών δεδομένων. | < η ριζική διαδρομή του διαμερίσματός σας > | Όχι | partitionRootPath |
Μέγιστος αριθμός ταυτόχρονων συνδέσεων | Το ανώτατο όριο ταυτόχρονων συνδέσεων που καθορίζονται στον χώρο αποθήκευσης δεδομένων κατά την εκτέλεση της δραστηριότητας. Καθορίστε μια τιμή μόνο όταν θέλετε να περιορίσετε τις ταυτόχρονες συνδέσεις. | <μέγιστες ταυτόχρονες συνδέσεις> | Όχι | maxConcurrent Σύνδεση ions |
Πρόσθετες στήλες | Προσθέστε άλλες στήλες δεδομένων για να αποθηκεύσετε τη σχετική διαδρομή ή τη στατική τιμή των αρχείων προέλευσης. Η παράσταση υποστηρίζεται για το τελευταίο. | • Πλήρες όνομα •Τιμή |
Όχι | πρόσθετες στηλών: •Όνομα •Τιμή |