Αντιγραφή δεδομένων με χρήση δραστηριότητας αντιγραφής
Στη Διοχέτευση δεδομένων, μπορείτε να χρησιμοποιήσετε τη δραστηριότητα αντιγραφής για να αντιγράψετε δεδομένα μεταξύ των καταστημάτων δεδομένων που βρίσκονται στο cloud.
Αφού αντιγράψετε τα δεδομένα, μπορείτε να χρησιμοποιήσετε άλλες δραστηριότητες για περαιτέρω μετασχηματισμό και ανάλυσή τους. Μπορείτε επίσης να χρησιμοποιήσετε τη δραστηριότητα αντιγραφής για να δημοσιεύσετε αποτελέσματα μετασχηματισμού και ανάλυσης για επιχειρηματική ευφυΐα (BI) και κατανάλωση εφαρμογών.
Για να αντιγράψετε δεδομένα από μια προέλευση σε έναν προορισμό, η υπηρεσία που εκτελεί τη δραστηριότητα Αντιγραφή εκτελεί τα εξής βήματα:
- Διαβάζει δεδομένα από ένα χώρο αποθήκευσης δεδομένων προέλευσης.
- Εκτελεί σειριοποίηση/αποριριοποίηση, συμπίεση/αποσυμπίεση, αντιστοίχιση στηλών και ούτω καθεξής. Εκτελεί αυτές τις λειτουργίες με βάση τη ρύθμιση παραμέτρων.
- Εγγράφει δεδομένα στον χώρο αποθήκευσης δεδομένων προορισμού.
Προαπαιτούμενα στοιχεία
Για να ξεκινήσετε, πρέπει να συμπληρώσετε τις ακόλουθες προϋποθέσεις:
Ένας λογαριασμός μισθωτή Microsoft Fabric με ενεργή συνδρομή. Δημιουργήστε έναν λογαριασμό δωρεάν.
Βεβαιωθείτε ότι έχετε έναν χώρο εργασίας με δυνατότητα Microsoft Fabric.
Προσθήκη δραστηριότητας αντιγραφής με χρήση βοηθού αντιγραφής
Ακολουθήστε τα παρακάτω βήματα για να ρυθμίσετε τη δραστηριότητα αντιγραφής χρησιμοποιώντας τον βοηθό αντιγραφής.
Έναρξη με τον βοηθό αντιγραφής
Ανοίξτε μια υπάρχουσα διοχέτευση δεδομένων ή δημιουργήστε μια νέα διοχέτευση δεδομένων.
Επιλέξτε Αντιγραφή δεδομένων στον καμβά για να ανοίξετε το εργαλείο Αντιγραφή βοηθού για να ξεκινήσετε. Εναλλακτικά, επιλέξτε Χρήση βοηθού αντιγραφής από την αναπτυσσόμενη λίστα Αντιγραφή δεδομένων στην καρτέλα Δραστηριότητες στην κορδέλα.
Ρύθμιση παραμέτρων της προέλευσής σας
Επιλέξτε έναν τύπο προέλευσης δεδομένων από την κατηγορία. Θα χρησιμοποιήσετε τον Χώρο αποθήκευσης αντικειμένων blob Azure ως παράδειγμα. Επιλέξτε Χώρος αποθήκευσης αντικειμένων blob Azure και, στη συνέχεια, επιλέξτε Επόμενο.
Δημιουργήστε μια σύνδεση με την προέλευση δεδομένων σας, επιλέγοντας Δημιουργία νέας σύνδεσης.
Αφού επιλέξετε Δημιουργία νέας σύνδεσης, συμπληρώστε τις απαιτούμενες πληροφορίες σύνδεσης και, στη συνέχεια, επιλέξτε Επόμενο. Για λεπτομέρειες σχετικά με τη δημιουργία σύνδεσης για κάθε τύπο προέλευσης δεδομένων, μπορείτε να ανατρέξετε σε κάθε άρθρο σύνδεσης.
Εάν έχετε υπάρχουσες συνδέσεις, μπορείτε να επιλέξετε Υπάρχουσα σύνδεση και να επιλέξετε τη σύνδεσή σας από την αναπτυσσόμενη λίστα.
Επιλέξτε το αρχείο ή τον φάκελο που θα αντιγραφούν σε αυτό το βήμα ρύθμισης παραμέτρων προέλευσης και, στη συνέχεια, επιλέξτε Επόμενο.
Ρύθμιση παραμέτρων του προορισμού σας
Επιλέξτε έναν τύπο προέλευσης δεδομένων από την κατηγορία. Θα χρησιμοποιήσετε τον Χώρο αποθήκευσης αντικειμένων blob Azure ως παράδειγμα. Μπορείτε είτε να δημιουργήσετε μια νέα σύνδεση που συνδέεται σε έναν νέο λογαριασμό χώρου αποθήκευσης αντικειμένων blob Azure, ακολουθώντας τα βήματα που περιγράφονται στην προηγούμενη ενότητα ή να χρησιμοποιήσετε μια υπάρχουσα σύνδεση από την αναπτυσσόμενη λίστα σύνδεσης. Οι δυνατότητες δοκιμής σύνδεσης και επεξεργασίας είναι διαθέσιμες σε κάθε επιλεγμένη σύνδεση.
Ρυθμίστε τις παραμέτρους και αντιστοιχίστε τα δεδομένα προέλευσής σας στον προορισμό σας. Στη συνέχεια, επιλέξτε Επόμενο για να ολοκληρώσετε τις ρυθμίσεις παραμέτρων προορισμού σας.
Σημείωμα
Μπορείτε να χρησιμοποιήσετε μόνο μία πύλη δεδομένων εσωτερικής εγκατάστασης μέσα στην ίδια δραστηριότητα αντιγραφής. Εάν αμφότερες οι προελεύσεις και νιπτήρες είναι προελεύσεις δεδομένων εσωτερικής εγκατάστασης, πρέπει να χρησιμοποιούν την ίδια πύλη. Για να μετακινήσετε δεδομένα μεταξύ προελεύσεων δεδομένων εσωτερικής εγκατάστασης με διαφορετικές πύλες, πρέπει να αντιγράψετε χρησιμοποιώντας την πρώτη πύλη σε μια ενδιάμεση προέλευση cloud σε μία Δραστηριότητα αντιγραφής. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε άλλη μια Δραστηριότητα αντιγραφής για να την αντιγράψετε από την ενδιάμεση προέλευση cloud χρησιμοποιώντας τη δεύτερη πύλη.
Έλεγχος και δημιουργία δραστηριότητας αντιγραφής
Εξετάστε τις ρυθμίσεις δραστηριότητας αντιγραφής στα προηγούμενα βήματα και επιλέξτε OK για να ολοκληρώσετε. Εναλλακτικά, μπορείτε να επιστρέψετε στα προηγούμενα βήματα για να επεξεργαστείτε τις ρυθμίσεις σας, εάν είναι απαραίτητο στο εργαλείο.
Μόλις ολοκληρωθεί, η δραστηριότητα αντιγραφής θα προστεθεί έπειτα στον καμβά διοχέτευσης δεδομένων. Όλες οι ρυθμίσεις, συμπεριλαμβανομένων των σύνθετων ρυθμίσεων για αυτήν τη δραστηριότητα αντιγραφής, είναι διαθέσιμες στις καρτέλες όταν επιλεγεί.
Τώρα μπορείτε είτε να αποθηκεύσετε τη διοχέτευση δεδομένων με αυτήν τη δραστηριότητα αντιγραφής είτε να συνεχίσετε να σχεδιάζετε τη διοχέτευση δεδομένων σας.
Προσθήκη δραστηριότητας αντιγραφής απευθείας
Ακολουθήστε αυτά τα βήματα για να προσθέσετε ένα αντίγραφο δραστηριότητας απευθείας.
Προσθήκη δραστηριότητας αντιγραφής
Ανοίξτε μια υπάρχουσα διοχέτευση δεδομένων ή δημιουργήστε μια νέα διοχέτευση δεδομένων.
Προσθέστε μια δραστηριότητα αντιγραφής είτε επιλέγοντας Προσθήκη δραστηριότητας διοχέτευσης Αντιγραφή δραστηριότητας> είτε επιλέγοντας Αντιγραφή δεδομένων>Προσθήκη στον καμβά στην καρτέλα Δραστηριότητες.
Ρύθμιση των γενικών ρυθμίσεων στην καρτέλα "Γενικά"
Για να μάθετε πώς μπορείτε να ρυθμίσετε τις γενικές ρυθμίσεις σας, ανατρέξτε στο θέμα Γενικά.
Ρύθμιση παραμέτρων της προέλευσης στην καρτέλα προέλευσης
Επιλέξτε + Δημιουργία δίπλα από τη Σύνδεση για να δημιουργήσετε μια σύνδεση στην προέλευση δεδομένων σας.
Επιλέξτε τον τύπο προέλευσης δεδομένων από το αναδυόμενο παράθυρο. Θα χρησιμοποιήσετε τη Βάση δεδομένων SQL Azure ως παράδειγμα. Επιλέξτε Βάση δεδομένων SQL Azure και, στη συνέχεια, επιλέξτε Συνέχεια.
Μεταβαίνει στη σελίδα δημιουργίας σύνδεσης. Συμπληρώστε τις απαιτούμενες πληροφορίες σύνδεσης στον πίνακα και, στη συνέχεια, επιλέξτε Δημιουργία. Για λεπτομέρειες σχετικά με τη δημιουργία σύνδεσης για κάθε τύπο προέλευσης δεδομένων, μπορείτε να ανατρέξετε σε κάθε άρθρο σύνδεσης.
Όταν η σύνδεσή σας δημιουργηθεί με επιτυχία, θα σας μεταφέρει πίσω στη σελίδα διοχέτευσης δεδομένων. Στη συνέχεια, επιλέξτε Ανανέωση για να λάβετε τη σύνδεση που δημιουργήσατε από την αναπτυσσόμενη λίστα. Μπορείτε επίσης να επιλέξετε μια υπάρχουσα σύνδεση βάσης δεδομένων SQL Azure από την αναπτυσσόμενη λίστα απευθείας, εάν την έχετε ήδη δημιουργήσει πριν. Οι δυνατότητες δοκιμής σύνδεσης και επεξεργασίας είναι διαθέσιμες σε κάθε επιλεγμένη σύνδεση. Στη συνέχεια, επιλέξτε Βάση δεδομένων SQL Azure στον τύπο σύνδεσης .
Καθορίστε έναν πίνακα που θα αντιγραφεί. Επιλέξτε Προεπισκόπηση δεδομένων για να κάνετε προεπισκόπηση του πίνακα προέλευσής σας. Μπορείτε επίσης να χρησιμοποιήσετε τη διαδικασία Ερώτημα και Αποθηκευμένη για την ανάγνωση δεδομένων από την προέλευσή σας.
Αναπτύξτε το στοιχείο Για προχωρημένους για πιο σύνθετες ρυθμίσεις.
Ρύθμιση παραμέτρων του προορισμού σας στην καρτέλα προορισμού
Επιλέξτε τον τύπο προορισμού σας. Θα μπορούσε να είναι είτε ο εσωτερικός σας χώρος αποθήκευσης δεδομένων πρώτης κατηγορίας από τον χώρο εργασίας σας, όπως το Lakehouse, είτε οι εξωτερικοί σας χώροι αποθήκευσης δεδομένων. Θα χρησιμοποιήσετε το Lakehouse ως παράδειγμα.
Επιλέξτε να χρησιμοποιήσετε το Lakehouse στον τύπο χώρου αποθήκευσης δεδομένων χώρου εργασίας. Επιλέξτε + Νέο και θα σας καθοδηγήσει στη σελίδα δημιουργίας του Lakehouse. Καθορίστε το όνομά σας Lakehouse και, στη συνέχεια, επιλέξτε Δημιουργία.
Όταν η σύνδεσή σας δημιουργηθεί με επιτυχία, θα σας μεταφέρει πίσω στη σελίδα διοχέτευσης δεδομένων. Στη συνέχεια, επιλέξτε Ανανέωση για να λάβετε τη σύνδεση που δημιουργήσατε από την αναπτυσσόμενη λίστα. Μπορείτε επίσης να επιλέξετε μια υπάρχουσα σύνδεση Lakehouse από την αναπτυσσόμενη λίστα απευθείας, εάν την έχετε δημιουργήσει ήδη πριν.
Καθορίστε έναν πίνακα ή ρυθμίστε τη διαδρομή αρχείου για να ορίσετε το αρχείο ή το φάκελο ως προορισμό. Εδώ επιλέξτε Πίνακες και καθορίστε έναν πίνακα για την εγγραφή δεδομένων.
Αναπτύξτε το στοιχείο Για προχωρημένους για πιο σύνθετες ρυθμίσεις.
Τώρα μπορείτε είτε να αποθηκεύσετε τη διοχέτευση δεδομένων με αυτήν τη δραστηριότητα αντιγραφής είτε να συνεχίσετε να σχεδιάζετε τη διοχέτευση δεδομένων σας.
Ρύθμιση παραμέτρων των αντιστοιχίσεων στην καρτέλα αντιστοίχισης
Εάν η σύνδεση που εφαρμόζετε υποστηρίζει την αντιστοίχιση, μπορείτε να μεταβείτε στην καρτέλα Αντιστοίχιση για να ρυθμίσετε τις παραμέτρους της αντιστοίχισης.
Επιλέξτε Εισαγωγή σχημάτων για να εισαγάγετε το σχήμα δεδομένων σας.
Μπορείτε να δείτε ότι εμφανίζεται η αυτόματη αντιστοίχιση. Καθορίστε τη στήλη Source και τη στήλη Destination . Εάν δημιουργήσετε έναν νέο πίνακα στον προορισμό, μπορείτε να προσαρμόσετε το όνομα στήλης Προορισμός εδώ. Εάν θέλετε να κάνετε εγγραφή δεδομένων στον υπάρχοντα πίνακα προορισμού, δεν μπορείτε να τροποποιήσετε το υπάρχον όνομα στήλης Προορισμός . Μπορείτε επίσης να προβάλετε τις στήλες Τύπος προέλευσης και προορισμού.
Εκτός αυτού, μπορείτε να επιλέξετε + Νέα αντιστοίχιση για να προσθέσετε νέα αντιστοίχιση, να επιλέξετε Απαλοιφή για να καταργήσετε όλες τις ρυθμίσεις αντιστοίχισης και να επιλέξετε Επαναφορά για να επαναφέρετε όλες τις αντιστοιχίσεις στήλης Προέλευση .
Ρύθμιση παραμέτρων των άλλων ρυθμίσεων σας στην καρτέλα "Ρυθμίσεις"
Η καρτέλα Ρυθμίσεις περιέχει τις ρυθμίσεις επιδόσεων, προεργασίας και ούτω καθεξής.
Ανατρέξτε στον παρακάτω πίνακα για την περιγραφή κάθε ρύθμισης.
| Ρύθμιση | Description | Ιδιότητα δέσμης ενεργειών JSON |
|---|---|---|
| Έξυπνη βελτιστοποίηση απόδοσης | Καθορίστε για βελτιστοποίηση της ταχύτητας μετάδοσης. Μπορείτε να επιλέξετε μεταξύ των εξής: • Αυτόματη • Τυπικό • Ισορροπημένη • Μέγιστο Όταν επιλέγετε Αυτόματο, η βέλτιστη ρύθμιση εφαρμόζεται δυναμικά με βάση το ζεύγος προέλευσης-προορισμού και το μοτίβο δεδομένων. Μπορείτε επίσης να προσαρμόσετε την ταχύτητα μετάδοσης και η προσαρμοσμένη τιμή μπορεί να είναι 2-256, ενώ η υψηλότερη τιμή συνεπάγεται περισσότερα κέρδη. |
dataIntegrationUnits |
| Βαθμός παράλληλης αντιγραφής | Καθορίστε τον βαθμό παραλληλισμού που θα χρησιμοποιούσε η φόρτωση δεδομένων. | parallelCopies |
| Ανοχή | Όταν ενεργοποιήσετε αυτήν την επιλογή, μπορείτε να αγνοήσετε ορισμένα σφάλματα που προέκυψαν στο μέσο της διαδικασίας αντιγραφής. Για παράδειγμα, μη συμβατές γραμμές μεταξύ χώρου αποθήκευσης προέλευσης και προορισμού, αρχείου που διαγράφεται κατά τη μετακίνηση δεδομένων κ.λπ. | • enableSkipIncompatibleRow • skipErrorFile: αρχείοΑυρήδοση fileForbidden invalidFileName |
| Ενεργοποίηση καταγραφής | Όταν επιλέγετε αυτή την επιλογή, μπορείτε να καταγράψετε αρχεία που έχουν αντιγραφεί, παραλείψει αρχεία και γραμμές. | / |
| Ενεργοποίηση προεργασίας | Καθορίστε εάν θα αντιγράψετε δεδομένα μέσω ενός χώρου αποθήκευσης ενδιάμεσων προεργασίας. Ενεργοποίηση προεργασίας μόνο για τα ευεργετικά σενάρια. | ενεργοποίηση προσθήκης ετικέτας |
| Τύπος χώρου αποθήκευσης δεδομένων | Όταν ενεργοποιήσετε την προεργασία, μπορείτε να επιλέξετε Χώρος εργασίας και Εξωτερικός ως τύπος χώρου αποθήκευσης δεδομένων. | / |
| Για τον χώρο εργασίας | ||
| Χώρο εργασίας | Καθορίστε για χρήση ενσωματωμένου χώρου αποθήκευσης προεργασίας. | / |
| Για εξωτερική | ||
| Σύνδεση λογαριασμού προεργασίας | Καθορίστε τη σύνδεση ενός Χώρου αποθήκευσης αντικειμένων blob Azure ή Azure Data Lake Storage Gen2, η οποία αναφέρεται στην παρουσία του Storage που χρησιμοποιείτε ως χώρο αποθήκευσης ενδιάμεσων προεργασίας. Δημιουργήστε μια σύνδεση προεργασίας εάν δεν την έχετε. | connection (κάτω από externalReferences) |
| Διαδρομή αποθήκευσης | Καθορίστε τη διαδρομή που θέλετε να περιέχει τα δεδομένα σταδίου. Εάν δεν παρέχετε μια διαδρομή, η υπηρεσία δημιουργεί ένα κοντέινερ για την αποθήκευση προσωρινών δεδομένων. Καθορίστε μια διαδρομή μόνο εάν χρησιμοποιείτε τον Χώρο αποθήκευσης με μια υπογραφή κοινόχρηστης πρόσβασης ή χρειάζεστε προσωρινά δεδομένα για να βρίσκονται σε μια συγκεκριμένη θέση. | path |
| Ενεργοποίηση συμπίεσης | Καθορίζει εάν τα δεδομένα πρέπει να συμπιεστούν πριν αντιγραφούν στον προορισμό. Αυτή η ρύθμιση μειώνει τον όγκο των δεδομένων που μεταφέρονται. | enableCompression |
| Διατηρώ | Καθορίστε εάν θα διατηρούνται μετα-δεδομένα/ACL κατά την αντιγραφή δεδομένων. | διατηρώ |
Σημείωμα
Εάν χρησιμοποιείτε αντίγραφο σταδίου με ενεργοποιημένη τη συμπίεση, δεν υποστηρίζεται ο έλεγχος ταυτότητας κύριας υπηρεσίας για σύνδεση αντικειμένου blob προεργασίας.
Ρύθμιση παραμέτρων σε δραστηριότητα αντιγραφής
Οι παράμετροι μπορούν να χρησιμοποιηθούν για τον έλεγχο της συμπεριφοράς μιας διοχέτευσης και των δραστηριοτήτων της. Μπορείτε να χρησιμοποιήσετε την επιλογή Προσθήκη δυναμικού περιεχομένου για να καθορίσετε παραμέτρους για τις ιδιότητές σας αντιγραφής δραστηριότητας. Ας δούμε ως παράδειγμα τον καθορισμό του Lakehouse/Data Warehouse/KQL Database για να δούμε πώς μπορείτε να το χρησιμοποιήσετε.
Στην προέλευση ή τον προορισμό σας, αφού επιλέξετε Χώρος εργασίας ως τύπος χώρου αποθήκευσης δεδομένων και καθορίσετε τη Βάση δεδομένων Lakehouse/Data Warehouse/KQL ως τύπο χώρου αποθήκευσης δεδομένων χώρου εργασίας, επιλέξτε Προσθήκη δυναμικού περιεχομένου στην αναπτυσσόμενη λίστα Lakehouse ή Αποθήκη δεδομένων ή Βάση δεδομένων KQL.
Στο αναδυόμενο παράθυρο Προσθήκη δυναμικού περιεχομένου , στην καρτέλα Παράμετροι , επιλέξτε +.
Καθορίστε το όνομα για την παράμετρο και δώστε της μια προεπιλεγμένη τιμή εάν θέλετε ή μπορείτε να καθορίσετε την τιμή για την παράμετρο αφού επιλέξετε Εκτέλεση στη διοχέτευση.
Σημειώστε ότι η τιμή παραμέτρου πρέπει να είναι Lakehouse/Data Warehouse/KQL Database object ID. Για να λάβετε το αναγνωριστικό αντικειμένου Lakehouse/Data Warehouse/KQL Database, ανοίξτε τη βάση δεδομένων Lakehouse/Data Warehouse/KQL στον χώρο εργασίας σας και το αναγνωριστικό βρίσκεται μετά
/lakehouses/ή/datawarehouses//databases/στη διεύθυνση URL σας.Αναγνωριστικό αντικειμένου Lakehouse:
Αναγνωριστικό αντικειμένου Αποθήκης δεδομένων:
Αναγνωριστικό αντικειμένου βάσης δεδομένων KQL:
Επιλέξτε Αποθήκευση για να επιστρέψετε στο τμήμα παραθύρου Προσθήκη δυναμικού περιεχομένου . Στη συνέχεια, επιλέξτε την παράμετρο ώστε να εμφανίζεται στο πλαίσιο παράστασης. Στη συνέχεια επιλέξτε OK. Θα επιστρέψετε στη σελίδα διοχέτευσης και μπορείτε να δείτε ότι η παράσταση παραμέτρου καθορίζεται μετά το αναγνωριστικό αντικειμένου Data/Warehouse αντικειμένου ID/KQL Αναγνωριστικό αντικειμένου βάσης δεδομένων Lakehouse.
