Γρήγορη αντιγραφή στο Dataflows Gen2
Αυτό το άρθρο περιγράφει τη δυνατότητα γρήγορης αντιγραφής στο Dataflows Gen2 for Data Factory στο Microsoft Fabric. Οι ροές δεδομένων βοηθούν στην πρόσληψη και τον μετασχηματισμό δεδομένων. Με την εισαγωγή της κλιμάκωσης ροής δεδομένων με την υπολογιστική λειτουργία SQL DW, μπορείτε να μετασχηματίζετε τα δεδομένα σας σε κλίμακα. Ωστόσο, τα δεδομένα σας πρέπει πρώτα να προσλάβετε. Με την εισαγωγή της γρήγορης αντιγραφής, μπορείτε να προσλάβετε terabyte δεδομένων με την εύκολη εμπειρία των ροών δεδομένων, αλλά με το κλιμακώσιμο παρασκήνιο της διοχέτευσης Αντιγραφή δραστηριότητας.
Μετά την ενεργοποίηση αυτής της δυνατότητας, οι ροές δεδομένων αλλάζουν αυτόματα το παρασκήνιο όταν το μέγεθος των δεδομένων υπερβαίνει ένα συγκεκριμένο όριο, χωρίς να χρειάζεται να αλλάξετε τίποτα κατά τη διάρκεια της σύνταξης των ροών δεδομένων. Μετά την ανανέωση μιας ροής δεδομένων, μπορείτε να ελέγξετε το ιστορικό ανανέωσης για να δείτε εάν χρησιμοποιήθηκε γρήγορη αντιγραφή κατά την εκτέλεση, εξετάζοντας τον τύπο μηχανισμού που εμφανίζεται εκεί.
Με ενεργοποιημένη την επιλογή Να απαιτείται γρήγορη αντιγραφή , η ανανέωση ροής δεδομένων ακυρώνεται εάν δεν χρησιμοποιηθεί γρήγορη αντιγραφή. Αυτό σας βοηθά να αποφύγετε την αναμονή για να συνεχιστεί το χρονικό όριο ανανέωσης. Αυτή η συμπεριφορά μπορεί επίσης να είναι χρήσιμη σε μια περίοδο λειτουργίας εντοπισμού σφαλμάτων για να ελέγξετε τη συμπεριφορά της ροής δεδομένων με τα δεδομένα σας, μειώνοντας παράλληλα τον χρόνο αναμονής. Χρησιμοποιώντας τις ενδείξεις γρήγορης αντιγραφής στο τμήμα παραθύρου βήματα ερωτήματος, μπορείτε εύκολα να ελέγξετε εάν το ερώτημά σας μπορεί να εκτελεστεί με γρήγορη αντιγραφή.
Προαπαιτούμενα στοιχεία
- Πρέπει να έχετε χωρητικότητα Fabric.
- Για τα δεδομένα αρχείων, τα αρχεία είναι σε .csv μορφή ή parquet τουλάχιστον 100 MB και είναι αποθηκευμένα σε ένα λογαριασμό χώρου αποθήκευσης Azure Data Lake Storage (ADLS) Gen2 ή σε έναν λογαριασμό χώρου αποθήκευσης αντικειμένων Blob.
- Για βάσεις δεδομένων, συμπεριλαμβανομένων των Azure SQL DB και PostgreSQL, 5 εκατομμύρια γραμμές ή περισσότερα δεδομένα στην προέλευση δεδομένων.
Σημείωμα
Μπορείτε να παρακάμψετε το όριο για επιβολή γρήγορης αντιγραφής επιλέγοντας τη ρύθμιση "Απαίτηση γρήγορης αντιγραφής".
Υποστήριξη συνδέσεων
Η δυνατότητα γρήγορης αντιγραφής υποστηρίζεται προς το παρόν για τις παρακάτω συνδέσεις Dataflow Gen2:
- ADLS Gen2
- Χώρος αποθήκευσης αντικειμένου Blob
- Azure SQL DB
- Lakehouse
- PostgreSQL
- SQL Server εσωτερικής εγκατάστασης
- Αποθήκη
- Oracle
- Snowflake
Η δραστηριότητα αντιγραφής υποστηρίζει μόνο λίγους μετασχηματισμούς κατά τη σύνδεση σε μια προέλευση αρχείου:
- Συνδυασμός αρχείων
- Επιλογή στηλών
- Αλλαγή τύπων δεδομένων
- Μετονομασία στήλης
- Κατάργηση στήλης
Εξακολουθείτε να μπορείτε να εφαρμόσετε άλλους μετασχηματισμούς διαιρώντας τα βήματα πρόσληψης και μετασχηματισμού σε ξεχωριστά ερωτήματα. Το πρώτο ερώτημα στην πραγματικότητα ανακτά τα δεδομένα και το δεύτερο ερώτημα αναφέρει τα αποτελέσματά του, έτσι ώστε να μπορεί να χρησιμοποιηθεί υπολογιστική λειτουργία DW. Για προελεύσεις SQL, υποστηρίζεται κάθε μετασχηματισμός που αποτελεί μέρος του εγγενούς ερωτήματος.
Όταν φορτώνετε απευθείας το ερώτημα σε έναν προορισμό εξόδου, προς το παρόν υποστηρίζονται μόνο προορισμοί Lakehouse. Εάν θέλετε να χρησιμοποιήσετε έναν άλλο προορισμό εξόδου, μπορείτε να δημιουργήσετε πρώτα ένα στάδιο του ερωτήματος και να το αναφέρετε αργότερα.
Τρόπος χρήσης γρήγορης αντιγραφής
Μεταβείτε στο κατάλληλο τελικό σημείο Fabric.
Μεταβείτε σε έναν premium χώρο εργασίας και δημιουργήστε μια ροή δεδομένων Gen2.
Στην Αρχική καρτέλα της νέας ροής δεδομένων, επιλέξτε Επιλογές:
Στη συνέχεια, επιλέξτε την καρτέλα Κλίμακα στο παράθυρο διαλόγου Επιλογές και επιλέξτε το πλαίσιο ελέγχου Να επιτρέπεται η χρήση συνδέσεων γρήγορης αντιγραφής για να ενεργοποιήσετε τη γρήγορη αντιγραφή. Στη συνέχεια, κλείστε το παράθυρο διαλόγου Επιλογές.
Επιλέξτε Λήψη δεδομένων και, στη συνέχεια, επιλέξτε την προέλευση ADLS Gen2 και συμπληρώστε τις λεπτομέρειες για το κοντέινερ.
Χρησιμοποιήστε τη λειτουργία Συνδυασμός αρχείων .
Για να εξασφαλίσετε τη γρήγορη αντιγραφή, εφαρμόστε μόνο μετασχηματισμούς που παρατίθενται στην ενότητα υποστήριξης σύνδεσης αυτού του άρθρου. Εάν θέλετε να εφαρμόσετε περισσότερους μετασχηματισμούς, οργανώστε πρώτα τα δεδομένα και αναφέρετε το ερώτημα αργότερα. Πραγματοποιήστε άλλους μετασχηματισμούς στο ερώτημα που αναφέρεται.
(Προαιρετικό) Μπορείτε να ορίσετε την επιλογή Να απαιτείται γρήγορη αντιγραφή για το ερώτημα κάνοντας δεξί κλικ σε αυτό για να επιλέξετε και να ενεργοποιήσετε αυτή την επιλογή.
(Προαιρετικό) Προς το παρόν, μπορείτε μόνο να ρυθμίσετε τις παραμέτρους ενός Lakehouse ως προορισμού εξόδου. Για οποιονδήποτε άλλο προορισμό, οργανώστε το ερώτημα και αναφέρετε το αργότερα σε ένα άλλο ερώτημα, όπου μπορείτε να εξαγάγετε σε οποιαδήποτε προέλευση.
Ελέγξτε τις ενδείξεις γρήγορης αντιγραφής για να δείτε εάν το ερώτημά σας μπορεί να εκτελεστεί με γρήγορη αντιγραφή. Σε αυτή την περίπτωση, ο τύπος μηχανισμού εμφανίζει αντιγραφήΔραστηριότητα.
Δημοσιεύστε τη ροή δεδομένων.
Ελέγξτε μετά την ολοκλήρωση της ανανέωσης για να επιβεβαιώσετε τη χρήση της γρήγορης αντιγραφής.
Γνωστοί περιορισμοί
- Απαιτείται μια έκδοση πύλης δεδομένων εσωτερικής εγκατάστασης 3000.214.2 ή νεότερη για την υποστήριξη της δυνατότητας Γρήγορη αντιγραφή.
- Η πύλη VNet δεν υποστηρίζεται.
- Η εγγραφή δεδομένων σε έναν υπάρχοντα πίνακα στο Lakehouse δεν υποστηρίζεται.
- Το σταθερό σχήμα δεν υποστηρίζεται.