Γρήγορη εκκίνηση: Μετακίνηση και μετασχηματισμός δεδομένων με ροές δεδομένων και διοχετεύσεις δεδομένων

Σε αυτό το πρόγραμμα εκμάθησης, ανακαλύπτετε πώς η εμπειρία ροής δεδομένων και διοχέτευσης δεδομένων μπορεί να δημιουργήσει μια ισχυρή και ολοκληρωμένη λύση Data Factory.

Προϋποθέσεις

Για να ξεκινήσετε, πρέπει να έχετε τις ακόλουθες προϋποθέσεις:

• Ένας λογαριασμός μισθωτή με ενεργή συνδρομή. Δημιουργήστε έναν δωρεάν λογαριασμό.
• Βεβαιωθείτε ότι έχετε έναν χώρο εργασίας με δυνατότητα Microsoft Fabric: Δημιουργία χώρου εργασίας που δεν είναι ο προεπιλεγμένος χώρος εργασίας μου.
• Μια βάση δεδομένων SQL Azure με δεδομένα πίνακα.
• λογαριασμού χώρου αποθήκευσης αντικειμένων blob .

Ροές δεδομένων σε σύγκριση με διοχετεύσεις

Το Dataflows Gen2 σάς επιτρέπει να χρησιμοποιήσετε μια διασύνδεση με λίγο κώδικα και 300+ δεδομένα και μετασχηματισμούς που βασίζονται σε τεχνητή νοημοσύνη, για να καθαρίσετε, να prep και να μετασχηματίζετε δεδομένα με μεγαλύτερη ευελιξία από οποιοδήποτε άλλο εργαλείο. Οι διοχετεύσεις δεδομένων επιτρέπουν εμπλουτισμένες έτοιμες δυνατότητες ενορχήστρωσης δεδομένων για τη σύνθεση ευέλικτων ροών εργασιών δεδομένων που ικανοποιούν τις ανάγκες της επιχείρησής σας. Σε μια διοχέτευση, μπορείτε να δημιουργήσετε λογικές ομαδοποιήσεις των δραστηριοτήτων που εκτελούν μια εργασία, οι οποίες μπορεί να περιλαμβάνουν κλήση μιας ροής δεδομένων για εκκαθάριση και προετοιμασία των δεδομένων σας. Παρόλο που υπάρχει κάποια επικάλυψη λειτουργικότητας μεταξύ των δύο, η επιλογή των οποίων θα χρησιμοποιηθεί για ένα συγκεκριμένο σενάριο εξαρτάται από το αν χρειάζεστε τον πλήρη πλούτο των διοχετεύσεων ή μπορείτε να χρησιμοποιήσετε τις απλούστερες αλλά πιο περιορισμένες δυνατότητες των ροών δεδομένων. Για περισσότερες πληροφορίες, ανατρέξτε στον οδηγό αποφάσεων Fabric

Μετασχηματισμός δεδομένων με ροές δεδομένων

Ακολουθήστε αυτά τα βήματα για να ρυθμίσετε τη ροή δεδομένων σας.

Βήμα 1: Δημιουργία ροής δεδομένων

1. Επιλέξτε τον χώρο εργασίας σας με δυνατότητα Fabric και, στη συνέχεια, επιλέξτε Νέο. Στη συνέχεια, επιλέξτε Dataflow Gen2.

   

2. Εμφανίζεται το παράθυρο του προγράμματος επεξεργασίας ροής δεδομένων. Επιλέξτε την κάρτα Εισαγωγή από τον SQL Server.

   

Βήμα 2: Λήψη δεδομένων

1. Στο παράθυρο διαλόγου Σύνδεση σε προέλευση δεδομένων που εμφανίζεται στη συνέχεια, πληκτρολογήστε τις λεπτομέρειες για να συνδεθείτε στη βάση δεδομένων SQL Azure και, στη συνέχεια, επιλέξτε Επόμενο. Για αυτό το παράδειγμα, χρησιμοποιείτε το AdventureWorksLT δείγμα βάσης δεδομένων που έχει ρυθμιστεί όταν ρυθμίζετε τη βάση δεδομένων SQL Azure σύμφωνα με τις προϋποθέσεις.

   

2. Επιλέξτε τα δεδομένα που θέλετε να μετασχηματίζετε και, στη συνέχεια, επιλέξτε Δημιουργία. Για αυτήν τη γρήγορη εκκίνηση, επιλέξτε SalesLT.Customer από το AdventureWorksLT δείγματα δεδομένων που παρέχονται για το Azure SQL DB και, στη συνέχεια, το κουμπί Επιλογή σχετικών πινάκων για να συμπεριλάβετε αυτόματα δύο άλλους σχετικούς πίνακες.

   

Βήμα 3: Μετασχηματισμός των δεδομένων σας

1. Εάν δεν είναι επιλεγμένη, επιλέξτε το κουμπί προβολή διαγράμματος κατά μήκος της γραμμής κατάστασης στο κάτω μέρος της σελίδας ή επιλέξτε προβολή διαγράμματος κάτω από το μενού Προβολή στο επάνω μέρος του προγράμματος επεξεργασίας Power Query. Οποιαδήποτε από αυτές τις επιλογές μπορεί να εναλλάσσει την προβολή διαγράμματος.

   

2. Κάντε δεξί κλικ στο ερώτημά σας SalesLT Customer ή επιλέξτε τα κατακόρυφα αποσιωπητικά στα δεξιά του ερωτήματος και, στη συνέχεια, επιλέξτε Συγχώνευση ερωτημάτων.

   

3. Ρυθμίστε τις παραμέτρους της συγχώνευσης επιλέγοντας τον πίνακα SalesLTOrderHeader ως τον δεξιό πίνακα για τη συγχώνευση, τη στήλη CustomerID από κάθε πίνακα ως στήλη ένωσης και τον αριστερό εξωτερικό ως είδος συνδέσμου. Στη συνέχεια, επιλέξτε OK για να προσθέσετε το ερώτημα συγχώνευσης.

   

4. Επιλέξτε το κουμπί Προσθήκη προορισμού δεδομένων , το οποίο μοιάζει με ένα σύμβολο βάσης δεδομένων με ένα βέλος επάνω από αυτό, από το νέο ερώτημα συγχώνευσης που δημιουργήσατε. Στη συνέχεια, επιλέξτε βάσης δεδομένων SQL Azure ως τον τύπο προορισμού.

   

5. Καταχωρήστε τις λεπτομέρειες για τη σύνδεση βάσης δεδομένων SQL Azure όπου θα δημοσιευτεί το ερώτημα συγχώνευσης. Σε αυτό το παράδειγμα, μπορείτε να χρησιμοποιήσετε τη βάση δεδομένων AdventureWorksLT που χρησιμοποιήσαμε ως προέλευση δεδομένων και για τον προορισμό.

   

6. Επιλέξτε μια βάση δεδομένων για να αποθηκεύσετε τα δεδομένα και καταχωρήστε ένα όνομα πίνακα και, στη συνέχεια, επιλέξτε Επόμενο.

   

7. Μπορείτε να αφήσετε τις προεπιλεγμένες ρυθμίσεις στο παράθυρο διαλόγου Επιλογή ρυθμίσεων προορισμού και απλώς να επιλέξετε Αποθήκευση ρυθμίσεων χωρίς να κάνετε αλλαγές εδώ.

   

8. Επιλέξτε Δημοσίευση στη σελίδα του προγράμματος επεξεργασίας ροής δεδομένων, για να δημοσιεύσετε τη ροή δεδομένων.

   

Μετακίνηση δεδομένων με διοχετεύσεις δεδομένων

Τώρα που δημιουργήσατε μια ροή δεδομένων Gen2, μπορείτε να την χρησιμοποιήσετε σε μια διοχέτευση. Σε αυτό το παράδειγμα, αντιγράφετε τα δεδομένα που δημιουργούνται από τη ροή δεδομένων σε μορφή κειμένου σε έναν λογαριασμό χώρου αποθήκευσης αντικειμένων blob Azure.

Βήμα 1: Δημιουργία νέας διοχέτευσης δεδομένων

1. Από τον χώρο εργασίας σας, επιλέξτε Νέοκαι, στη συνέχεια, επιλέξτε Διοχέτευση δεδομένων.

   

2. Ονομάστε τη διοχέτευση και, στη συνέχεια, επιλέξτε Δημιουργία.

   

Βήμα 2: Ρύθμιση παραμέτρων της ροής δεδομένων σας

1. Προσθέστε μια νέα δραστηριότητα ροής δεδομένων στη διοχέτευση δεδομένων σας, επιλέγοντας Ροή δεδομένων στην καρτέλα Δραστηριότητες.

   

2. Επιλέξτε τη ροή δεδομένων στον καμβά διοχέτευσης και, στη συνέχεια, την καρτέλα Ρυθμίσεις . Επιλέξτε τη ροή δεδομένων που δημιουργήσατε προηγουμένως από την αναπτυσσόμενη λίστα.

   

3. Επιλέξτε Αποθήκευσηκαι, στη συνέχεια, Εκτέλεση για να εκτελέσετε τη ροή δεδομένων για να συμπληρώσετε αρχικά τον συγχωνευμένο πίνακα ερωτημάτων που σχεδιάσατε στο προηγούμενο βήμα.

   

Βήμα 3: Χρησιμοποιήστε τον βοηθό αντιγραφής για να προσθέσετε μια δραστηριότητα αντιγραφής

1. Επιλέξτε Αντιγραφή δεδομένων στον καμβά για να ανοίξετε το εργαλείο αντιγραφής βοηθού για να ξεκινήσετε. Εναλλακτικά, επιλέξτε Χρήση του βοηθού αντιγραφής από την αναπτυσσόμενη λίστα Αντιγραφή δεδομένων κάτω από την καρτέλα Δραστηριότητες στην κορδέλα.

   

2. Επιλέξτε την προέλευση δεδομένων σας επιλέγοντας έναν τύπο προέλευσης δεδομένων. Σε αυτή την εκμάθηση, χρησιμοποιείτε τη βάση δεδομένων SQL Azure που χρησιμοποιήθηκε προηγουμένως όταν δημιουργήσατε τη ροή δεδομένων για να δημιουργήσετε ένα νέο ερώτημα συγχώνευσης. Κάντε κύλιση κάτω από τα δείγματα προσφορών δεδομένων και επιλέξτε την καρτέλα Azure και, στη συνέχεια, βάσης δεδομένων SQL Azure . Στη συνέχεια, επιλέξτε Επόμενο για να συνεχίσετε.

   

3. Δημιουργήστε μια σύνδεση με την προέλευση δεδομένων σας, επιλέγοντας Δημιουργία νέας σύνδεσης. Συμπληρώστε τις απαιτούμενες πληροφορίες σύνδεσης στον πίνακα και εισαγάγετε το AdventureWorksLT για τη βάση δεδομένων, όπου δημιουργήσαμε το ερώτημα συγχώνευσης στη ροή δεδομένων. Στη συνέχεια, επιλέξτε Επόμενο.

   

4. Επιλέξτε τον πίνακα που δημιουργήσατε στο βήμα ροής δεδομένων νωρίτερα και, στη συνέχεια, επιλέξτε Επόμενο.

   

5. Για τον προορισμό σας, επιλέξτε Χώρος αποθήκευσης αντικειμένων blob Azure και, στη συνέχεια, επιλέξτε Επόμενο.

   

6. Δημιουργήστε μια σύνδεση στον προορισμό σας επιλέγοντας Δημιουργία νέας σύνδεσης. Καταχωρήστε τις λεπτομέρειες για τη σύνδεσή σας και, στη συνέχεια, επιλέξτε Επόμενο.

   

7. Επιλέξτε διαδρομή φακέλου και εισαγάγετε έναΌνομα αρχείου και, στη συνέχεια, επιλέξτε Επόμενο.

   

8. Επιλέξτε επόμενο ξανά για να αποδεχτείτε την προεπιλεγμένη μορφή αρχείου, τον οριοθέτη στηλών, τον οριοθέτη γραμμών και τον τύπο συμπίεσης, συμπεριλαμβάνοντας προαιρετικά μια κεφαλίδα.

   

9. Οριστικοποιήστε τις ρυθμίσεις σας. Στη συνέχεια, εξετάστε και επιλέξτε Αποθήκευση + Εκτέλεση για να ολοκληρώσετε τη διαδικασία.

   

Βήμα 5: Σχεδίαση της διοχέτευσης δεδομένων σας και αποθήκευση για εκτέλεση και φόρτωση δεδομένων

1. Για να εκτελέσετε τη δραστηριότητα Αντιγραφή μετά τη δραστηριότητα ροής δεδομένων , σύρετε από Με επιτυχία στη δραστηριότητα ροής δεδομένων στη δραστηριότητα Αντιγραφή Αντιγραφή. Η δραστηριότητα Αντιγραφή εκτελείται μόνο αφού ολοκληρωθεί με επιτυχία η δραστηριότητα ροής δεδομένων .

   

2. Επιλέξτε Αποθήκευση για να αποθηκεύσετε τη διοχέτευση δεδομένων σας. Στη συνέχεια, επιλέξτε Εκτέλεση για να εκτελέσετε τη διοχέτευση δεδομένων και να φορτώσετε τα δεδομένα σας.

   

Προγραμματισμός εκτέλεσης διοχέτευσης

Αφού ολοκληρώσετε την ανάπτυξη και τη δοκιμή της διοχέτευσης, μπορείτε να την προγραμματίσετε για αυτόματη εκτέλεση.

1. Στην καρτέλα Αρχική του παραθύρου προγράμματος επεξεργασίας διοχέτευσης, επιλέξτε Χρονοδιάγραμμα.

   

2. Ρυθμίστε τις παραμέτρους του χρονοδιαγράμματος όπως απαιτείται. Το παράδειγμα εδώ προγραμματίζει την καθημερινή εκτέλεση της διοχέτευσης στις 8:00 Μ.Μ. μέχρι το τέλος του έτους.

   

Σχετικό περιεχόμενο

Αυτό το δείγμα σάς δείχνει πώς μπορείτε να δημιουργήσετε και να ρυθμίσετε τις παραμέτρους ενός Dataflow Gen2 για να δημιουργήσετε ένα ερώτημα συγχώνευσης και να το αποθηκεύσετε σε μια βάση δεδομένων SQL Azure και, στη συνέχεια, να αντιγράψετε δεδομένα από τη βάση δεδομένων σε ένα αρχείο κειμένου στον Χώρο αποθήκευσης αντικειμένων blob Azure. Μάθατε πώς να κάνετε τα εξής:

• Δημιουργήστε μια ροή δεδομένων.
• Μετασχηματισμός δεδομένων με τη ροή δεδομένων.
• Δημιουργήστε μια διοχέτευση δεδομένων χρησιμοποιώντας τη ροή δεδομένων.
• Διατάξτε την εκτέλεση βημάτων στη διοχέτευση.
• Αντιγράψτε δεδομένα με τον Βοηθό αντιγραφής.
• Εκτελέστε και προγραμματίστε τη διοχέτευση δεδομένων σας.

Στη συνέχεια, συνεχίστε για να μάθετε περισσότερα σχετικά με την παρακολούθηση των εκτελέσεων της διοχέτευσης.

Πώς να παρακολουθείτε τις εκτελέσεις διοχέτευσης στο Microsoft Fabric