Σενάριο από άκρο σε άκρο στο Data Factory: εισαγωγή και αρχιτεκτονική
Αυτό το εκπαιδευτικό βοήθημα σάς βοηθά να επιταχύνετε τη διαδικασία αξιολόγησης για το Data Factory στο Microsoft Fabric, παρέχοντας μια αναλυτική καθοδήγηση για ένα πλήρες σενάριο ενοποίησης δεδομένων μέσα σε μία ώρα. Στο τέλος αυτής της εκμάθησης, κατανοείτε την αξία και τις βασικές δυνατότητες του Data Factory και γνωρίζετε πώς μπορείτε να ολοκληρώσετε ένα κοινό σενάριο ενοποίησης δεδομένων από άκρο σε άκρο.
Επισκόπηση: Γιατί το Data Factory στο Microsoft Fabric;
Αυτή η ενότητα σάς βοηθά να κατανοήσετε τον ρόλο του Fabric γενικά και τον ρόλο που διαδραματίζει το Data Factory σε αυτόν.
Κατανόηση της αξίας του Microsoft Fabric
Το Microsoft Fabric παρέχει ένα μοναδικό κατάστημα για όλες τις αναλυτικές ανάγκες για κάθε επιχείρηση. Καλύπτει ένα πλήρες φάσμα υπηρεσιών, όπως μετακίνηση δεδομένων, λίμνη δεδομένων, μηχανική δεδομένων, ενοποίηση δεδομένων και επιστήμη δεδομένων, ανάλυση σε πραγματικό χρόνο και επιχειρηματική ευφυΐα. Με το Fabric, δεν χρειάζεται να ράβετε μαζί διαφορετικές υπηρεσίες από πολλούς προμηθευτές. Αντ' αυτού, οι χρήστες σας απολαμβάνουν ένα ολοκληρωμένο, άρτια ενσωματωμένο, ενιαίο και ολοκληρωμένο προϊόν, το οποίο μπορείτε εύκολα να κατανοήσετε, να ενσωματώσετε, να δημιουργήσετε και να εργαστείτε.
Κατανόηση της αξίας του Data Factory στο Microsoft Fabric
Το Data Factory στο Fabric συνδυάζει την ευκολία χρήσης του Power Query με την κλίμακα και την ισχύ του Azure Data Factory. Συγκεντρώνει τα καλύτερα και των δύο προϊόντων σε μια ενοποιημένη εμπειρία. Ο στόχος είναι να βεβαιωθείτε ότι η Ενοποίηση δεδομένων στο Εργοστάσιο λειτουργεί καλά τόσο για τους επαγγελματίες προγραμματιστές δεδομένων όσο και για τους επαγγελματίες προγραμματιστές δεδομένων. Παρέχει εμπειρίες προετοιμασίας και μετασχηματισμού δεδομένων με δυνατότητα AI, μετασχηματισμό κλίμακας petabyte, εκατοντάδες συνδέσεις με υβριδική συνδεσιμότητα πολλαπλών cloud. Το Purview παρέχει διαχείριση και δυνατότητες υπηρεσιών όπως δεσμεύσεις δεδομένων/λειτουργιών, CI/CD, διαχείριση κύκλου ζωής εφαρμογών και παρακολούθηση.
Εισαγωγή - Κατανόηση τριών βασικών δυνατοτήτων του Data Factory
- Πρόσληψη δεδομένων: Η δραστηριότητα αντιγραφής σε διοχετεύσεις σάς επιτρέπει να μετακινείτε δεδομένα κλίμακας petabyte από εκατοντάδες προελεύσεις δεδομένων στο data Lakehouse για περαιτέρω επεξεργασία.
- Μετασχηματισμός και προετοιμασία δεδομένων: Το Dataflow Gen2 παρέχει μια διασύνδεση με λίγο κώδικα για τον μετασχηματισμό των δεδομένων σας χρησιμοποιώντας 300+ μετασχηματισμούς δεδομένων, με τη δυνατότητα φόρτωσης των μετασχηματισμένων αποτελεσμάτων σε πολλούς προορισμούς, όπως βάσεις δεδομένων SQL Azure, Lakehouse και πολλά άλλα.
- Αυτοματοποίηση ροής ενοποίησης από άκρο σε άκρο: Οι διοχετεύσεις παρέχουν ενορχήστρωση δραστηριοτήτων που περιλαμβάνουν δραστηριότητες Αντιγραφή, Ροή δεδομένων και Σημειωματάριο και πολλά άλλα. Αυτό σας επιτρέπει να διαχειρίζεστε δραστηριότητες όλες σε ένα σημείο. Οι δραστηριότητες σε μια διοχέτευση μπορούν να συνδεθούν μεταξύ τους για να λειτουργήσουν διαδοχικά ή να λειτουργήσουν ανεξάρτητα παράλληλα.
Σε αυτήν την περίπτωση χρήσης ενοποίησης δεδομένων από άκρο σε άκρο, θα μάθετε τα εξής:
- Τρόπος πρόσληψης δεδομένων χρησιμοποιώντας τον βοηθό αντιγραφής σε μια διοχέτευση
- Πώς μπορείτε να μετασχηματίστε τα δεδομένα χρησιμοποιώντας μια ροή δεδομένων είτε με εμπειρία χωρίς κώδικα, είτε γράφοντας τον δικό σας κώδικα για να επεξεργαστείτε τα δεδομένα με μια δραστηριότητα δέσμης ενεργειών ή σημειωματάριου
- Πώς μπορείτε να αυτοματοποιήσετε ολόκληρη τη ροή ενοποίησης δεδομένων από άκρο σε άκρο, χρησιμοποιώντας μια διοχέτευση με εναύσματα και ευέλικτες δραστηριότητες ροής ελέγχου.
Αρχιτεκτονική
Στα επόμενα 50 λεπτά, σας έχει ανατεθεί να ολοκληρώσετε ένα σενάριο ενοποίησης δεδομένων από άκρο σε άκρο. Αυτό περιλαμβάνει την πρόσληψη ανεπεξέργαστων δεδομένων από έναν χώρο αποθήκευσης προέλευσης στον πίνακα Bronze ενός Lakehouse, την επεξεργασία όλων των δεδομένων, τη μετακίνηση τους στον πίνακα Gold του data Lakehouse, την αποστολή ενός μηνύματος ηλεκτρονικού ταχυδρομείου για να σας ειδοποιήσει μόλις ολοκληρωθούν όλες οι εργασίες και, τέλος, τη ρύθμιση ολόκληρης της ροής για εκτέλεση σε προγραμματισμένη βάση.
Το σενάριο διαιρείται σε τρεις λειτουργικές μονάδες:
- Εκπαιδευτική ενότητα 1: Δημιουργήστε μια διοχέτευση με το Data Factory για την πρόσληψη ανεπεξέργαστων δεδομένων από έναν χώρο αποθήκευσης αντικειμένων blob σε έναν χάλκινο πίνακα σε ένα data Lakehouse.
- Εκπαιδευτική ενότητα 2: Μετασχηματισμός δεδομένων με μια ροή δεδομένων στο Data Factory για επεξεργασία των ανεπεξέργαστων δεδομένων από τον χάλκινο πίνακα και μετακίνηση τους σε έναν πίνακα Gold στο data Lakehouse.
- Εκπαιδευτική ενότητα 3: Ολοκληρώστε το πρώτο ταξίδι ενοποίησης δεδομένων για να στείλετε ένα μήνυμα ηλεκτρονικού ταχυδρομείου για να σας ειδοποιήσει όταν ολοκληρωθούν όλες οι εργασίες και, τέλος, να ρυθμίσετε ολόκληρη τη ροή ώστε να εκτελείται βάσει χρονοδιαγράμματος.
Μπορείτε να χρησιμοποιήσετε το δείγμα συνόλου δεδομένων NYC-Taxi ως προέλευση δεδομένων για την εκμάθηση. Αφού τελειώσετε, θα μπορείτε να λάβετε πληροφορίες σχετικά με καθημερινές εκπτώσεις για ναύλους ταξί για μια συγκεκριμένη χρονική περίοδο, χρησιμοποιώντας το Data Factory στο Microsoft Fabric.
Σχετικό περιεχόμενο
Σε αυτή την εισαγωγή στο εκπαιδευτικό βοήθημα για την πρώτη σας ενοποίηση δεδομένων χρησιμοποιώντας το Data Factory στο Microsoft Fabric, μάθατε τα εξής:
- Η αξία και ο ρόλος του Microsoft Fabric
- Η τιμή και ο ρόλος του Data Factory στο Fabric
- Βασικά χαρακτηριστικά του Data Factory
- Τι θα μάθετε σε αυτή την εκμάθηση
Συνεχίστε στην επόμενη ενότητα τώρα για να δημιουργήσετε τη διοχέτευση δεδομένων σας.