Διαχείριση φόρτου εργασίας
Ισχύει για:✅ Τελικό σημείο ανάλυσης SQL και Αποθήκη στο Microsoft Fabric
Αυτό το άρθρο περιγράφει την αρχιτεκτονική και τη διαχείριση φόρτου εργασίας πίσω από την αποθήκευση δεδομένων στο Microsoft Fabric.
Επεξεργασία δεδομένων
Το τελικό σημείο ανάλυσης Warehouse και SQL μοιράζονται την ίδια υποκείμενη αρχιτεκτονική επεξεργασίας. Καθώς ανακτώνται ή καταναλώνονται δεδομένα, αξιοποιεί έναν κατανεμημένο μηχανισμό που έχει δημιουργηθεί για δεδομένα μικρής και μεγάλης κλίμακας και υπολογιστικές συναρτήσεις.
Το σύστημα επεξεργασίας είναι χωρίς τη χρήση διακομιστή σε αυτό το σύνολο υπολογιστικών εκχωρημένων πόρων παρασκηνίου κλιμακώνεται προς τα επάνω και προς τα κάτω αυτόνομα για να ικανοποιήσει τις απαιτήσεις φόρτου εργασίας.
Κατά την υποβολή ενός ερωτήματος, το προσκήνιο SQL (FE) εκτελεί βελτιστοποίηση ερωτημάτων για τον προσδιορισμό του βέλτιστου σχεδίου με βάση το μέγεθος και την πολυπλοκότητα των δεδομένων. Όταν δημιουργηθεί το σχέδιο, δίνεται στον μηχανισμό επεξεργασίας κατανεμημένου ερωτήματος (DQP). Το DQP ενορχηστρώνει την κατανεμημένη εκτέλεση του ερωτήματος, διαχωρίζοντας το σε μικρότερα ερωτήματα που εκτελούνται σε κόμβους υπολογιστικής παρασκηνίου. Κάθε μικρό ερώτημα ονομάζεται εργασία και αντιπροσωπεύει μια κατανεμημένη μονάδα εκτέλεσης. Διαβάζει αρχεία από το OneLake, συνδέει τα αποτελέσματα από άλλες εργασίες, ομάδες ή παραγγελίες δεδομένων που ανακτώνται από άλλες εργασίες. Για εργασίες πρόσληψης, εγγράφει επίσης δεδομένα στους κατάλληλους πίνακες προορισμού.
Κατά την επεξεργασία των δεδομένων, τα αποτελέσματα επιστρέφουν στο προσκήνιο SQL για εξυπηρέτηση ξανά στον χρήστη ή κλήση της εφαρμογής.
Ελαστικότητα και προσαρμοστικότητα
Το σύνολο υπολογιστικών εκχωρημένων πόρων παρασκηνίου επωφελείται από μια αρχιτεκτονική γρήγορης προμήθειας. Παρόλο που δεν υπάρχει SLA στην ανάθεση πόρων, συνήθως αποκτούνται νέοι κόμβοι μέσα σε λίγα δευτερόλεπτα. Καθώς αυξάνεται η ζήτηση πόρων, οι νέοι φόρτοι εργασίας χρησιμοποιούν τους εκχωρημένους πόρους που έχουν κλιμακωθεί. Η κλιμάκωση είναι μια λειτουργία online και η επεξεργασία ερωτημάτων δεν διακόπτεται.
Το σύστημα είναι ανθεκτικό σε σφάλματα και εάν ένας κόμβος γίνει ανθυγιεινός, οι λειτουργίες που εκτελούνται στον κόμβο ανακατανομή σε υγιείς κόμβους για ολοκλήρωση.
Η αποθήκη και το τελικό σημείο ανάλυσης SQL παρέχουν εκχωρημένους πόρους με δυνατότητα ριπής, οι οποίοι επιτρέπουν στους φόρτους εργασίας να χρησιμοποιούν περισσότερους πόρους για την επίτευξη καλύτερων επιδόσεων και να χρησιμοποιούν την εξομάλυνση για να προσφέρουν ανακούφιση στους πελάτες που δημιουργούν απότομες αιχμές κατά τους χρόνους αιχμής τους, ενώ έχουν πολλούς αδρανείς εκχωρημένους πόρους που δεν χρησιμοποιούνται. Η εξομάλυνση απλοποιεί τη διαχείριση των εκχωρημένων πόρων μέσω της εξάπλωσης της υπολογιστικής λειτουργίας, ώστε να εξασφαλιστεί η ομαλή και αποτελεσματική λειτουργία των εργασιών των πελατών.
Προγραμματισμός και προμήθεια πόρων
Ο προγραμματισμός επεξεργασίας κατανεμημένου ερωτήματος λειτουργεί σε επίπεδο εργασίας . Τα ερωτήματα αναπαρίστανται στο χρονοδιάγραμμα ως κατευθυνόμαστε acyclic graph (DAG) των εργασιών. Αυτή η έννοια είναι οικεία στους χρήστες Spark. Μια DAG επιτρέπει παραλληλισμό και ταυτόχρονη εκτέλεση ως εργασίες που δεν εξαρτώνται η μία από την άλλη μπορούν να εκτελεστούν ταυτόχρονα ή εκτός σειράς.
Κατά την άφιξη των ερωτημάτων, οι εργασίες τους προγραμματίζονται βάσει των αρχών "first-in-first-out" (FIFO). Εάν υπάρχουν αδρανής εκχωρημένοι πόροι, το χρονοδιάγραμμα μπορεί να χρησιμοποιεί μια προσέγγιση "βέλτιστης προσαρμογής" για τη βελτιστοποίηση της ταυτόχρονης εκτέλεσης.
Όταν ο χρονοδιακόπτης αναγνωρίζει την πίεση προμήθειας, καλεί μια λειτουργία κλιμάκωσης. Η διαχείριση της κλιμάκωσης γίνεται αυτόνομα και η τοπολογία παρασκηνίου αυξάνεται καθώς αυξάνεται η ταυτόχρονη εκτέλεση. Καθώς απαιτούνται μερικά δευτερόλεπτα για την απόκτηση κόμφων, το σύστημα δεν έχει βελτιστοποιηθεί για συνεπή απόδοση των ερωτημάτων που απαιτούν κατανεμημένη επεξεργασία.
Όταν η πίεση υποχωρεί, η τοπολογία παρασκηνίου μειώνεται προς τα κάτω και απελευθερώνει πόρους πίσω στην περιοχή.
Απομόνωση πρόσληψης
Ισχύει για:✅ Warehouse στο Microsoft Fabric
Στο σύνολο υπολογιστικών πόρων παρασκηνίου της Warehouse στο Microsoft Fabric, οι δραστηριότητες φόρτωσης παρέχονται απομόνωση πόρων από τους φόρτους εργασίας ανάλυσης. Αυτό βελτιώνει την απόδοση και την αξιοπιστία, καθώς οι εργασίες πρόσληψης μπορούν να εκτελούνται σε αποκλειστικούς κόμβους που είναι βελτιστοποιημένοι για ETL και δεν είναι ανταγωνιστικοί με άλλα ερωτήματα ή εφαρμογές για πόρους.
Περίοδοι λειτουργίας
Το τελικό σημείο ανάλυσης Αποθήκης και SQL έχει όριο περιόδου λειτουργίας χρήστη 724 ανά χώρο εργασίας. Όταν συμπληρωθεί αυτό το όριο, θα επιστραφεί ένα σφάλμα: The user session limit for the workspace is 724 and has been reached.
Σημείωμα
Καθώς το Microsoft Fabric είναι μια πλατφόρμα SaaS, υπάρχουν πολλές συνδέσεις συστήματος που εκτελούνται για συνεχή βελτιστοποίηση του περιβάλλοντος. Τα DMV εμφανίζουν αμφότερες τις περιόδους λειτουργίας συστήματος και χρήστη. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παρακολούθηση με χρήση DMV.
Βέλτιστες πρακτικές
Ο χώρος εργασίας Microsoft Fabric παρέχει ένα φυσικό όριο απομόνωσης του κατανεμημένου υπολογιστικού συστήματος. Οι φόρτοι εργασίας μπορούν να επωφεληθούν από αυτό το όριο για τη διαχείριση τόσο του κόστους όσο και των επιδόσεων.
Οι συντομεύσεις OneLake μπορούν να χρησιμοποιηθούν για τη δημιουργία ρεπλίκων μόνο για ανάγνωση πινάκων σε άλλους χώρους εργασίας για τη διανομή του φόρτου σε πολλούς μηχανισμούς SQL, δημιουργώντας ένα όριο απομόνωσης. Αυτό μπορεί να αυξήσει αποτελεσματικά τον μέγιστο αριθμό περιόδων λειτουργίας που εκτελούν ερωτήματα μόνο για ανάγνωση.
