Εισαγωγή σε εργασία στο Apache Spark για το Microsoft Fabric

Ισχύει για:✅ Διαχείριση δεδομένων και Επιστήμη δεδομένων στο Microsoft Fabric

Apache Spark για Fabric χρησιμοποιεί την τεχνική αισιόδοξος εισαγωγής εργασίας για να καθορίσει την ελάχιστη βασική απαίτηση για εργασίες Spark. Αυτή η διαδικασία εφαρμόζεται σε αλληλεπιδραστικές ή δέσμες εργασιών από σημειωματάρια, lakehouse ή ορισμούς εργασίας Spark. Βασίζεται στη ρύθμιση ελάχιστου κόμβου του επιλεγμένου χώρου συγκέντρωσης Spark στις ρυθμίσεις του χώρου εργασίας ή στο προσαρτημένο περιβάλλον. Εάν βρεθούν διαθέσιμοι πυρήνες στους εκχωρημένους πόρους Fabric που συνδέονται με τον χώρο εργασίας, η εργασία γίνεται αποδεκτή και ξεκινά την εκτέλεση. Οι εργασίες εκκινούν εργασίες με τη ρύθμιση του ελάχιστου κόμβου τους και μπορούν να κλιμακώνονται εντός των μέγιστων ορίων κόμβων τους σύμφωνα με τα στάδια εργασίας. Εάν οι συνολικοί πυρήνες που χρησιμοποιούνται από την εκτέλεση εργασιών που χρησιμοποιούν χωρητικότητα Fabric είναι κάτω από τους μέγιστους πυρήνες ριπής που έχουν ανατεθεί, η εισαγωγή στην εργασία και ο περιορισμός επιπέδου στο Fabric Spark επιτρέπει την αύξηση της εργασίας.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Όρια ταυτόχρονης εκτέλεσης και ουρά στο Microsoft Fabric Spark.

Πώς λειτουργεί η αισιόδοξος εισαγωγή στην εργασία;

Στο Fabric, οι χώροι συγκέντρωσης εκκίνησης διαθέτουν έναν προεπιλεγμένο ελάχιστο κόμβο, ενώ οι προσαρμοσμένες ομάδες σάς επιτρέπουν να ορίζετε ελάχιστους κόμβους με βάση τις ανάγκες φόρτου εργασίας. Η αυτόματη κλιμάκωση προσαρμόζει τις υπολογιστικές απαιτήσεις για τις εργασίες Spark κατά τη διάρκεια των σταδίων εκτέλεσης, εντός των καθορισμένων ελάχιστων και μέγιστων κόβων. Η αισιόδοξος εισαγωγή σε εργασία αξιολογεί τις υποβολές θέσεων εργασίας με βάση τους διαθέσιμους πυρήνες και τις εκτελεί με ελάχιστους πυρήνες. Οι θέσεις εργασίας επιχειρούν να αναπτυχθούν με βάση τους μέγιστους εκχωρημένους κόμβους κατά την εκτέλεση. Οι αιτήσεις κλιμάκωσης εγκρίνονται εάν οι συνολικοί πυρήνες Spark που χρησιμοποιούνται βρίσκονται εντός των εκχωρημένων ορίων χωρητικότητας.

Σημείωμα

Εάν η χρήση φτάσει στο μέγιστο όριο και όλοι οι πυρήνες εντός του συνόλου εκχωρημένων πόρων για το Fabric χρησιμοποιούνται, τυχόν αιτήσεις αύξησης κλίμακας θα απορριφθούν. Οι ενεργές εργασίες πρέπει είτε να ολοκληρωθούν είτε να ακυρωθούν για να ελευθερώσουν πυρήνες.

Πώς επηρεάζει αυτό την ταυτόχρονη εργασία;

Η ελάχιστη απαίτηση πυρήνα για κάθε εργασία καθορίζει εάν η εργασία μπορεί να γίνει αποδεκτή. Εάν το σύνολο εκχωρημένων πόρων χρησιμοποιείται πλήρως και δεν διαθέτει πυρήνες για την ικανοποίηση των ελάχιστων βασικών αναγκών μιας εργασίας, η εργασία απορρίπτεται. Οι εργασίες αλληλεπιδραστικού σημειωματάριου ή λειτουργίες Lakehouse θα αποκλειστούν με ένα μήνυμα σφάλματος Δεν είναι δυνατή η υποβολή αυτής της αίτησης, επειδή χρησιμοποιείται αυτή τη στιγμή όλη η διαθέσιμη χωρητικότητα. Ακυρώστε μια εργασία που εκτελείται τη συγκεκριμένη στιγμή, αυξήστε τους διαθέσιμους εκχωρημένους πόρους ή δοκιμάστε ξανά αργότερα. Οι εργασίες δέσμης τοποθετούνται σε ουρά και εκτελούνται όταν καταστούν διαθέσιμοι οι πυρήνες.

Για παράδειγμα, εξετάστε ένα σενάριο με έναν χρήστη που χρησιμοποιεί το SKU εκχωρημένων πόρων Fabric F32. Υποθέτοντας ότι όλες οι θέσεις εργασίας χρησιμοποιούν την προεπιλεγμένη ρύθμιση πισίνας εκκίνησης χωρίς αισιόδοξη αποδοχή εργασίας, η χωρητικότητα θα υποστηρίξει μέγιστη ταυτόχρονη εκτέλεση τριών θέσεων εργασίας. Ο μέγιστος αριθμός πυρήνων ανά εργασία εκχωρείται σύμφωνα με τη ρύθμιση παραμέτρων των μέγιστων κόδων.

Με αισιόδοξη παραδοχή εργασίας με την ίδια χωρητικότητα όπως παραπάνω, μπορούν να γίνουν δεκτές και να εκτελεστούν 24 εργασίες χρησιμοποιώντας την ελάχιστη διαμόρφωση κόμβου κατά τη διάρκεια του σεναρίου μέγιστης ταυτόχρονης εκτέλεσης. Επειδή κάθε εργασία απαιτεί 8 Πυρήνες Spark όπου μία ελάχιστη ρύθμιση παραμέτρων κόμβου είναι μεσαίου μεγέθους.

Κλιμάκωση εργασιών με αυτόματη κλιμάκωση Spark

Όταν ενεργοποιείτε την αυτόματη κλιμάκωση για χώρους συγκέντρωσης Spark, οι εργασίες εκτελούνται με την ελάχιστη ρύθμιση παραμέτρων κόμβου. Κατά τη διάρκεια του χρόνου εκτέλεσης, μπορεί να πραγματοποιηθεί κλιμάκωση. Αυτά τα αιτήματα περνούν από τον έλεγχο εισαγωγής στην εργασία. Οι εγκεκριμένες αιτήσεις κλιμακώνονται έως τα μέγιστα όρια με βάση το σύνολο των διαθέσιμων πυρήνων. Οι αιτήσεις που απορρίφθηκαν δεν επηρεάζουν τις ενεργές εργασίες. Συνεχίζουν να εκτελούνται με την τρέχουσα ρύθμιση παραμέτρων τους μέχρι να γίνουν διαθέσιμοι οι πυρήνες.

Σημείωμα

Για να εξασφαλίσετε τη μέγιστη εκχώρηση πυρήνα για μια εργασία σύμφωνα με τη ρύθμιση παραμέτρων των μέγιστων κόφων της, απενεργοποιήστε την αυτόματη κλιμάκωση και ορίστε τους μέγιστους κόμβους εντός της SKU εκχωρημένων πόρων Fabric. Σε αυτήν την περίπτωση, δεδομένου ότι η εργασία δεν έχει ελάχιστη βασική απαίτηση, θα ξεκινήσει να εκτελείται όταν είναι διαθέσιμοι οι ελεύθεροι πυρήνες, με κλιμάκωση έως το ρυθμισμένο σύνολο. Εάν οι εκχωρημένοι πόροι χρησιμοποιούνται πλήρως, οι αλληλεπιδραστικές εργασίες σημειωματάριου μπορεί να επιβραδύνουν ή να αποθηκευτούν σε ουρά. Οι εργασίες σε ουρά επαναληφίζονται αυτόματα καθώς καθίστανται διαθέσιμοι πυρήνες.

Σχετικό περιεχόμενο

• Γρήγορα αποτελέσματα με τις ρυθμίσεις διαχείρισης χώρου εργασίας Spark στο Microsoft Fabric.
• Μάθετε σχετικά με το Spark Compute για τη μηχανική δεδομένων Fabric και την επιστήμη δεδομένων.
• Μάθετε περισσότερα σχετικά με τα όρια ταυτόχρονης εκτέλεσης και τοποθέτησης σε ουρά για το Fabric Spark.