Κοινή χρήση μέσω

Όρια ταυτόχρονης εκτέλεσης και ουρά στο Apache Spark για το Microsoft Fabric

  • Άρθρο

Ισχύει για:✅ Διαχείριση δεδομένων και Επιστήμη δεδομένων στο Microsoft Fabric

Το Microsoft Fabric επιτρέπει την εκχώρηση υπολογιστικών μονάδων μέσω εκχωρημένων πόρων, το οποίο είναι ένα αποκλειστικό σύνολο πόρων που είναι διαθέσιμο σε μια δεδομένη στιγμή για χρήση. Οι εκχωρημένοι πόροι καθορίζουν τη δυνατότητα ενός πόρου για την εκτέλεση μιας δραστηριότητας ή την παραγωγή εξόδου. Διαφορετικά στοιχεία καταναλώνουν διαφορετικούς εκχωρημένους πόρους σε μια συγκεκριμένη στιγμή. Το Microsoft Fabric προσφέρει χωρητικότητα μέσω των SKU Fabric και δοκιμαστικών εκδόσεων. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τι είναι οι εκχωρημένοι πόροι;.

Όταν οι χρήστες δημιουργούν εκχωρημένους πόρους Microsoft Fabric στο Azure, επιλέγουν ένα μέγεθος εκχωρημένων πόρων με βάση το μέγεθος φόρτου εργασίας ανάλυσης. Στο Apache Spark, οι χρήστες λαμβάνουν δύο εικονικούς πυρήνες Apache Spark για κάθε μονάδα εκχωρημένων πόρων που διατηρούν ως μέρος της SKU τους.

Μία μονάδα εκχωρημένων πόρων = Δύο εικονικοί πυρήνες Spark

Αφού έχουν αγοράσει τους εκχωρημένους πόρους, οι διαχειριστές μπορούν να δημιουργήσουν χώρους εργασίας εντός της χωρητικότητας στο Microsoft Fabric. Οι εικονικοί πυρήνες Spark που συσχετίζονται με τους εκχωρημένους πόρους είναι κοινόχρηστοι μεταξύ όλων των στοιχείων που βασίζονται στο Apache Spark, όπως τα σημειωματάρια, οι ορισμοί θέσεων εργασίας Apache Spark και οι λιμνοθάφτες που δημιουργούνται σε αυτούς τους χώρους εργασίας.

Περιορισμός ταυτόχρονης εκτέλεσης και τοποθέτηση σε ουρά

Το Spark for Fabric επιβάλλει έναν μηχανισμό περιορισμού και ουράς που βασίζεται σε πυρήνες, όπου οι χρήστες μπορούν να υποβάλουν εργασίες με βάση τις SKU χωρητικότητας Fabric που έχουν αγοραστεί. Ο μηχανισμός ουράς είναι μια απλή ουρά που βασίζεται σε FIFO, η οποία ελέγχει για διαθέσιμους χρόνους εργασίας και επαναλαμβάνει αυτόματα τις εργασίες μόλις γίνει διαθέσιμος ο εκχωρημένος πόρος. Όταν οι χρήστες υποβάλλουν εργασίες σημειωματάριου ή lakehouse, όπως φόρτωση σε πίνακα, όταν οι εκχωρημένοι πόροι τους είναι στη μέγιστη χρήση λόγω ταυτόχρονων εργασιών που εκτελούνται χρησιμοποιώντας όλους τους εικονικούς πυρήνες Spark που είναι διαθέσιμοι για την SKU χωρητικότητας Fabric που έχουν αγοράσει, περιορίζονται με το μήνυμα

Κωδικός απόκρισης HTTP 430: Αυτή η εργασία Spark δεν μπορεί να εκτελεστεί επειδή έχετε εξαντλήσει ένα όριο ρυθμού Spark compute ή API. Για να εκτελέσετε αυτήν την εργασία Spark, ακυρώστε μια ενεργή εργασία Spark μέσω του Κέντρου παρακολούθησης ή επιλέξτε ένα SKU μεγαλύτερου εκχωρημένων πόρων ή δοκιμάστε ξανά αργότερα.

Με ενεργοποιημένη την ουρά, οι εργασίες σημειωματάριου που ενεργοποιούνται από διοχετεύσεις και τον προγραμματισμό εργασιών και ορισμούς εργασίας Spark προστίθενται στην ουρά και επαναληφθεί αυτόματα όταν ελευθερωθεί το σύνολο εκχωρημένων πόρων. Η λήξη της ουράς ορίζεται σε 24 ώρες από την ώρα υποβολής της εργασίας. Μετά από αυτήν την περίοδο, οι εργασίες θα πρέπει να υποβληθούν ξανά.

Οι εκχωρημένοι πόροι Fabric ενεργοποιούνται με ριπή που σας επιτρέπει να καταναλώνετε επιπλέον υπολογιστικούς πυρήνες πέρα από αυτό που έχει αγοραστεί για να επιταχύνετε την εκτέλεση ενός φόρτου εργασίας. Για την έκρηξη των φόρτων εργασίας Apache Spark, οι χρήστες μπορούν να υποβάλουν εργασίες με συνολικά 3X που έχουν αγοραστεί από τους εικονικούς πυρήνες Spark.

Σημείωμα

Ο παράγοντας ριπής αυξάνει μόνο τον συνολικό αριθμό των Spark VCores για να βοηθήσει με την ταυτόχρονη εκτέλεση, αλλά δεν αυξάνει τον μέγιστο αριθμό πυρήνων ανά εργασία. Οι χρήστες δεν μπορούν να υποβάλουν μια εργασία που απαιτεί περισσότερους πυρήνες από ό, τι προσφέρει η χωρητικότητα Fabric.

Η παρακάτω ενότητα παραθέτει διάφορα όρια που βασίζονται σε πυρήνες για φόρτους εργασίας Spark με βάση SKU εκχωρημένων πόρων Microsoft Fabric:

SKU χωρητικότητας fabric Ισοδύναμο Power BI SKU Εικονικοί πυρήνες Spark Μέγιστος αριθμός εικονικών πυρήνων Spark με παράγοντα ριπής Όριο ουράς
F2 - 4 20 4
F4 - 8 24 4
F8 - 16 48 8
F16 - 32 96 16
F32 - 64 192 32
F64 P1 128 384 64
F128 P2 256 768 128
F256 P3 512 1536 256
F512 P4 1024 3072 512
F1024 - 2048 6144 1024
F2048 - 4096 12288 2048
Εκχωρημένοι πόροι δοκιμαστικής έκδοσης P1 128 128 Μη διαθέσιμο

Παράδειγμα υπολογισμού: Το F64 SKU προσφέρει 128 Spark VCores. Ο παράγοντας ριπής που εφαρμόζεται για ένα SKU F64 είναι 3, ο οποίος παρέχει συνολικά 384 εικονικούς πυρήνες Spark. Ο παράγοντας ριπής εφαρμόζεται μόνο για να βοηθήσει με την ταυτόχρονη εκτέλεση και δεν αυξάνει τους μέγιστους πυρήνες που είναι διαθέσιμοι για μία μόνο εργασία Spark. Αυτό σημαίνει ότι ένας μοναδικός ορισμός εργασίας Notebook ή Spark ή μια εργασία lakehouse μπορεί να χρησιμοποιήσει μια ρύθμιση παραμέτρων ομάδας με μέγιστο αριθμό 128 εικονικών πυρήνων και 3 εργασιών με την ίδια ρύθμιση παραμέτρων. Εάν τα σημειωματάρια χρησιμοποιούν μικρότερη υπολογιστική ρύθμιση, μπορούν να εκτελούνται ταυτόχρονα μέχρι η μέγιστη χρήση να φτάσει στο όριο των 384 SparkVcore.

Σημείωμα

Οι εργασίες έχουν περίοδο λήξης ουράς 24 ωρών, μετά την οποία ακυρώνονται και οι χρήστες πρέπει να τις υποβάλετε ξανά για εκτέλεση εργασίας.

Ο περιορισμός Spark για Fabric δεν έχει επιβάλει αυθαίρετα όρια που βασίζονται σε θέσεις εργασίας και ο περιορισμός βασίζεται μόνο στον αριθμό των πυρήνων που επιτρέπονται για την SKU χωρητικότητας Fabric που έχει αγοραστεί. Η παραδοχή εργασίας από προεπιλογή θα είναι ένας αισιόδοξος έλεγχος αποδοχής, όπου οι θέσεις εργασίας γίνονται δεκτές με βάση την ελάχιστη απαίτηση πυρήνων τους. Μάθετε περισσότερα σχετικά με την αισιόδοξη εισαγωγή στην εργασία εισαγωγής στην εργασία και διαχείριση Εάν έχει επιλεγεί η προεπιλεγμένη ομάδα συγκέντρωσης (Ομάδα εκκίνησης) για τον χώρο εργασίας, ο παρακάτω πίνακας παραθέτει τα μέγιστα όρια εργασίας ταυτόχρονης εκτέλεσης.

Μάθετε περισσότερα σχετικά με τις προεπιλεγμένες ρυθμίσεις παραμέτρων ομάδας εκκίνησης με βάση το SKU εκχωρημένων πόρων Fabric που ρυθμίζει τις ομάδες εκκίνησης.

Ριπή επιπέδου εργασίας

Οι διαχειριστές μπορούν να ρυθμίσουν τις παραμέτρους των συγκεντρωτικών αποτελεσμάτων Apache Spark ώστε να χρησιμοποιούν τους μέγιστους πυρήνες Spark με διαθέσιμο παράγοντα ριπής για ολόκληρο το σύνολο των εκχωρημένων πόρων. Για παράδειγμα, ένας διαχειριστής χώρου εργασίας με συνδεδεμένο τον χώρο εργασίας του σε εκχωρημένους πόρους F64 Fabric μπορεί πλέον να ρυθμίσει τις παραμέτρους του spark pool (starter pool ή custom pool) σε 384 Spark VCores, όπου οι μέγιστοι κόμβοι ομάδων εκκίνησης μπορούν να οριστούν σε 48 ή οι διαχειριστές μπορούν να ρυθμίσουν μια XX μεγάλη ομάδα μεγέθους κόμβων με 6 μέγιστο κόμβους.

Σχετικό περιεχόμενο