Ρυθμίσεις παραμέτρων υπολογιστικής λειτουργίας Spark σε περιβάλλοντα Fabric
Οι εμπειρίες Microsoft Fabric Data Engineering και Data Science λειτουργούν σε μια πλήρως διαχειριζόμενη πλατφόρμα υπολογιστικής λειτουργίας Spark. Αυτή η πλατφόρμα έχει σχεδιαστεί για να παρέχει απαράμιλλη ταχύτητα και αποδοτικότητα. Περιλαμβάνει πισίνες εκκίνησης και προσαρμοσμένες πισίνες.
Ένα περιβάλλον Fabric περιέχει μια συλλογή ρυθμίσεων παραμέτρων, συμπεριλαμβανομένων των ιδιοτήτων spark compute που επιτρέπουν στους χρήστες να ρυθμίζουν τις παραμέτρους της περιόδου λειτουργίας Spark μετά την επισύναψή τους σε σημειωματάρια και εργασίες Spark. Με ένα περιβάλλον, έχετε έναν ευέλικτο τρόπο προσαρμογής των υπολογιστικών ρυθμίσεων για την εκτέλεση των εργασιών Spark. Σε ένα περιβάλλον, η ενότητα υπολογισμού σάς επιτρέπει να ρυθμίσετε τις παραμέτρους των ιδιοτήτων επιπέδου περιόδου λειτουργίας Spark για να προσαρμόσετε τη μνήμη και τους πυρήνες των εκτελέσεων με βάση τις απαιτήσεις φόρτου εργασίας. Οι ιδιότητες Spark που έχουν οριστεί μέσω spark.conf.set ελέγχουν τις παραμέτρους επιπέδου εφαρμογής και δεν σχετίζονται με μεταβλητές περιβάλλοντος.
Οι διαχειριστές χώρου εργασίας μπορούν να ενεργοποιήσουν ή να απενεργοποιήσουν τις υπολογιστικές προσαρμογές με την Προσαρμογή ρυθμίσεων υπολογιστικής λειτουργίας για στοιχεία εναλλαγή στην καρτέλα Pool της ενότητας Διαχείριση δεδομένων/Επιστήμη στην οθόνη ρυθμίσεων χώρου εργασίας.
Οι διαχειριστές χώρου εργασίας μπορούν να αναθέσουν στα μέλη και τους συμβάλλοντες την αλλαγή των προεπιλεγμένων ρυθμίσεων υπολογιστικής λειτουργίας σε επίπεδο περιόδου λειτουργίας στο περιβάλλον s Fabric, ενεργοποιώντας αυτήν τη ρύθμιση.
Εάν ο διαχειριστής χώρου εργασίας απενεργοποιήσει αυτή την επιλογή στις ρυθμίσεις χώρου εργασίας, η ενότητα υπολογιστικής λειτουργίας του περιβάλλοντος απενεργοποιείται και οι προεπιλεγμένες ρυθμίσεις παραμέτρων υπολογιστικού χώρου συγκέντρωσης για τον χώρο εργασίας χρησιμοποιούνται για την εκτέλεση εργασιών Spark.
Προσαρμογή των ιδιοτήτων υπολογιστικής λειτουργίας σε επίπεδο περιόδου λειτουργίας σε ένα περιβάλλον
Ως χρήστης, μπορείτε να επιλέξετε έναν χώρο συγκέντρωσης για το περιβάλλον από τη λίστα των ομάδων που είναι διαθέσιμοι στον χώρο εργασίας Fabric. Ο διαχειριστής του χώρου εργασίας Fabric δημιουργεί την προεπιλεγμένη ομάδα εκκίνησης και προσαρμοσμένες ομάδες.
Αφού επιλέξετε έναν χώρο συγκέντρωσης στην ενότητα Υπολογιστική, μπορείτε να ρυθμίσετε τους πυρήνες και τη μνήμη για τους εκτελέσεις εντός των ορίων του μεγέθους και των ορίων του επιλεγμένου κόμβου.
Για παράδειγμα: Επιλέγετε έναν προσαρμοσμένο χώρο συγκέντρωσης με μέγεθος κόμβου μεγάλο, το οποίο είναι 16 Spark vCore, ως χώρο συγκέντρωσης περιβάλλοντος. Στη συνέχεια, μπορείτε να επιλέξετε τον πυρήνα οδηγού/εκτελέσιμου να είναι είτε 4, 8 είτε 16, με βάση τις απαιτήσεις επιπέδου εργασίας σας. Για τη μνήμη που έχει εκχωρηθεί στο πρόγραμμα οδήγησης και τους εκτελεστές, μπορείτε να επιλέξετε 28 g, 56 g ή 112 g, τα οποία βρίσκονται όλα εντός των ορίων ενός ορίου μνήμης μεγάλου κόμβου.
Για περισσότερες πληροφορίες σχετικά με τα μεγέθη υπολογιστικής λειτουργίας Spark και τους πυρήνες ή τις επιλογές μνήμης, ανατρέξτε στο θέμα Τι είναι το Spark compute στο Microsoft Fabric;.