Αναφορές χρέωσης και χρήσης για το Apache Spark στο Microsoft Fabric
Ισχύει για:✅ Διαχείριση δεδομένων και Επιστήμη δεδομένων στο Microsoft Fabric
Αυτό το άρθρο εξηγεί τη χρήση υπολογιστικών στοιχείων και τις αναφορές για το ApacheSpark, το οποίο υποστηρίζει τους φόρτους εργασίας Fabric Data Engineering και Science στο Microsoft Fabric. Η υπολογιστική χρήση περιλαμβάνει λειτουργίες lakehouse όπως προεπισκόπηση πίνακα, φόρτωση σε δέλτα, εκτελέσεις σημειωματάριου από τη διασύνδεση, προγραμματισμένες εκτελέσεις, εκτελέσεις που ενεργοποιούνται από βήματα σημειωματάριου στις διοχετεύσεις και εκτελέσεις ορισμού εργασίας Apache Spark.
Όπως και με άλλες εμπειρίες στο Microsoft Fabric, η Διαχείριση δεδομένων χρησιμοποιεί επίσης τους εκχωρημένους πόρους που σχετίζονται με έναν χώρο εργασίας για την εκτέλεση αυτών των εργασιών και οι συνολικές χρεώσεις εκχωρημένων πόρων εμφανίζονται στην πύλη Azure στη συνδρομή σας Διαχείρισης κόστους της Microsoft. Για να μάθετε περισσότερα σχετικά με τις χρεώσεις Fabric, ανατρέξτε στο θέμα Κατανόηση του λογαριασμού σας Azure σε εκχωρημένους πόρους Fabric.
Χωρητικότητα fabric
Εσείς, ως χρήστης, θα μπορούσατε να αγοράσετε ένα σύνολο εκχωρημένων πόρων Fabric από το Azure, καθορίζοντας τη χρήση μιας συνδρομής Azure. Το μέγεθος των εκχωρημένων πόρων προσδιορίζει την ποσότητα της διαθέσιμης υπολογιστικής ισχύος. Για το Apache Spark για Fabric, κάθε CU που αγοράστηκε μεταφράζεται σε 2 εικονικούς πυρήνες Apache Spark. Για παράδειγμα, αν αγοράσετε ένα σύνολο εκχωρημένων πόρων F128 Fabric, αυτό μεταφράζεται σε 256 SparkVCores. Ένα σύνολο εκχωρημένων πόρων Fabric είναι κοινόχρηστο σε όλους τους χώρους εργασίας που προστίθενται σε αυτόν και στους οποίους το σύνολο των υπολογισμών Apache Spark που επιτρέπονται τίθεται σε κοινή χρήση σε όλες τις εργασίες που υποβάλλονται από όλους τους χώρους εργασίας που σχετίζονται με ένα σύνολο εκχωρημένων πόρων. Για να κατανοήσετε τα διαφορετικά SKU, την εκχώρηση πυρήνων και τον περιορισμό στο Spark, ανατρέξτε στο θέμα Όρια ταυτόχρονης εκτέλεσης και τοποθέτηση σε ουρά στο Apache Spark για το Microsoft Fabric.
Ρύθμιση παραμέτρων υπολογιστικής λειτουργίας Spark και αγορά εκχωρημένων πόρων
Το Apache Spark compute for Fabric προσφέρει δύο επιλογές σε ό,τι αφορά τη ρύθμιση παραμέτρων υπολογιστικής λειτουργίας.
Ομάδες εκκίνησης: Αυτές οι προεπιλεγμένες πισίνες είναι γρήγορος και εύκολος τρόπος για να χρησιμοποιήσετε το Spark στην πλατφόρμα Microsoft Fabric μέσα σε λίγα δευτερόλεπτα. Μπορείτε να χρησιμοποιήσετε αμέσως περιόδους λειτουργίας Spark, αντί να περιμένετε το Spark να ρυθμίσει τους κόμβους για εσάς, το οποίο σας βοηθά να κάνετε περισσότερα με τα δεδομένα και να λάβετε πληροφορίες πιο γρήγορα. Σε ό,τι αφορά τη χρέωση και τη χρήση εκχωρημένων πόρων, χρεώνεστε όταν ξεκινάτε την εκτέλεση του σημειωματάριου ή του ορισμού εργασίας Spark ή της λειτουργίας lakehouse. Δεν χρεώνεστε για το χρόνο που τα συμπλέγματα είναι αδρανή στην πισίνα.
Για παράδειγμα, εάν υποβάλετε μια εργασία σημειωματάριου σε μια ομάδα εκκίνησης, χρεώνεστε μόνο για τη χρονική περίοδο όπου είναι ενεργή η περίοδος λειτουργίας σημειωματάριου. Ο χρόνος που τιμολογείται δεν περιλαμβάνει τον χρόνο αδράνειας ή τον χρόνο που απαιτείται για την εξατομίκευση της περιόδου λειτουργίας με το περιβάλλον Spark. Για να κατανοήσετε περισσότερα σχετικά με τη ρύθμιση παραμέτρων των πινκών εκκίνησης με βάση το SKU εκχωρημένων πόρων Fabric που έχετε αγοράσει, επισκεφθείτε την ενότητα Ρύθμιση παραμέτρων πινκών εκκίνησης με βάση τη χωρητικότητα Fabric
Spark pools: Πρόκειται για προσαρμοσμένους χώρους συγκέντρωσης, όπου μπορείτε να προσαρμόσετε το μέγεθος των πόρων που χρειάζεστε για τις εργασίες ανάλυσης δεδομένων. Μπορείτε να ονομάσετε τον χώρο συγκέντρωσης Spark και να επιλέξετε τον αριθμό και το μέγεθος των κόδων (οι υπολογιστές που κάνουν τη δουλειά). Μπορείτε επίσης να πείτε στο Spark πώς να προσαρμόσει τον αριθμό των κόκκων ανάλογα με την εργασία που έχετε. Η δημιουργία ενός Spark pool είναι δωρεάν. Πληρώνεις μόνο όταν δουλεύεις ένα Σπινθήρα στην πισίνα, και μετά ο Σπαρκ ανοίγει τους κόμβους για σένα.
- Το μέγεθος και ο αριθμός των κόδων που μπορείτε να έχετε στον προσαρμοσμένο χώρο συγκέντρωσης Spark εξαρτάται από τους εκχωρημένους πόρους Microsoft Fabric που διαθέτετε. Μπορείτε να χρησιμοποιήσετε αυτούς τους Πυρήνες Spark για να δημιουργήσετε κόμβους διαφορετικού μεγέθους για το προσαρμοσμένο spark pool σας, εφόσον ο συνολικός αριθμός των Spark VCore δεν υπερβαίνει τους 128.
- Οι ομάδες σπινθήρων χρεώνονται όπως οι πισίνες εκκίνησης. Δεν πληρώνετε για τα προσαρμοσμένα spark pool που έχετε δημιουργήσει, εκτός εάν έχετε μια ενεργή περίοδο λειτουργίας Spark που δημιουργήθηκε για την εκτέλεση ενός σημειωματάριου ή ορισμού εργασίας Spark. Χρεώνεστε μόνο για τη διάρκεια εκτέλεσης της εργασίας σας. Δεν έχετε χρεωθεί για στάδια όπως η δημιουργία συμπλέγματος και η εκχώρηση μετά την ολοκλήρωση της εργασίας.
Για παράδειγμα, εάν υποβάλετε μια εργασία σημειωματάριου σε ένα προσαρμοσμένο Spark pool, χρεώνεστε μόνο για τη χρονική περίοδο κατά την οποία είναι ενεργή η περίοδος λειτουργίας. Η χρέωση για αυτή την περίοδο λειτουργίας σημειωματάριου διακόπτεται όταν η περίοδος λειτουργίας Spark έχει διακοπεί ή λήξει. Δεν χρεώνεστε για τον χρόνο που απαιτείται για την απόκτηση παρουσιών συμπλέγματος από το cloud ή για τον χρόνο που απαιτείται για την προετοιμασία του περιβάλλοντος Spark. Για να κατανοήσετε περισσότερα σχετικά με τη ρύθμιση παραμέτρων των pools Spark με βάση την SKU εκχωρημένων πόρων Fabric που αγοράσατε, επισκεφθείτε την ενότητα Ρύθμιση παραμέτρων pools με βάση τους Εκχωρημένους πόρους Fabric
Σημείωση
Η προεπιλεγμένη χρονική περίοδος λειτουργίας λήξης για τις Ομάδες εκκίνησης και τα Spark Pools που δημιουργείτε ορίζεται σε 20 λεπτά. Εάν δεν χρησιμοποιείτε το Spark pool για 2 λεπτά μετά τη λήξη της περιόδου λειτουργίας, το Spark pool σας θα εκχωρηθεί. Για να διακόψετε την περίοδο λειτουργίας και τις χρεώσεις μετά την ολοκλήρωση της εκτέλεσης του σημειωματάριου πριν από τη χρονική περίοδο λήξης της περιόδου λειτουργίας, μπορείτε είτε να κάνετε κλικ στο κουμπί διακοπής περιόδου λειτουργίας από το μενού αρχικής σελίδας των σημειωματάριων, είτε να μεταβείτε στη σελίδα κέντρου παρακολούθησης και να διακόψετε την περίοδο λειτουργίας εκεί.
Αναφορά χρήσης υπολογιστικής λειτουργίας Spark
Η εφαρμογή Μετρικά εκχωρημένων πόρων Microsoft Fabric παρέχει ορατότητα στη χρήση εκχωρημένων πόρων για όλους τους φόρτους εργασίας Fabric σε ένα σημείο. Χρησιμοποιείται από τους διαχειριστές εκχωρημένων πόρων για την παρακολούθηση της απόδοσης των φόρτων εργασίας και της χρήσης τους, σε σύγκριση με τους εκχωρημένους πόρους που έχουν αγοραστεί.
Αφού εγκαταστήσετε την εφαρμογή, επιλέξτε τον τύπο στοιχείου Notebook, Lakehouse, Spark Job Definition από την αναπτυσσόμενη λίστα Επιλογή είδους στοιχείου: αναπτυσσόμενη λίστα. Το γράφημα πολυμετρικών κορδελών μπορεί τώρα να προσαρμοστεί στο επιθυμητό χρονικό πλαίσιο για να κατανοήσετε τη χρήση από όλα αυτά τα επιλεγμένα στοιχεία.
Όλες οι λειτουργίες που σχετίζονται με Spark ταξινομούνται ως λειτουργίες παρασκηνίου. Η κατανάλωση εκχωρημένων πόρων από το Spark εμφανίζεται κάτω από ένα σημειωματάριο, έναν ορισμό εργασίας Spark ή μια λίμνη και συναθροίζεται με βάση το όνομα και το στοιχείο της λειτουργίας. Για παράδειγμα: Εάν εκτελέσετε μια εργασία σημειωματάριου, μπορείτε να δείτε την εκτέλεση του σημειωματάριου, τα CUS που χρησιμοποιούνται από το σημειωματάριο (το Total Spark VCores/2 ως 1 CU δίνει 2 Spark VCores), διάρκεια που έχει ληφθεί στην αναφορά.
Για να κατανοήσετε περισσότερα σχετικά με τις αναφορές χρήσης εκχωρημένων πόρων Spark, ανατρέξτε στο θέμα Παρακολούθηση κατανάλωσης εκχωρημένων πόρων Apache Spark
Παράδειγμα χρέωσης
Σκεφτείτε το ακόλουθο σενάριο:
Υπάρχει ένα σύνολο εκχωρημένων πόρων C1 που φιλοξενεί έναν χώρο εργασίας Fabric W1 και αυτός ο χώρος εργασίας περιέχει lakehouse LH1 και Notebook NB1.
- Οποιαδήποτε λειτουργία Spark που εκτελεί το notebook(NB1) ή lakehouse(LH1) αναφέρεται στο σύνολο εκχωρημένων πόρων C1.
Επεκτείνοντας αυτό το παράδειγμα σε ένα σενάριο όπου υπάρχει ένα άλλο Σύνολο εκχωρημένων πόρων C2 που φιλοξενεί έναν χώρο εργασίας Fabric W2 και ας υποθέσουμε ότι αυτός ο χώρος εργασίας περιέχει έναν ορισμό εργασίας Spark (SJD1) και Lakehouse (LH2).
- Εάν ο ορισμός εργασίας Spark (SDJ2) από τον χώρο εργασίας (W2) διαβάζει δεδομένα από μια λίμνη (LH1), η χρήση αναφέρεται σε σχέση με το Σύνολο εκχωρημένων πόρων C2 που σχετίζεται με τον χώρο εργασίας (W2) που φιλοξενεί το στοιχείο.
- Εάν το Notebook (NB1) εκτελεί μια λειτουργία ανάγνωσης από το Lakehouse(LH2), η κατανάλωση των εκχωρημένων πόρων αναφέρεται σε σχέση με το Σύνολο εκχωρημένων πόρων C1 που τροφοδοτεί τον χώρο εργασίας W1 που φιλοξενεί το στοιχείο σημειωματάριου.