Παρακολούθηση χρήσης πόρων εφαρμογών Apache Spark

Το γράφημα χρήσης εκτελέσεων στην καρτέλα Πόροι απεικονίζει την εκχώρηση και τη χρήση εκτελέσεων Spark για την τρέχουσα εφαρμογή Spark σε σχεδόν πραγματικό χρόνο κατά τη διάρκεια της εκτέλεσης του Spark. Το γράφημα παρέχει επίσης μια αλληλεπιδραστική εμπειρία, η οποία σας επιτρέπει να προβάλετε εργασίες Spark και εργασίες, κάνοντας κλικ στην εκτέλεση εκτελέσεων σε μια δεδομένη στιγμή. Προς το παρόν, μόνο η έκδοση 3.4 του Spark και νεότερες εκδόσεις υποστηρίζουν αυτή τη δυνατότητα.

Καρτέλα "Πόροι"

Κάντε κλικ στην καρτέλα Πόροι του για να αποκτήσετε πρόσβαση σε ένα γράφημα με τέσσερα διακριτά γραφήματα γραμμών, καθένα από τα οποία απεικονίζει διαφορετική κατάσταση εκτέλεσης: Εκτέλεση, Idled, Εκχωρημένωνκαι Μέγιστες παρουσίες.

• Εκτέλεση: Εμφανίζει τον πραγματικό αριθμό πυρήνων που χρησιμοποιούνται από την εφαρμογή Spark για την εκτέλεση εργασιών Spark.

• idled: Αντιπροσωπεύει τον αριθμό των πυρήνων που είναι διαθέσιμοι αλλά δεν χρησιμοποιείται κατά την εκτέλεση της εφαρμογής Spark.

• Εκχωρημένες: Αναφέρεται στους πυρήνες που εκχωρήθηκαν κατά τη διάρκεια της λειτουργίας της εφαρμογής Spark.

• μέγιστου αριθμού παρουσιών: Αυτό υποδεικνύει τον μέγιστο αριθμό πυρήνων που μπορούν να εκχωρηθούν στην εφαρμογή Spark.

Αλλάξτε το υπόμνημα χρώματος για να επιλέξετε ή να καταργήσετε την επιλογή του αντίστοιχου γραφήματος στο γράφημα χρήσης πόρων.

Το γράφημα χρήσης πόρων είναι αλληλεπιδραστικό. Όταν τοποθετείτε τον δείκτη του ποντικιού επάνω στο γράφημα πυρήνων εκτέλεσης, θα εμφανιστεί μια σύνοψη των πυρήνων και των αντίστοιχων πληροφοριών εκτέλεσης. Κάνοντας κλικ σε ένα σημείο της γραμμής πυρήνα εκτέλεσης θα εμφανιστούν λεπτομερείς πληροφορίες σχετικά με το αντίστοιχο εκτελέσιμο αρχείο και εργασία τη συγκεκριμένη στιγμή, που εμφανίζονται στο κάτω μέρος του γραφήματος.

Σημείωση

Σε ορισμένες περιπτώσεις, σε συγκεκριμένα χρονικά σημεία, ο αριθμός των εργασιών μπορεί να υπερβαίνει τη χωρητικότητα των πυρήνων εκτέλεσης (δηλαδή, οι αριθμοί εργασιών > συνολικών πυρήνων εκτελέσεων / spark.task.cpus). Αυτό αναμένεται, καθώς μπορεί να υπάρχει ένα χρονικό κενό μεταξύ μιας εργασίας που επισημαίνεται ως εκτέλεση και της πραγματικής εκτέλεσής της σε έναν πυρήνα εκτέλεσης. Επομένως, ορισμένες εργασίες μπορεί να εμφανίζονται ως εκτελούμενες, αλλά δεν εκτελούνται ενεργά σε οποιονδήποτε πυρήνα.

Σχετικό περιεχόμενο

Για μια επισκόπηση της παρακολούθησης Fabric Spark, της παρακολούθησης εφαρμογών Spark και της παρακολούθησης βάσει περιεχομένου Notebook, μπορείτε να αναφερθείτε στα εξής:

• Επισκόπηση παρακολούθησης του Apache Spark
• παρακολούθησης λεπτομερειών εφαρμογής Apache Spark
• παρακολούθησης και εντοπισμού σφαλμάτων στο Σημειωματάριο