Χρήση εκτεταμένου διακομιστή ιστορικού Apache Spark για τον εντοπισμό σφαλμάτων και τη διάγνωση εφαρμογών Apache Spark
Αυτό το άρθρο παρέχει οδηγίες σχετικά με τον τρόπο χρήσης του εκτεταμένου διακομιστή ιστορικού Apache Spark για τον εντοπισμό σφαλμάτων και τη διάγνωση ολοκληρωμένων και εκτελέσεων εφαρμογών Apache Spark.
Πρόσβαση στον διακομιστή ιστορικού Apache Spark
Ο διακομιστής ιστορικού Apache Spark είναι το περιβάλλον εργασίας χρήστη Web για ολοκληρωμένες και εκτελώντας εφαρμογές Spark. Μπορείτε να ανοίξετε το περιβάλλον εργασίας χρήστη web Apache Spark (UI) από το σημειωματάριο ένδειξης προόδου ή τη σελίδα λεπτομερειών εφαρμογής Apache Spark.
Άνοιγμα του περιβάλλοντος εργασίας web Spark από το σημειωματάριο δεικτών προόδου
Όταν ενεργοποιείται μια εργασία Apache Spark, το κουμπί για το άνοιγμα του περιβάλλοντος εργασίας web Spark βρίσκεται εντός της επιλογής ενέργειας Περισσότερα στην ένδειξη προόδου. Επιλέξτε Περιβάλλον εργασίας web Spark και περιμένετε μερικά δευτερόλεπτα και, στη συνέχεια, εμφανίζεται η σελίδα Spark UI.
Ανοίξτε το περιβάλλον εργασίας χρήστη web Spark από τη σελίδα λεπτομερειών της εφαρμογής Apache Spark
Το περιβάλλον εργασίας χρήστη web Spark μπορεί επίσης να ανοίξει μέσω της σελίδας λεπτομερειών της εφαρμογής Apache Spark. Επιλέξτε Παρακολούθηση στην αριστερή πλευρά της σελίδας και, στη συνέχεια, επιλέξτε μια εφαρμογή Apache Spark. Εμφανίζεται η σελίδα λεπτομερειών της εφαρμογής.
Για μια εφαρμογή Apache Spark της οποίας η κατάσταση εκτελείται, το κουμπί εμφανίζει το περιβάλλον εργασίας χρήστη Spark. Επιλέξτε Περιβάλλον εργασίας χρήστη Spark και θα εμφανιστεί η σελίδα Spark UI.
Για μια εφαρμογή Apache Spark της οποίας η κατάσταση έχει τερματιστεί, η κατάσταση λήξης μπορεί να διακοπεί, να αποτύχει, να ακυρωθεί ή να ολοκληρωθεί. Το κουμπί εμφανίζει τον διακομιστή ιστορικού Spark. Επιλέξτε Διακομιστής ιστορικού Spark και θα εμφανιστεί η σελίδα Spark UI.
Καρτέλα Graph στον διακομιστή ιστορικού Apache Spark
Επιλέξτε το Αναγνωριστικό εργασίας για την εργασία που θέλετε να προβάλετε. Στη συνέχεια, επιλέξτε Graph στο μενού εργαλείου για να λάβετε την προβολή γραφήματος εργασίας.
Επισκόπηση
Μπορείτε να δείτε μια επισκόπηση της εργασίας σας στο γράφημα εργασίας που δημιουργήθηκε. Από προεπιλογή, το γράφημα εμφανίζει όλες τις εργασίες. Μπορείτε να φιλτράρετε αυτή την προβολή κατά Αναγνωριστικό εργασίας.
Εμφάνιση
Από προεπιλογή, επιλέγεται η εμφάνιση Πρόοδος . Μπορείτε να ελέγξετε τη ροή δεδομένων επιλέγοντας Ανάγνωση ή Εγγραφή στην αναπτυσσόμενη λίστα Εμφάνιση .
Ο κόμβος γραφήματος εμφανίζει τα χρώματα που εμφανίζονται στο υπόμνημα χάρτη θερμότητας.
Αναπαραγωγή
Για να αναπαραγάγετε την εργασία, επιλέξτε Αναπαραγωγή. Μπορείτε να επιλέξετε Διακοπή ανά πάσα στιγμή για να διακόψετε. Τα χρώματα εργασιών εμφανίζουν διαφορετικές καταστάσεις κατά την αναπαραγωγή:
| Color | Νόημα |
|---|---|
| Πράσινο | Ολοκληρώθηκε με επιτυχία: Η εργασία ολοκληρώθηκε με επιτυχία. |
| Πορτοκαλί | Επανάληψη προσπάθειας: Παρουσίες εργασιών που απέτυχαν αλλά δεν επηρεάζουν το τελικό αποτέλεσμα της εργασίας. Αυτές οι εργασίες είχαν διπλότυπες ή επαναλαμβανόμενες παρουσίες που ενδέχεται να επιτύχουν αργότερα. |
| Μπλε | Εκτέλεση: Η εργασία εκτελείται. |
| White | Αναμονή ή παράλειψη: Η εργασία περιμένει να εκτελεστεί ή το στάδιο έχει παραλειφθεί. |
| Κόκκινο | Αποτυχία: Η εργασία απέτυχε. |
Η παρακάτω εικόνα εμφανίζει πράσινα, πορτοκαλί και μπλε χρώματα κατάστασης.
Η παρακάτω εικόνα εμφανίζει χρώματα πράσινης και λευκής κατάστασης.
Η παρακάτω εικόνα εμφανίζει το κόκκινο και το πράσινο χρώμα κατάστασης.
Σημείωση
Ο διακομιστής ιστορικού Apache Spark επιτρέπει την αναπαραγωγή για κάθε ολοκληρωμένη εργασία (αλλά δεν επιτρέπει την αναπαραγωγή για ελλιπείς εργασίες).
Zoom
Χρησιμοποιήστε την κύλιση του ποντικιού για μεγέθυνση και σμίκρυνση του γραφήματος εργασίας ή επιλέξτε Ζουμ για προσαρμογή ώστε να χωράει στην οθόνη.
Επεξηγήσεις εργαλείων
Τοποθετήστε τον δείκτη του ποντικιού στον κόμβο γραφήματος για να δείτε τη συμβουλή εργαλείου όταν υπάρχουν αποτυχημένες εργασίες και επιλέξτε ένα στάδιο για να ανοίξετε τη σελίδα σταδίου.
Στην καρτέλα γραφήματος εργασίας, στα στάδια εμφανίζεται μια συμβουλή εργαλείου και εμφανίζεται ένα μικρό εικονίδιο εάν έχουν εργασίες που πληρούν τις ακόλουθες συνθήκες:
| Κατάσταση | Περιγραφή |
|---|---|
| Αλλοιωμένη χρήση δεδομένων | Τα δεδομένα ανάγνωσης μεγέθους > έχουν μέσο μέγεθος δεδομένων για όλες τις εργασίες στο εσωτερικό αυτού του σταδίου * 2 και τα δεδομένα διαβάζουν μέγεθος > 10 MB. |
| Χρονική αλλοιωμένη τιμή | Μέσος χρόνος εκτέλεσης χρόνου > εκτέλεσης όλων των εργασιών εντός αυτού του σταδίου * 2 και χρόνος > εκτέλεσης 2 λεπτά. |
Περιγραφή κόμβου γραφήματος
Ο κόμβος γραφήματος εργασίας εμφανίζει τις ακόλουθες πληροφορίες για κάθε στάδιο:
- Αναγνωριστικό
- Όνομα ή περιγραφή
- Συνολικός αριθμός εργασίας
- Ανάγνωση δεδομένων: το άθροισμα του μεγέθους εισόδου και η ταξινόμηση μεγέθους ανάγνωσης
- Εγγραφή δεδομένων: το άθροισμα του μεγέθους εξόδου και η ταξινόμηση μεγέθους εγγραφής
- Χρόνος εκτέλεσης: ο χρόνος μεταξύ της ώρας έναρξης της πρώτης προσπάθειας και του χρόνου ολοκλήρωσης της τελευταίας προσπάθειας
- Πλήθος γραμμών: το άθροισμα εγγραφών εισόδου, εγγραφών εξόδου, αναδιάθεση εγγραφών ανάγνωσης και αναδιάθεση εγγραφών εγγραφής
- Πρόοδος
Σημείωση
Από προεπιλογή, ο κόμβος γραφήματος εργασίας εμφανίζει πληροφορίες από την τελευταία προσπάθεια κάθε σταδίου (εκτός από τον χρόνο εκτέλεσης σταδίου). Ωστόσο, κατά τη διάρκεια της αναπαραγωγής, ο κόμβος γραφήματος εμφανίζει πληροφορίες για κάθε προσπάθεια.
Το μέγεθος δεδομένων ανάγνωσης και εγγραφής είναι 1MB = 1000 KB = 1000 * 1000 byte.
Παροχή σχολίων
Στείλτε μας σχόλια για προβλήματα, επιλέγοντας Παροχή σχολίων.
Όριο αριθμού σταδίου
Για να ληφθούν υπόψη οι επιδόσεις, από προεπιλογή το γράφημα είναι διαθέσιμο μόνο όταν η εφαρμογή Spark έχει λιγότερα από 500 στάδια. Εάν υπάρχουν πάρα πολλά στάδια, θα αποτύχει με ένα σφάλμα όπως αυτό:
The number of stages in this application exceeds limit (500), graph page is disabled in this case.
Ως λύση, πριν ξεκινήσετε μια εφαρμογή Spark, εφαρμόστε αυτήν τη ρύθμιση παραμέτρων Spark για να αυξήσετε το όριο:
spark.ui.enhancement.maxGraphStages 1000
Ωστόσο, παρατηρήστε ότι αυτό μπορεί να προκαλέσει κακές επιδόσεις της σελίδας και του API, επειδή το περιεχόμενο μπορεί να είναι πολύ μεγάλο για να το ανακτήσει και να αποδώσει το πρόγραμμα περιήγησης.
Εξερευνήστε την καρτέλα Διάγνωση στον διακομιστή ιστορικού Apache Spark
Για να αποκτήσετε πρόσβαση στην καρτέλα Διάγνωση, επιλέξτε ένα αναγνωριστικό εργασίας. Στη συνέχεια, επιλέξτε Διάγνωση στο μενού εργαλείου για να λάβετε την προβολή διαγνωστικού ελέγχου εργασίας. Η καρτέλα διάγνωσης περιλαμβάνει την Αλλοιωμένη τιμή δεδομένων, τη Χρονική αλλοιωμένη τιμή και την Ανάλυση χρήσης εκτελέσεων.
Ελέγξτε την παραμόρφωση δεδομένων, τη μείωση χρόνου και την ανάλυση χρήσης εκτελέσεων, επιλέγοντας τις καρτέλες αντίστοιχα.
Αλλοιωμένη χρήση δεδομένων
Όταν επιλέγετε την καρτέλα Παραμόρφωση δεδομένων, οι αντίστοιχες αλλοιωμένες εργασίες εμφανίζονται με βάση τις καθορισμένες παραμέτρους.
Καθορισμός παραμέτρων - Η πρώτη ενότητα εμφανίζει τις παραμέτρους, οι οποίες χρησιμοποιούνται για τον εντοπισμό αλλοιώσεις δεδομένων. Ο προεπιλεγμένος κανόνας είναι: τα δεδομένα εργασιών που διαβάζονται είναι μεγαλύτερα από τρεις φορές του μέσου όρου δεδομένων εργασίας που διαβάζονται και τα δεδομένα εργασίας που διαβάζονται είναι περισσότερα από 10 MB. Εάν θέλετε να ορίσετε τον δικό σας κανόνα για παραμορφωμένες εργασίες, μπορείτε να επιλέξετε τις παραμέτρους σας. Οι ενότητες Λοξό στάδιο και Σουβλισμένο char ανανεώνονται αντίστοιχα.
Λοξό στάδιο - Η δεύτερη ενότητα εμφανίζει στάδια, τα οποία έχουν αλλοιωμένες εργασίες που ικανοποιούν τα κριτήρια που καθορίστηκαν προηγουμένως. Εάν υπάρχουν περισσότερες από μία λοξές εργασίες σε ένα στάδιο, ο πίνακας αλλοιωμένων σταδίων εμφανίζει μόνο την πιο παραμορφωμένη εργασία (για παράδειγμα, τα μεγαλύτερα δεδομένα για αλλοιώσεις δεδομένων).
Γράφημα αλλοιώσεων - Όταν επιλέγεται μια γραμμή στον πίνακα αλλοιωμένου σταδίου, το γράφημα αλλοιώσεων εμφανίζει περισσότερες λεπτομέρειες κατανομής εργασιών με βάση τον χρόνο ανάγνωσης δεδομένων και εκτέλεσης. Οι άμορφες εργασίες επισημαίνονται με κόκκινο χρώμα και οι κανονικές εργασίες επισημαίνονται με μπλε χρώμα. Το γράφημα εμφανίζει έως και 100 δείγματα εργασιών και οι λεπτομέρειες της εργασίας εμφανίζονται στον πίνακα στο δεξιό κάτω μέρος.
Χρονική αλλοιωμένη τιμή
Η καρτέλα Χρονική αλλοιωμένη εμφανίζει άμορφες εργασίες με βάση τον χρόνο εκτέλεσης εργασιών.
Καθορισμός παραμέτρων - Η πρώτη ενότητα εμφανίζει τις παραμέτρους, οι οποίες χρησιμοποιούνται για τον εντοπισμό αλλοιώσεις του χρόνου. Τα προεπιλεγμένα κριτήρια για τον εντοπισμό χρονικής αλλοιωμένης είναι: ο χρόνος εκτέλεσης εργασίας είναι μεγαλύτερος από τρεις φορές του μέσου χρόνου εκτέλεσης και ο χρόνος εκτέλεσης εργασίας είναι μεγαλύτερος από 30 δευτερόλεπτα. Μπορείτε να αλλάξετε τις παραμέτρους με βάση τις ανάγκες σας. Το Γράφημα αλλοιωμένων σταδίων και λοξών εμφανίζει τα αντίστοιχα στάδια και πληροφορίες εργασιών όπως ακριβώς και η καρτέλα Παραμόρφωση δεδομένων που περιγράφηκε προηγουμένως.
Επιλέξτε Χρονικό στρέβλωση και, στη συνέχεια, το φιλτραρισμένο αποτέλεσμα εμφανίζεται στην ενότητα Λοξό στάδιο σύμφωνα με τις παραμέτρους που έχουν οριστεί στην ενότητα Καθορισμός παραμέτρων. Επιλέξτε ένα στοιχείο στην ενότητα Λοξό στάδιο , έπειτα το αντίστοιχο γράφημα συντάσσεται στην ενότητα 3 και οι λεπτομέρειες της εργασίας εμφανίζονται στο δεξιό κάτω τμήμα του πίνακα.
Ανάλυση χρήσης εκτελέσεων
Αυτή η δυνατότητα έχει καταργηθεί στο Fabric τώρα. Εάν εξακολουθείτε να θέλετε να το χρησιμοποιήσετε ως λύση, αποκτήστε πρόσβαση στη σελίδα προσθέτοντας ρητά "/executorusage" πίσω από τη διαδρομή "/διαγνωστικό" στη διεύθυνση URL, ως εξής:
