Resourcegebruik van Apache Spark-toepassingen bewaken
De grafiek met het gebruik van uitvoerders onder het tabblad Resources visualiseert de toewijzing en het gebruik van Spark-uitvoerders voor de huidige Spark-toepassing in bijna realtime tijdens de uitvoering van Spark. De grafiek biedt ook een interactieve ervaring, waarmee u Spark-jobs en -taken kunt weergeven door op een bepaald moment op actieve uitvoerders te klikken. Momenteel ondersteunen alleen Spark Runtime versie 3.4 en hoger deze functie.
Tabblad Bronnen
Klik op het tabblad Resources om toegang te krijgen tot een grafiek met vier afzonderlijke lijndiagrammen, die elk een andere uitvoeringsstatus weergeven: Actief, Gepauzeerd, Toegewezenen Maximale exemplaren.
uitvoeren: dit toont het werkelijke aantal kernen dat door de Spark-toepassing wordt gebruikt om Spark-taken en -taken uit te voeren.
Inactief: Dit vertegenwoordigt het aantal kernen dat beschikbaar is, maar niet wordt gebruikt terwijl de Spark-toepassing draait.
Toegewezen: dit verwijst naar de kernen die zijn toegewezen tijdens de werking van de Spark-toepassing.
maximale aantal instanties: Dit geeft het maximale aantal kernen aan dat kan worden toegewezen aan de Spark-toepassing.
Schakel de kleurlegenda aan of uit om de bijbehorende grafiek in het middelengebruiksdiagram te selecteren of de selectie op te heffen.
De grafiek met resourcegebruik is interactief. Wanneer u de muisaanwijzer boven de grafiek met actieve uitvoerderskernen beweegt, wordt een samenvatting van de kernen en bijbehorende uitvoerdersinformatie weergegeven. Als u op een punt in de actieve uitvoerderskernlijn klikt, worden gedetailleerde informatie weergegeven over de respectieve uitvoerder en taak op dat specifieke moment, weergegeven onder aan de grafiek.
Notitie
In sommige gevallen kan het aantal taken op bepaalde tijdstippen de capaciteit van de uitvoerderskernen overschrijden (bijvoorbeeld taaknummers > totaal aantal uitvoerders / spark.task.cpus). Dit wordt verwacht, omdat er mogelijk een tijdsverschil is tussen een taak die wordt gemarkeerd als actief en de werkelijke uitvoering ervan op een uitvoerderskern. Daarom kunnen sommige taken worden weergegeven als actief, maar ze worden niet actief uitgevoerd op een kern.
Verwante inhoud
Voor een overzicht van fabric Spark-bewaking, Spark-toepassingsbewaking en contextuele bewaking van notebooks, kunt u het volgende raadplegen: