Sdílet prostřednictvím

Monitorování využití prostředků aplikací Apache Sparku

  • Článek

Graf využití exekutoru na kartě Prostředky vizualizuje přidělení a využití exekutorů Spark pro aktuální aplikaci Spark téměř v reálném čase během provádění Sparku. Graf také poskytuje interaktivní prostředí, které umožňuje zobrazit úlohy a úlohy Sparku kliknutím na spuštěné exekutory v daném okamžiku. Tuto funkci v současné době podporují pouze modul runtime Spark verze 3.4 a vyšší.

Karta Zdroje

Kliknutím na kartu Zdroje získáte přístup ke grafu se čtyřmi jedinečnými spojnicovými grafy, z nichž každý znázorňuje jiný stav exekutoru: Běžící, Nečinný, Přidělenýa Maximální počet instancí.

snímek obrazovky znázorňující využití prostředků monitorování

  • Spuštěno: Zobrazuje skutečný počet jader používaný aplikací Spark ke spouštění Spark úloh a úkolů.

  • Idled: Představuje počet jader, která jsou k dispozici, ale nepoužívají se při spuštění aplikace Spark.

  • Přiděleno: Vztahuje se na jádra přidělená během provozu aplikace Spark.

  • maximální počet instancí: Označuje maximální počet jader, která lze přidělit aplikaci Spark.

Přepněte barevnou legendu a vyberte nebo zrušte výběr odpovídajícího grafu v grafu využití prostředků.

Snímek obrazovky znázorňující výběr grafu.

Graf využití prostředků je interaktivní. Když najedete myší na graf spuštěných jader exekutoru, zobrazí se souhrn jader a odpovídajících informací exekutoru. Kliknutím na bod v řádku jádra spuštěného exekutoru se zobrazí podrobné informace o příslušném exekutoru a úloze v daném okamžiku, které se zobrazí v dolní části grafu.

snímek obrazovky znázorňující podrobnosti o přidělení jádra spuštěného exekutoru

Poznámka

V některých případech může počet úkolů v určitých časových bodech překročit kapacitu jader exekutoru (tj. čísla úkolů > celkový počet jader exekutoru / spark.task.cpus). Očekává se, že mezi úlohou označenou jako spuštěnou a jejím skutečným spuštěním v jádru exekutoru může dojít k časové prodlevě. Některé úlohy se proto můžou zobrazit jako spuštěné, ale aktivně neběží na žádném jádru.

Související obsah

Přehled monitorování Spark Fabricu, monitorování aplikací Sparku a monitorování kontextu poznámkového bloku najdete tady: