Monitorování podrobností o aplikacích Apache Spark
Pomocí Microsoft Fabric můžete pomocí Apache Sparku spouštět poznámkové bloky, úlohy a další druhy aplikací ve vašem pracovním prostoru. Tento článek vysvětluje, jak monitorovat aplikaci Apache Spark, abyste měli přehled o nedávném stavu spuštění, problémech a průběhu úloh.
Zobrazení aplikací Apache Spark
Můžete zobrazit všechny aplikace Apache Spark z definice úlohy Sparku nebo místní nabídka položky poznámkového bloku zobrazuje poslední možnost spuštění -> Poslední spuštění.
Můžete vybrat název aplikace, kterou chcete zobrazit v seznamu aplikací, na stránce podrobností aplikace můžete zobrazit podrobnosti o aplikaci.
Monitorování stavu aplikace Apache Spark
Otevřete stránku Poslední spuštění poznámkového bloku nebo definice úlohy Sparku, můžete zobrazit stav aplikace Apache.
- Success
- Zařazeno do fronty
- Zastaveno
- Zrušeno
- Neúspěšný
Úlohy
Otevřete úlohu aplikace Apache Spark z místní nabídky definice úlohy Sparku nebo položky poznámkového bloku s možností Poslední spuštění -> Poslední spuštění –> vyberte úlohu na stránce posledního spuštění.
Na stránce s podrobnostmi monitorování aplikací Apache Spark se seznam spuštění úloh zobrazí na kartě Úlohy. Podrobnosti o jednotlivých úlohách můžete zobrazit zde, včetně ID úlohy, popisu, stavu, fází, úkolů, doby trvání, zpracování, čtení dat, zápisu dat a fragmentu kódu.
- Kliknutím na ID úlohy můžete úlohu rozbalit nebo sbalit.
- Kliknutím na popis úlohy můžete přejít na stránku úlohy nebo fáze v uživatelském rozhraní Sparku.
- Klikněte na fragment kódu úlohy, můžete zkontrolovat a zkopírovat kód související s touto úlohou.
Prostředky (Preview)
Graf využití exekutoru vizuálně zobrazuje přidělení exekutorů úloh Sparku a využití prostředků. V současné době tuto funkci zobrazí pouze informace o modulu runtime sparku 3.4 a vyšší. Vyberte Prostředky (Preview) a pak jsou konceptovány čtyři typy křivek o využití exekutoru, včetně spuštění, idledu, přiděleného, maximálního počtu instancí.
U funkce Přiděleno se označuje základní situace, která se přiděluje během spouštění aplikace Spark.
Maximální počet instancí odkazuje na maximální počet jader přidělených aplikaci Spark.
Pro spuštění odkazuje na skutečný počet jader používaných aplikací Spark při spuštění. Klikněte v okamžiku, kdy je aplikace Spark spuštěná. Podrobnosti o přidělení jádra spuštěného exekutoru najdete v dolní části grafu.
U idledu se jedná o počet nepoužívaných jader v době, kdy je aplikace Spark spuštěná.
V některých případech může počet úkolů překročit kapacitu jader exekutoru (tj. čísla > úkolů celkem jader exekutoru / spark.task.cpus). To je podle očekávání, protože mezi úlohou označenou jako spuštěnou je časová mezera a ve skutečnosti běží v jádru exekutoru. Některé úlohy se proto můžou zobrazit jako spuštěné, ale nespustí se na žádném jádru.
Výběrem ikony barvy vyberte nebo zrušte výběr odpovídajícího obsahu ve všech grafech.
Panel Souhrn
Na stránce monitorování aplikací Apache Spark kliknutím na tlačítko Vlastnosti otevřete nebo sbalte souhrnný panel. Podrobnosti pro tuto aplikaci můžete zobrazit v části Podrobnosti.
- Stav této aplikace Spark
- ID této aplikace Spark.
- Celková doba trvání
- Doba běhu pro tuto aplikaci Spark
- Doba fronty pro tuto aplikaci Spark.
- Livy ID
- Odesílejte pro tuto aplikaci Spark.
- Odeslat čas pro tuto aplikaci Spark.
- Počet exekutorů
Protokoly
Na kartě Protokoly můžete zobrazit úplný protokol Livy, Prelaunch, Driver log with different options selected in the left panel. Požadované informace protokolu můžete načíst přímo tak, že vyhledáte klíčová slova a zobrazíte protokoly filtrováním stavu protokolu. Kliknutím na tlačítko Stáhnout protokol stáhnete informace protokolu do místního prostředí.
Někdy nejsou k dispozici žádné protokoly, například stav úlohy se zařadí do fronty a vytvoření clusteru se nezdařilo.
Živé protokoly jsou dostupné jenom v případě, že se odeslání aplikace nezdaří a zadají se také protokoly ovladačů.
Data
Na kartě Data můžete zkopírovat seznam dat ve schránce, stáhnout seznam dat a jednotlivá data a zkontrolovat vlastnosti jednotlivých dat.
- Levý panel lze rozbalit nebo sbalit.
- Název, formát čtení, velikost, zdroj a cesta vstupních a výstupních souborů se zobrazí v tomto seznamu.
- Soubory ve vstupu a výstupu lze stáhnout, zkopírovat cestu a zobrazit vlastnosti.
Snímky položek
Karta Snímky položek umožňuje procházet a zobrazovat položky přidružené k aplikaci Apache Spark, včetně poznámkových bloků, definice úlohy Sparku nebo kanálů. Stránka snímků položek zobrazuje snímek kódu a hodnot parametrů v době provádění poznámkových bloků. Zobrazuje také snímek všech nastavení a parametrů v době odeslání definic úloh Sparku. Pokud je aplikace Apache Spark přidružená k kanálu, zobrazí se na stránce související položky také odpovídající kanál a aktivita Sparku.
Na obrazovce Snímky položek můžete:
- Procházejte související položky v hierarchickém stromu a procházejte je.
- Kliknutím na ikonu se třemi tečkou "Seznam dalších akcí" u každé položky provedete různé akce.
- Kliknutím na položku snímku zobrazíte její obsah.
- Zobrazte popis cesty a zobrazte cestu z vybrané položky do kořenového adresáře.
Poznámka:
Funkce snímků poznámkových bloků v současné době nepodporuje poznámkové bloky, které jsou ve spuštěném stavu nebo v relaci Sparku s vysokou souběžností.
Diagnostika
Diagnostický panel poskytuje uživatelům doporučení v reálném čase a analýzu chyb, které generuje Spark Advisor prostřednictvím analýzy kódu uživatele. Díky integrovaným vzorům pomáhá Apache Spark Advisor uživatelům vyhnout se běžným chybám a analyzovat chyby a identifikovat jejich původní příčinu.
Související obsah
Dalším krokem po zobrazení podrobností aplikace Apache Spark je zobrazení průběhu úlohy Spark pod buňkou Poznámkový blok. Můžete se podívat na: