Sdílet prostřednictvím

Ladění úloh Sparku se selháním s využitím sady Azure Toolkit for IntelliJ (Preview)

  • Článek

Tento článek obsahuje podrobné pokyny k používání nástrojů HDInsight v sadě Azure Toolkit for IntelliJ ke spouštění aplikací Spark Failure Debug .

Požadavky

Vytvoření projektu pomocí šablony ladění

Vytvořte projekt spark2.3.2, který bude pokračovat v ladění selhání. V tomto dokumentu proveďte ukázkový soubor ladění úloh selhání.

  1. Otevřete IntelliJ IDEA. Otevřete okno Nový projekt.

    a. V levém podokně vyberte Azure Spark/HDInsight .

    b. V hlavním okně vyberte Projekt Sparku s ukázkou ladění úloh selhání (Preview)(Scala).

    IntelliJ Vytvoří ladicí projekt.

    c. Vyberte Další.

  2. V okně Nový projekt proveďte následující kroky:

    Nový projekt IntelliJ vyberte verzi Sparku.

    a. Zadejte název projektu a umístění projektu.

    b. V rozevíracím seznamu Sady Project SDK vyberte Java 1.8 pro cluster Spark 2.3.2 .

    c. V rozevíracím seznamu Verze Sparku vyberte Spark 2.3.2(Scala 2.11.8).

    d. Vyberte Dokončit.

  3. Výběrem hlavní>scaly src>otevřete kód v projektu. Tento příklad používá skript AgeMean_Div().

Spuštění aplikace Spark Scala/Java v clusteru HDInsight

Vytvořte aplikaci Spark Scala/Java a pak ji spusťte v clusteru Spark pomocí následujících kroků:

  1. Kliknutím na Přidat konfiguraci otevřete okno Konfigurace spuštění nebo ladění .

    Konfigurace doplňku HDI IntelliJ

  2. V dialogovém okně Spustit nebo ladit konfigurace vyberte znaménko plus (+). Pak vyberte možnost Apache Spark ve službě HDInsight .

    IntelliJ – Přidání nové konfigurace

  3. Přepněte na kartu Vzdálené spuštění v clusteru . Zadejte informace pro název, cluster Spark a název hlavní třídy. Naše nástroje podporují ladění pomocí exekutorů. numExecutors, výchozí hodnota je 5 a lépe byste nenastavili vyšší než 3. Pokud chcete zkrátit dobu běhu, můžete do konfigurace úloh přidat spark.yarn.maxAppAttempts a nastavit hodnotu na 1. Kliknutím na tlačítko OK uložte konfiguraci.

    IntelliJ Spusťte nové konfigurace ladění.

  4. Konfigurace se teď uloží s zadaným názvem. Pokud chcete zobrazit podrobnosti o konfiguraci, vyberte název konfigurace. Pokud chcete provést změny, vyberte Upravit konfigurace.

  5. Po dokončení nastavení konfigurací můžete projekt spustit na vzdáleném clusteru.

    IntelliJ Debug Remote Spark Job Remote Run button.

  6. ID aplikace můžete zkontrolovat z okna výstupu.

    Výsledek vzdáleného spuštění úlohy Sparku v IntelliJ Debug

Stažení profilu neúspěšné úlohy

Pokud odeslání úlohy selže, můžete profil neúspěšné úlohy stáhnout do místního počítače pro další ladění.

  1. Otevřete Průzkumník služby Microsoft Azure Storage, vyhledejte účet HDInsight clusteru pro neúspěšnou úlohu, stáhněte prostředky neúspěšné úlohy z odpovídajícího umístění: \hdp\spark2-events\.spark-failures\<ID> aplikace do místní složky. V okně aktivit se zobrazí průběh stahování.

    Průzkumník služby Azure Storage selhání stahování.

    Průzkumník služby Azure Storage úspěšné stažení.

Konfigurace místního prostředí ladění a ladění při selhání

  1. Otevřete původní projekt nebo vytvořte nový projekt a přidružte ho k původnímu zdrojovému kódu. Ladění selhání v současné době podporuje pouze verze Spark2.3.2.

  2. V IntelliJ IDEA vytvořte konfigurační soubor ladění selhání Sparku, vyberte soubor FTD z dříve stažených prostředků neúspěšné úlohy pro pole umístění kontextu selhání úlohy Sparku.

    konfigurace selhání kréty.

  3. Klikněte na tlačítko místního spuštění na panelu nástrojů. Chyba se zobrazí v okně Spustit.

    run-failure-configuration1.

    run-failure-configuration2.

  4. Nastavte zarážku tak, jak to značí protokol, a potom klikněte na tlačítko místního ladění a proveďte místní ladění stejně jako běžné projekty Scala / Java v IntelliJ.

  5. Po úspěšném dokončení ladění můžete po úspěšném dokončení projektu znovu odeslat neúspěšnou úlohu sparku v clusteru HDInsight.

Další kroky

Scénáře

Vytvoření a spouštění aplikací

Nástroje a rozšíření

Řízení zdrojů