Gebruik Synapse Studio om uw Apache Spark-toepassingen te bewaken

Met Azure Synapse Analytics kunt u Apache Spark gebruiken om notebooks, taken en andere soorten toepassingen uit te voeren in uw Apache Spark-pools in uw werkruimte.

In dit artikel wordt uitgelegd hoe u uw Apache Spark-toepassingen kunt bewaken, zodat u de meest recente status, problemen en voortgang in de gaten kunt houden.

Apache Spark-toepassingen weergeven

U kunt alle Apache Spark-toepassingen weergeven vanuit Monitor ->Apache Spark-toepassingen.

Voltooide Apache Spark-toepassingen weergeven

Open Monitor en selecteer vervolgens Apache Spark-toepassingen. Als u de details over de voltooide Apache Spark-toepassingen wilt weergeven, selecteert u de Apache Spark-toepassing.

1. Controleer voltooide taken, status en totale duur.

2. Vernieuw de taak.

3. Klik op Toepassingen vergelijken om de vergelijkingsfunctie te gebruiken. Zie Apache Spark-toepassingen vergelijken voor meer informatie over deze functie.

4. Klik op Spark-geschiedenisserver om de pagina Geschiedenisserver te openen.

5. Controleer de samenvattingsgegevens .

6. Controleer de diagnostische gegevens op het tabblad Diagnostische gegevens .

7. Controleer de logboeken. U kunt het volledige logboek van livy-, prelaunch- en stuurprogrammalogboeken weergeven door verschillende opties in de vervolgkeuzelijst te selecteren. En u kunt de vereiste logboekgegevens rechtstreeks ophalen door te zoeken naar trefwoorden. Klik op Logboek downloaden om de logboekgegevens naar de lokale te downloaden en schakel het selectievakje Filterfouten en -waarschuwingen in om de benodigde fouten en waarschuwingen te filteren.

8. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. In de grafiek worden standaard alle taken weergegeven. U kunt deze weergave filteren op taak-id.

9. Standaard is de weergave Voortgang geselecteerd. U kunt de gegevensstroom controleren door Voortgang/lezen/geschreven/duur te selecteren in de vervolgkeuzelijst Weergave .

10. Als u de taak wilt afspelen, klikt u op de knop Afspelen . U kunt op elk gewenst moment op de knop Stoppen klikken om te stoppen.

11. Gebruik de schuifbalk om in te zoomen en de taakgrafiek uit te zoomen. U kunt ook Passend maken selecteren om deze op het scherm te laten passen.

12. In het taakgrafiekknooppunt wordt de volgende informatie van elke fase weergegeven:

    • Taak-id

    • Taaknummer

    • Duur tijd

    • Aantal rijen

    • Gelezen gegevens: de som van de invoergrootte en willekeurige leesgrootte

    • Geschreven gegevens: de som van de uitvoergrootte en de grootte van willekeurige schrijfbewerkingen

    • Fasenummer

      

13. Beweeg de muisaanwijzer over een taak en de taakdetails worden weergegeven in de knopinfo:

    • Pictogram van taakstatus: als de taakstatus is geslaagd, wordt deze weergegeven als een groene '√'; als de taak een probleem detecteert, wordt er een gele '!' weergegeven

    • Taak-id

    • Algemeen onderdeel:

      • Voortgang
      • Duur tijd
      • Totaal aantal taken

    • Gegevensonderdeel:

      • Totaal aantal rijen
      • Leesgrootte
      • Geschreven grootte

    • Scheefheidsonderdeel:

      • Ongelijkheid in gegevens
      • Tijdsverschil

    • Fasenummer

      

14. Klik op Fasenummer om alle fasen in de taak uit te vouwen. Klik op Samenvouwen naast de taak-id om alle fasen in de taak samen te vouwen.

15. Klik op Details weergeven in een fasegrafiek, waarna de details voor een fase worden weergegeven.

    

Voortgang van Apache Spark-toepassing bewaken

Open Monitor en selecteer vervolgens Apache Spark-toepassingen. Als u de details wilt weergeven over de Apache Spark-toepassingen die worden uitgevoerd, selecteert u de ingediende Apache Spark-toepassing. Als de Apache Spark-toepassing nog steeds wordt uitgevoerd, kunt u de voortgang controleren.

1. Controleer voltooide taken, status en totale duur.

2. De Apache Spark-toepassing annuleren.

3. Vernieuw de taak.

4. Klik op de knop Spark UI om naar de pagina Spark-taak te gaan.

5. Voor Taakgrafiek, Samenvatting, Diagnostische gegevens, Logboeken. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. Raadpleeg stap 5 - 15 van Voltooide Apache Spark-toepassingen weergeven.

Geannuleerde Apache Spark-toepassingen weergeven

Open Monitor en selecteer vervolgens Apache Spark-toepassingen. Als u de details over de geannuleerde Apache Spark-toepassingen wilt weergeven, selecteert u de Apache Spark-toepassing.

1. Controleer voltooide taken, status en totale duur.

2. Vernieuw de taak.

3. Klik op Toepassingen vergelijken om de vergelijkingsfunctie te gebruiken. Zie Apache Spark-toepassingen vergelijken voor meer informatie over deze functie.

4. Open de koppeling Apache-geschiedenisserver door op Spark-geschiedenisserver te klikken.

5. Bekijk de grafiek. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. Raadpleeg stap 5 - 15 van Voltooide Apache Spark-toepassingen weergeven.

Fouten opsporen in mislukte Apache Spark-toepassing

Open Monitor en selecteer vervolgens Apache Spark-toepassingen. Als u de details over de mislukte Apache Spark-toepassingen wilt weergeven, selecteert u de Apache Spark-toepassing.

1. Controleer voltooide taken, status en totale duur.

2. Vernieuw de taak.

3. Klik op Toepassingen vergelijken om de vergelijkingsfunctie te gebruiken. Zie Apache Spark-toepassingen vergelijken voor meer informatie over deze functie.

4. Open de koppeling Apache-geschiedenisserver door op Spark-geschiedenisserver te klikken.

5. Bekijk de grafiek. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. Raadpleeg stap 5 - 15 van Voltooide Apache Spark-toepassingen weergeven.

Invoergegevens/uitvoergegevens weergeven

Selecteer een Apache Spark-toepassing en klik op het tabblad Invoergegevens/Uitvoergegevens om de datums van de invoer en uitvoer voor de Apache Spark-toepassing weer te geven. Deze functie kan u helpen bij het opsporen van fouten in de Spark-taak. En de gegevensbron ondersteunt drie opslagmethoden: gen1, gen2 en blob.

Tabblad Invoergegevens

1. Klik op de knop Invoer kopiëren om het invoerbestand in de lokale te plakken.

2. Klik op de knop Exporteren naar CSV om het invoerbestand in CSV-indeling te exporteren.

3. U kunt bestanden doorzoeken op invoertrefwoorden in het zoekvak (trefwoorden omvatten bestandsnaam, leesindeling en pad).

4. U kunt de invoerbestanden sorteren door te klikken op Naam, Leesindeling en pad.

5. Beweeg de muisaanwijzer over een invoerbestand. Het pictogram van de knop Pad downloaden/kopiëren/Meer wordt weergegeven.

6. Klik op de knop Meer . Het pad kopiëren/weergeven in verkenner/Eigenschappen wordt weergegeven in het contextmenu.

   

   • Kopieerpad: kan volledig pad en relatief pad kopiëren.

   • Weergeven in Verkenner: kan naar het gekoppelde opslagaccount gaan (Data-Linked>).

   • Eigenschappen: de basiseigenschappen van het bestand weergeven (Bestandsnaam/Bestandspad/Leesindeling/Grootte/Gewijzigd).

     

Tabblad Uitvoergegevens

Geeft dezelfde functies weer als het tabblad Invoer.

Apache Spark-toepassingen vergelijken

Er zijn twee manieren om toepassingen te vergelijken. U kunt vergelijken door Toepassing vergelijken te kiezen of door op de knop Vergelijken in notitieblok te klikken om deze weer te geven in het notitieblok.

Vergelijken per toepassing

Klik op de knop Toepassingen vergelijken en kies een toepassing om de prestaties te vergelijken. U kunt het verschil tussen de twee toepassingen zien.

1. Beweeg de muisaanwijzer over een toepassing. Vervolgens wordt het pictogram Toepassingen vergelijken weergegeven.

2. Klik op het pictogram Toepassingen vergelijken en de pagina Toepassingen vergelijken wordt weergegeven.

3. Klik op de knop Toepassing kiezen om de pagina Vergelijkingstoepassing kiezen te openen.

4. Wanneer u de vergelijkingstoepassing kiest, moet u de URL van de toepassing invoeren of een keuze maken uit de terugkerende lijst. Klik vervolgens op de knop OK .

   

5. Het vergelijkingsresultaat wordt weergegeven op de pagina toepassingen vergelijken.

   

Vergelijken in notebook

Klik op de knop Vergelijken in notebook op de pagina Toepassingen vergelijken om het notitieblok te openen. De standaardnaam van het .ipynb-bestand is Terugkerende toepassingsanalyse.

In het Notebook: Terugkerende Application Analytics-bestand kunt u het direct uitvoeren nadat u de Spark-pool en -taal hebt ingesteld.

Volgende stappen

Zie het artikel Pijplijnuitvoeringen bewaken met behulp van Synapse Studio voor meer informatie over het bewaken van pijplijnuitvoeringen.