Scheeftrekken en overlopen

Morsen

Het eerste waar u op moet letten in een langlopende fase is of er sprake is van een overloop.

Bovenaan de pagina van de fase ziet u de details, waaronder statistieken over overloop:

Overloop is wat er gebeurt wanneer Spark weinig geheugen heeft. Het begint met het verplaatsen van gegevens van geheugen naar schijf, en dit kan behoorlijk duur zijn. Het komt het meest voor tijdens gegevens herschikken.

Als u geen statistieken ziet voor overflow, betekent dit dat het podium geen overflow heeft. Als er wat gemorst is op het podium, zie dan deze handleiding over hoe om te gaan met morsen als gevolg van schudden.

Scheef

Het volgende wat we willen bekijken, is of er scheeftrekken. Scheefheid is wanneer een of slechts enkele taken veel langer duren dan de rest. Dit resulteert in slecht clustergebruik en langere taken.

Scroll naar beneden naar de Samenvattingsstatistieken. Het belangrijkste waar we naar op zoek zijn, is dat de Max duur veel hoger is dan de duur van het 75e percentiel. In de onderstaande schermafbeelding ziet u een gezonde fase, waarbij het 75e percentiel en Max- hetzelfde zijn.

Als de maximale duur 50% meer dan het 75e percentiel is, kan er sprake zijn van scheefheid.

Als u scheefheid ziet, vindt u meer informatie over de stappen voor het verhelpen van scheefheid hier.

Geen scheefheid of overloop

Als u geen scheefheid of overloop ziet, gaat u terug naar de taakpagina om een overzicht te krijgen van wat er aan de hand is. Scrol omhoog naar de bovenkant van de pagina en klik op Gekoppelde Taak-Id's:

Als de stap geen overloop of scheefheid heeft, raadpleeg dan Spark-stap met hoge I/O voor de volgende stappen.