Spark-stuurprogramma overbelast

U hebt dus vastgesteld dat uw chauffeur overbelast is. De meest voorkomende reden hiervoor is dat er te veel gelijktijdige dingen worden uitgevoerd op het cluster. Dit kunnen te veel streams, query's of Spark-taken zijn (sommige klanten gebruiken threads om meerdere Spark-taken gelijktijdig uit te voeren).

Het kan ook zijn dat u niet-Spark-code uitvoert op uw cluster waardoor het stuurprogramma bezet blijft. Als u hiaten in uw tijdlijn ziet die worden veroorzaakt door het uitvoeren van niet-Spark-code, betekent dit dat uw werknemers allemaal inactief zijn en waarschijnlijk geld verspillen tijdens de hiaten. Misschien is dit opzettelijk en onvermijdelijk, maar als u deze code kunt schrijven om Spark te gebruiken, zult u het cluster volledig gebruiken. Begin met deze zelfstudie voor meer informatie over het werken met Spark.

Als er te veel dingen tegelijk op het cluster worden uitgevoerd, hebt u drie opties:

• De grootte van uw stuurprogramma vergroten
• De gelijktijdigheid verminderen
• De belasting over meerdere clusters verdelen

Azure Databricks raadt u aan om eerst de grootte van het stuurprogramma te verdubbelen en te zien hoe dit van invloed is op uw taak.