Dela via

Scenario: Klusternoden får slut på diskutrymme i Azure HDInsight

  • Artikel

Den här artikeln beskriver felsökningssteg och möjliga lösningar på problem när du interagerar med Azure HDInsight-kluster.

Problem

Ett jobb kan misslyckas med ett felmeddelande som liknar: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Eller så kan du få En Apache Ambari-avisering som liknar: local-dirs usable space is below configured utilization percentage.

Orsak

Apache Yarn-programcachen kan ha förbrukat allt tillgängligt diskutrymme. Spark-programmet körs troligen ineffektivt.

Åtgärd

  1. Använd Ambari-användargränssnittet för att avgöra vilken nod som får slut på diskutrymme.

  2. Ta reda på vilken mapp i den oroande noden som bidrar till det mesta av diskutrymmet. SSH till noden först och kör df sedan för att visa diskanvändning för alla monteringar. Vanligtvis är /mnt det en temporär disk som används av OSS. Du kan ange i en mapp och sedan skriva sudo du -hs för att visa sammanfattade filstorlekar under en mapp. Om du ser en mapp som liknar innebär det här utdata att /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007programmet fortfarande körs. Utdata kan bero på RDD-beständighet eller mellanliggande shuffle-filer.

  3. Du kan åtgärda problemet genom att avsluta programmet, vilket frigör diskutrymme som används av programmet.

  4. Om problemet inträffar ofta på arbetsnoderna kan du justera inställningarna för yarn lokalt cacheminne i klustret.

    Öppna Ambari-användargränssnittet Navigera till YARN –> Konfigurationer –> Avancerat.
    Lägg till följande två egenskaper i avsnittet anpassade yarn-site.xml och spara:

    yarn.nodemanager.localizer.cache.target-size-mb=2048
yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000

  5. Om ovanstående inte åtgärdar problemet permanent optimerar du programmet.

Nästa steg

Om du inte ser problemet eller inte kan lösa problemet går du till någon av följande kanaler för mer support:

  • Få svar från Azure-experter via Azure Community Support.

  • Anslut med @AzureSupport – det officiella Microsoft Azure-kontot för att förbättra kundupplevelsen. Ansluta Azure-communityn till rätt resurser: svar, support och experter.

  • Om du behöver mer hjälp kan du skicka en supportbegäran från Azure Portal. Välj Support i menyraden eller öppna hubben Hjälp + support . Mer detaljerad information finns i Skapa en Azure Support begäran. Tillgång till support för prenumerationshantering och fakturering ingår i din Microsoft Azure-prenumeration och teknisk support ges via ett supportavtal för Azure.