Freigeben über

Szenario: Clusterknoten geht der Speicherplatz auf dem Datenträger in Azure HDInsight aus

  • Artikel

In diesem Artikel werden Schritte zur Problembehandlung und mögliche Lösungen für Probleme bei der Interaktion mit Azure HDInsight-Clustern beschrieben.

Problem

Ein Auftrag schlägt möglicherweise mit einer Fehlermeldung ähnlich der folgenden fehl: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Oder Sie erhalten eine ähnliche Apache Ambari-Warnung wie diese: local-dirs usable space is below configured utilization percentage.

Ursache

Der Apache Yarn-Anwendungscache hat möglicherweise den gesamten verfügbaren Speicherplatz verbraucht. Ihre Spark-Anwendung wird wahrscheinlich ineffizient ausgeführt.

Lösung

  1. Verwenden Sie die Ambari-Benutzeroberfläche, um zu ermitteln, auf welchem Knoten der Speicherplatz knapp wird.

  2. Bestimmen Sie, welcher Ordner im problematischen Knoten zum größten Teil des Speicherplatzes auf dem Datenträger beiträgt. Verwenden Sie zunächst SSH für den Knoten, und führen Sie dann df aus, um die Datenträgerverwendung für alle Bereitstellungen aufzulisten. Normalerweise handelt es sich um /mnt, einen temporären Datenträger, der von OSS verwendet wird. Sie können in einen Ordner navigieren und dann sudo du -hs eingeben, um zusammengefasste Dateigrößen unter einem Ordner anzuzeigen. Wenn Sie einen ähnlichen Ordner wie /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007 sehen, bedeutet diese Ausgabe, dass die Anwendung weiterhin ausgeführt wird. Mögliche Ursachen für diese Ausgabe sind RDD-Persistenz oder Shuffle-Zwischendateien.

  3. Um das Problem zu beheben, beenden Sie die Anwendung, wodurch der von dieser Anwendung verwendete Speicherplatz freigegeben wird.

  4. Wenn das Problem auf den Workerknoten häufig auftritt, können Sie die Einstellungen für den lokalen YARN-Cache auf dem Cluster optimieren.

    Öffnen Sie die Ambari-Benutzeroberfläche, und navigieren Sie zu „YARN“--> „Configs“--> „Advanced“.
    Fügen Sie dem benutzerdefinierten Abschnitt „yarn-site.xml“ die zwei folgenden Eigenschaften hinzu, und speichern Sie ihn dann:

    yarn.nodemanager.localizer.cache.target-size-mb=2048
yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000

  5. Wenn das Problem durch die vorstehenden Schritte nicht dauerhaft behoben wurde, optimieren Sie Ihre Anwendung.

Nächste Schritte

Wenn Ihr Problem nicht aufgeführt ist oder Sie es nicht lösen können, besuchen Sie einen der folgenden Kanäle, um weitere Unterstützung zu erhalten:

  • Nutzen Sie den Azure-Communitysupport, um Antworten von Azure-Experten zu erhalten.

  • Setzen Sie sich mit @AzureSupport in Verbindung, dem offiziellen Microsoft Azure-Konto zum Verbessern der Kundenfreundlichkeit. Verbinden der Azure-Community mit den richtigen Ressourcen: Antworten, Support und Experten.

  • Sollten Sie weitere Unterstützung benötigen, senden Sie eine Supportanfrage über das Azure-Portal. Wählen Sie dazu auf der Menüleiste die Option Support aus, oder öffnen Sie den Hub Hilfe und Support. Ausführlichere Informationen hierzu finden Sie unter Erstellen einer Azure-Supportanfrage. Zugang zu Abonnementverwaltung und Abrechnungssupport ist in Ihrem Microsoft Azure-Abonnement enthalten. Technischer Support wird über einen Azure-Supportplan bereitgestellt.