Scénář: V Azure HDInsight dojde k vyčerpání místa na disku v uzlu clusteru

Tento článek popisuje kroky řešení potíží a možná řešení problémů při interakci s clustery Azure HDInsight.

Problém

Úloha může selhat s chybovou zprávou podobnou této: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Nebo se může zobrazit upozornění Apache Ambari podobné: local-dirs usable space is below configured utilization percentage.

Mezipaměť aplikací Apache Yarn pravděpodobně spotřebovala veškeré dostupné místo na disku. Vaše aplikace Spark pravděpodobně běží neefektivní.

Pomocí uživatelského rozhraní Ambari určete, na kterém uzlu dochází místo na disku.
Určete, která složka v problematickém uzlu přispívá k většině místa na disku. Nejprve připojte SSH k uzlu a pak spusťte df seznam využití disků pro všechna připojení. Obvykle se jedná /mnt o dočasný disk používaný operačním systémem. Do složky můžete zadat a potom zadat sudo du -hs , aby se ve složce zobrazily souhrnné velikosti souborů. Pokud vidíte složku podobnou /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007této složce, znamená to, že aplikace je stále spuštěná. Tento výstup může být způsoben trvalost RDD nebo mezilehlých souborů náhodného prohazování.
Pokud chcete tento problém zmírnit, ukončete aplikaci, která uvolní místo na disku, které tato aplikace používá.
Pokud k problému dochází často na pracovních uzlech, můžete vyladit nastavení místní mezipaměti YARN v clusteru.

Otevřete uživatelské rozhraní Ambari, přejděte na YARN –> konfigurace –> Upřesnit.
Do vlastního oddílu yarn-site.xml přidejte následující dvě vlastnosti a uložte:
```
yarn.nodemanager.localizer.cache.target-size-mb=2048
yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000
```
Pokud výše uvedený problém trvale nevyřeší, optimalizujte aplikaci.

Pokud jste problém neviděli nebo nemůžete problém vyřešit, navštivte jeden z následujících kanálů, kde najdete další podporu:

Získejte odpovědi od odborníků na Azure prostřednictvím podpory komunity Azure.
Spojte se s @AzureSupport – oficiálním účtem Microsoft Azure pro zlepšení uživatelského prostředí. Propojení komunity Azure se správnými prostředky: odpovědi, podpora a odborníci.
Pokud potřebujete další pomoc, můžete odeslat žádost o podporu z webu Azure Portal. V řádku nabídek vyberte možnost Podpora nebo otevřete centrum nápovědy a podpory . Podrobnější informace najdete v tématu Vytvoření žádosti o podpora Azure. Součástí předplatného Microsoft Azure je přístup ke správě předplatného a podpora fakturace. Technická podpora se poskytuje prostřednictvím některého z plánů podpory Azure.