案例:Azure HDInsight 中叢集節點的磁碟空間不足
本文說明與 Azure HDInsight 叢集互動時若遇到問題,可使用哪些疑難排解步驟和可能的解決方案。
問題
工作可能失敗,且錯誤訊息類似:/usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.
或者,您可能會接收到與下面類似的 Apache Ambari 警示:local-dirs usable space is below configured utilization percentage
。
原因
Apache Yarn 應用程式快取可能已耗用所有可用的磁碟空間。 您的 Spark 應用程式可能執行效率不佳。
解決方法
使用 Ambari UI 來判斷哪個節點已用盡磁碟空間。
判斷有問題節點中的哪一個資料夾用掉大部分的磁碟空間。 先透過 SSH 連線至節點,然後執行
df
以列出所有掛接的磁碟使用量。 其通常是/mnt
,而這是 OSS 所使用的暫存磁碟。 您可以輸入資料夾,然後輸入sudo du -hs
以在資料夾下顯示摘要的檔案大小。 如果您看到類似/mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007
的資料夾,則此輸出表示應用程式仍在執行中。 此輸出可能是 RDD 持續性或中繼隨機檔案所造成。若要減輕此問題,請終止應用程式,以釋出該應用程式所使用的磁碟空間。
如果背景工作節點上頻繁發生此問題,則您可以微調叢集上的 YARN 本機快取設定。
開啟 Ambari UI,並導覽至 [YARN] --> [設定] --> [進階]。
將下列兩個屬性新增至自訂 yarn-site.xml 區段,並儲存:yarn.nodemanager.localizer.cache.target-size-mb=2048 yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000
如果上述項目未永久修正此問題,則請將您的應用程式最佳化。
下一步
如果您沒有看到您的問題,或無法解決您的問題,請瀏覽下列其中一個管道以取得更多支援:
透過 Azure 社群支援獲得由 Azure 專家所提供的解答。
連線至 @AzureSupport,這是用來改善客戶體驗的官方 Microsoft Azure 帳戶。 將 Azure 社群連線到正確的資源:解答、支援和專家。
如果需要更多協助,您可在 Azure 入口網站提交支援要求。 從功能表列中選取 [支援] 或開啟 [說明 + 支援] 中樞。 如需詳細資訊,請參閱如何建立 Azure 支援要求。 Microsoft Azure 訂用帳戶包括訂用帳戶管理及帳務支援的存取權,而技術支援由其中一項 Azure 支援方案提供。