進行 HDFS 的疑難排解
重要
Microsoft SQL Server 2019 巨量資料叢集附加元件將會淘汰。 SQL Server 2019 巨量資料叢集的支援將於 2025 年 2 月 28 日結束。 平台上將完全支援含軟體保證 SQL Server 2019 的所有現有使用者,而且軟體將會持續透過 SQL Server 累積更新來維護,直到該時間為止。 如需詳細資訊,請參閱公告部落格文章與 Microsoft SQL Server 平台上的巨量資料選項。
本文包含 SQL Server 2019 巨量資料叢集中 HDFS 錯誤的疑難排解情節。
針對 HDFS 堆積大小進行疑難排解
徵狀
在 SQL Server 巨量資料叢集中:[Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)
原因
可能無法適當地設定 HDFS 堆積大小。 namenode JVM 堆積的適當設定取決於許多因素,例如檔案和區塊數目,以及 HDFS 系統上的負載。 如需計算堆積大小的詳細資訊,請參閱設定 namenode 堆積大小。
解決方法
在 SQL Server 巨量資料叢集中,HDFS namenode 程序的堆積大小是由巨量資料叢集設定 hdfs-env.HDFS_NAMENODE_OPTS
所控制,預設值為 HDFS 設定屬性中所指定的 2 GB。 此因應措施建議增加堆積大小,這是整個巨量資料叢集的全域設定變更。
在 SQL Server 2019 CU9 之後,預設會啟用 SQL Server 巨量資料叢集執行階段設定功能。 若要繼續,請將叢集升級至 CU9+,最好是可用的最新版本。 如需詳細資訊,請參閱 SQL Server 巨量資料叢集版本資訊。
若要增加 HDFS namenode 的堆積大小,請遵循部署後設定指南。
下列範例會使用 azdata
以將 HDFS namenode 堆積增加為 4 GB。 請注意,這項作業僅適用於 CU9 或更新版本。
azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"
確認變更並監視更新狀態:
# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
# Apply the pending settings
azdata bdc settings apply
# Monitor the configuration update status
azdata bdc status show --all