Risolvere i problemi di HDFS
Importante
Il componente aggiuntivo per i cluster Big Data di Microsoft SQL Server 2019 verrà ritirato. Il supporto per i cluster Big Data di SQL Server 2019 terminerà il 28 febbraio 2025. Tutti gli utenti esistenti di SQL Server 2019 con Software Assurance saranno completamente supportati nella piattaforma e fino a quel momento il software continuerà a ricevere aggiornamenti cumulativi di SQL Server. Per altre informazioni, vedere il post di blog relativo all'annuncio e Opzioni per i Big Data nella piattaforma Microsoft SQL Server.
In questo articolo sono inclusi scenari per la risoluzione dei problemi relativi agli errori di HDFS nei cluster Big Data di SQL Server 2019.
Risolvere i problemi relativi alle dimensioni dell'heap di HDFS
Sintomo
Nei cluster Big Data di SQL Server: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)
Causa
Le dimensioni dell'heap di HDFS potrebbero non essere configurate correttamente. Le impostazioni appropriate per l'heap JVM del NameNode variano a seconda di diversi fattori, tra cui il numero di file e di blocchi e il carico nel sistema HDFS. Per altre informazioni sul calcolo delle dimensioni dell'heap, vedere Configurazione delle dimensioni dell'heap del NameNode.
Risoluzione
Nei cluster Big Data di SQL Server le dimensioni dell'heap del processo NameNode di HDFS sono controllate dalla configurazione hdfs-env.HDFS_NAMENODE_OPTS dei cluster Big Data. Il valore predefinito è di 2 GB, come specificato in Proprietà di configurazione di HDFS. Questa soluzione alternativa consiste nell'aumentare le dimensioni dell'heap. Si tratta di una modifica della configurazione globale per l'intero cluster Big Data.
Nei rilasci successivi a SQL Server 2019 CU9, la funzionalità di configurazione del runtime dei cluster Big Data di SQL Server è abilitata per impostazione predefinita. Per procedere, aggiornare il cluster a CU9+, preferibilmente alla versione disponibile più recente. Per altre informazioni, vedere Note sulla versione dei cluster Big Data di SQL Server.
Per aumentare le dimensioni dell'heap del NameNode di HDFS, attenersi alle indicazioni riportate in Guida alla configurazione post-distribuzione.
Nell'esempio che segue viene usato azdata per aumentare l'heap del NameNode di HDFS a 4 GB. Tenere presente che questa operazione è possibile solo nella versione CU9 o nelle versioni successive.
azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"
Per confermare la modifica e monitorare lo stato dell'aggiornamento:
# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
# Apply the pending settings
azdata bdc settings apply
# Monitor the configuration update status
azdata bdc status show --all