Partilhar via

Cenário: o nó do cluster fica sem espaço em disco no Azure HDInsight

  • Artigo

Este artigo descreve as etapas de solução de problemas e possíveis resoluções para problemas ao interagir com clusters do Azure HDInsight.

Problema

Um trabalho pode falhar com mensagem de erro semelhante a: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Ou você pode receber um alerta Apache Ambari semelhante a: local-dirs usable space is below configured utilization percentage.

Motivo

O cache do aplicativo Apache Yarn pode ter consumido todo o espaço em disco disponível. Seu aplicativo Spark provavelmente está sendo executado de forma ineficiente.

Resolução

  1. Use a interface do usuário do Ambari para determinar qual nó está ficando sem espaço em disco.

  2. Determine qual pasta no nó problemático contribui para a maior parte do espaço em disco. SSH para o nó primeiro e, em seguida, execute para listar df o uso do disco para todas as montagens. Normalmente, é /mnt um disco temporário usado pelo OSS. Você pode entrar em uma pasta e, em seguida, digitar sudo du -hs para mostrar tamanhos de arquivo resumidos em uma pasta. Se você vir uma pasta semelhante ao /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007, essa saída significa que o aplicativo ainda está em execução. Essa saída pode ser devido à persistência RDD ou arquivos shuffle intermediários.

  3. Para atenuar o problema, mate o aplicativo, que liberará espaço em disco usado por esse aplicativo.

  4. Se o problema acontecer com frequência nos nós de trabalho, você poderá ajustar as configurações de cache local do YARN no cluster.

    Abra a interface do usuário do Ambari Navegue até YARN --> Configs --> Avançado.
    Adicione as duas propriedades a seguir à seção de yarn-site.xml personalizado e salve:

    yarn.nodemanager.localizer.cache.target-size-mb=2048
yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000

  5. Se o acima não corrigir permanentemente o problema, otimize seu aplicativo.

Próximos passos

Se não viu o problema ou não conseguiu resolvê-lo, visite um dos seguintes canais para obter mais suporte:

  • Obtenha respostas de especialistas do Azure através do Suporte da Comunidade do Azure.

  • Conecte-se com o @AzureSupport - a conta oficial do Microsoft Azure para melhorar a experiência do cliente. Ligar a comunidade do Azure aos recursos certos: respostas, suporte e especialistas.

  • Se precisar de mais ajuda, você pode enviar uma solicitação de suporte do portal do Azure. Selecione Suporte na barra de menus ou abra o hub Ajuda + suporte . Para obter informações mais detalhadas, consulte Como criar uma solicitação de suporte do Azure. O acesso ao suporte para Gestão de Subscrições e faturação está incluído na sua subscrição do Microsoft Azure e o Suporte Técnico é disponibilizado através de um dos Planos de Suporte do Azure.