Compartilhar via

Cenário: nó do cluster fica sem espaço em disco no Azure HDInsight

  • Artigo

Este artigo descreve as etapas de solução de problemas e possíveis soluções para problemas durante a interação com clusters do Azure HDInsight.

Problema

Um trabalho pode falhar com mensagem de erro semelhante a: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Ou você pode receber um alerta do Apache Ambari semelhante a: local-dirs usable space is below configured utilization percentage.

Causa

O cache de aplicativos Apache Yarn pode ter consumido todo o espaço em disco disponível. O aplicativo do Spark provavelmente está sendo executado de forma ineficiente.

Resolução

  1. Use a interface do usuário do Ambari para determinar qual nó está ficando sem espaço em disco.

  2. Determine qual pasta no nó com problema contribui para a maior parte do espaço em disco. Primeiro use SSH para o nó e, em seguida, execute df para listar o uso do disco para todas as montagens. Normalmente é /mnt, um disco temporário usado pelo OSS. Você pode inserir em uma pasta e, em seguida, digitar sudo du -hs para mostrar os tamanhos de arquivo resumidos em uma pasta. Quando você vê uma pasta semelhante a /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007, essa saída significa que o aplicativo ainda está em execução. Essa saída pode se dever à persistência de RDD ou a arquivos intermediários em ordem aleatória.

  3. Para mitigar o problema, encerre o aplicativo, o que liberará o espaço em disco usado por esse aplicativo.

  4. Se o problema ocorrer com frequência nos nós de trabalho, é possível ajustar as configurações de cache local YARN no cluster.

    Abra a interface do usuário do Ambari, navegue até YARN --> Configurações --> Avançado.
    Adicione as duas seguintes propriedades à seção yarn-site.xml personalizada e salve:

    yarn.nodemanager.localizer.cache.target-size-mb=2048
yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000

  5. Se a solução acima não corrigir permanentemente o problema, otimize o aplicativo.

Próximas etapas

Se você não encontrou seu problema ou não conseguiu resolver seu problema, visite um dos seguintes canais para obter mais suporte:

  • Obtenha respostas de especialistas do Azure por meio do Suporte da Comunidade do Azure.

  • Conecte-se com @AzureSupport – a conta oficial do Microsoft Azure para aprimorar a experiência do cliente. Como se conectar à comunidade do Azure para os recursos certos: respostas, suporte e especialistas.

  • Se precisar de mais ajuda, poderá enviar uma solicitação de suporte do portal do Azure. Selecione Suporte na barra de menus ou abra o hub Ajuda + suporte. Para obter informações mais detalhadas, consulte Como criar uma solicitação de Suporte do Azure. O acesso ao Gerenciamento de assinaturas e ao suporte de cobrança está incluído na sua assinatura do Microsoft Azure, e o suporte técnico é fornecido por meio de um dos Planos de suporte do Azure.