Delen via

Scenario: Lokale HDFS vastgelopen in de veilige modus in azure HDInsight-cluster

  • Artikel

In dit artikel worden de stappen voor probleemoplossing en mogelijke oplossingen beschreven voor problemen bij interactie met Azure HDInsight-clusters.

Probleem

Het lokale HDFS (Apache Hadoop Distributed File System) blijft hangen in de veilige modus op het HDInsight-cluster. U ontvangt een foutbericht dat er als volgt uitziet:

hdiuser@spark2:~$ hdfs dfs -D "fs.default.name=hdfs://mycluster/" -mkdir /temp
17/04/05 16:20:52 WARN retry.RetryInvocationHandler: Exception while invoking ClientNamenodeProtocolTranslatorPB.mkdirs over spark2.2oyzcdm4sfjuzjmj5dnmvscjpg.dx.internal.cloudapp.net/10.0.0.22:8020. Not retrying because try once and fail.
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /temp. Name node is in safe mode.
It was turned on manually. Use "hdfs dfsadmin -safemode leave" to turn safe mode off.
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1359)
...
mkdir: Cannot create directory /temp. Name node is in safe mode.

Oorzaak

Het HDInsight-cluster is omlaag geschaald naar zeer weinig knooppunten eronder, of het aantal knooppunten ligt dicht bij de HDFS-replicatiefactor.

Oplossing

  1. Rapporteer de status van HDFS in het HDInsight-cluster met de volgende opdracht:

    hdfs dfsadmin -D "fs.default.name=hdfs://mycluster/" -report

  2. Controleer de integriteit van HDFS in het HDInsight-cluster met de volgende opdracht:

    hdiuser@spark2:~$ hdfs fsck -D "fs.default.name=hdfs://mycluster/" /

  3. Als er geen ontbrekende, beschadigde of onder gerepliceerde blokken ontbreken of als deze blokken kunnen worden genegeerd, voert u de volgende opdracht uit om het naamknooppunt uit de veilige modus te halen:

    hdfs dfsadmin -D "fs.default.name=hdfs://mycluster/" -safemode leave

Volgende stappen

Als u uw probleem niet hebt gezien of uw probleem niet kunt oplossen, gaat u naar een van de volgende kanalen voor meer ondersteuning:

  • Krijg antwoorden van Azure-experts via de ondersteuning van De Azure-community.

  • Maak verbinding met @AzureSupport : het officiële Microsoft Azure-account voor het verbeteren van de klantervaring. De Azure-community verbinden met de juiste resources: antwoorden, ondersteuning en experts.

  • Als u meer hulp nodig hebt, kunt u een ondersteuningsaanvraag indienen via Azure Portal. Selecteer Ondersteuning in de menubalk of open de Help + ondersteuningshub . Raadpleeg hoe u een ondersteuning voor Azure aanvraag maakt voor meer informatie. Toegang tot abonnementsbeheer en factuurbeheer is in uw Microsoft Azure-abonnement inbegrepen, en technische ondersteuning wordt verstrekt via een van de Azure-ondersteuningsplannen.