De HDFS CLI gebruiken met Data Lake Storage
U kunt de gegevens in uw opslagaccount openen en beheren met behulp van een opdrachtregelinterface zoals u dat zou doen met een Hadoop Distributed File System (HDFS).< Dit artikel bevat enkele voorbeelden waarmee u aan de slag kunt gaan.
HDInsight biedt toegang tot de gedistribueerde container die lokaal is gekoppeld aan de rekenknooppunten. U hebt toegang tot deze container met behulp van de shell die rechtstreeks communiceert met de HDFS en de andere bestandssystemen die Hadoop ondersteunt.
Zie de officiële documentatie en de handleiding voor HDFS-machtigingen voor meer informatie over HDFS CLI
Notitie
Als u Azure Databricks gebruikt in plaats van HDInsight en u wilt communiceren met uw gegevens met behulp van een opdrachtregelinterface, kunt u de Databricks CLI gebruiken om te communiceren met het Databricks-bestandssysteem. Zie Databricks CLI.
De HDFS CLI gebruiken met een HDInsight Hadoop-cluster in Linux
Stel eerst externe toegang tot services in. Als u SSH kiest, ziet de PowerShell-voorbeeldcode er als volgt uit:
#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder
De verbindingsreeks vindt u in de sectie SSH + Clusteraanmelding van de blade HDInsight-cluster in Azure Portal. SSH-referenties zijn opgegeven op het moment dat het cluster werd gemaakt.
Belangrijk
Facturering van HDInsight-clusters wordt gestart nadat een cluster is gemaakt en stopt wanneer het cluster wordt verwijderd. De facturering wordt pro-rato per minuut berekend, dus u moet altijd uw cluster verwijderen wanneer het niet meer wordt gebruikt. Zie ons artikel over het onderwerp voor meer informatie over het verwijderen van een cluster. Gegevens die zijn opgeslagen in een opslagaccount waarvoor Data Lake Storage is ingeschakeld, blijven echter behouden, zelfs nadat een HDInsight-cluster is verwijderd.
Een container maken
hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/
Vervang de tijdelijke aanduiding
<container-name>door de naam die u aan uw container wilt geven.Vervang de tijdelijke plaatsaanduiding
<storage-account-name>door de naam van uw opslagaccount.
Een lijst met bestanden of mappen ophalen
hdfs dfs -ls <path>
Vervang de <path> tijdelijke aanduiding door de URI van de container of containermap.
Bijvoorbeeld: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name
Een map maken
hdfs dfs -mkdir [-p] <path>
Vervang de <path> tijdelijke aanduiding door de naam van de hoofdcontainer of een map in uw container.
Bijvoorbeeld: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/
Een bestand of map verwijderen
hdfs dfs -rm <path>
Vervang de <path> tijdelijke aanduiding door de URI van het bestand of de map die u wilt verwijderen.
Bijvoorbeeld: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name
De toegangsbeheerlijsten (ACL's) van bestanden en mappen weergeven
hdfs dfs -getfacl [-R] <path>
Voorbeeld:
hdfs dfs -getfacl -R /dir
Zie getfacl
ACL's van bestanden en mappen instellen
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Voorbeeld:
hdfs dfs -setfacl -m user:hadoop:rw- /file
Zie setfacl
De eigenaar van bestanden wijzigen
hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>
Groepskoppeling van bestanden wijzigen
hdfs dfs -chgrp [-R] <group> <URI>
Zie chgrp
De machtigingen van bestanden wijzigen
hdfs dfs -chmod [-R] <mode> <URI>
Zie chmod
U kunt de volledige lijst met opdrachten bekijken op de website van de Apache Hadoop 2.4.1 File System Shell Guide .