Använda HDFS CLI med Data Lake Storage
Du kan komma åt och hantera data i ditt lagringskonto med hjälp av ett kommandoradsgränssnitt precis som med ett Hadoop Distributed File System (HDFS). Den här artikeln innehåller några exempel som hjälper dig att komma igång.
HDInsight ger åtkomst till den distribuerade container som är lokalt ansluten till beräkningsnoderna. Du kan komma åt den här containern med hjälp av gränssnittet som direkt interagerar med HDFS och de andra filsystemen som Hadoop stöder.
Mer information om HDFS CLI finns i den officiella dokumentationen och HDFS-behörighetsguiden
Kommentar
Om du använder Azure Databricks i stället för HDInsight och vill interagera med dina data med hjälp av ett kommandoradsgränssnitt kan du använda Databricks CLI för att interagera med Databricks-filsystemet. Se Databricks CLI.
Använda HDFS CLI med ett HDInsight Hadoop-kluster i Linux
Börja med att upprätta fjärråtkomst till tjänster. Om du väljer SSH ser PowerShell-exempelkoden ut så här:
#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder
Anslutningssträng finns i avsnittet "SSH + Klusterinloggning" på HDInsight-klusterbladet i Azure Portal. SSH-autentiseringsuppgifter angavs när klustret skapades.
Viktigt!
HDInsight-klusterfakturering startar när ett kluster har skapats och stoppas när klustret tas bort. Debiteringen görs i förväg per minut, så du ska alltid ta bort ditt kluster när det inte används. Mer information om hur du tar bort ett kluster finns i vår artikel om ämnet. Data som lagras i ett lagringskonto med Data Lake Storage aktiverat bevaras dock även efter att ett HDInsight-kluster har tagits bort.
Skapa en container
hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/
<container-name>Ersätt platshållaren med det namn som du vill ge containern.Ersätt platshållaren
<storage-account-name>med namnet på ditt lagringskonto.
Hämta en lista över filer eller kataloger
hdfs dfs -ls <path>
<path> Ersätt platshållaren med URI:n för containern eller containermappen.
Till exempel: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name
Skapa en katalog
hdfs dfs -mkdir [-p] <path>
<path> Ersätt platshållaren med rotcontainerns namn eller en mapp i containern.
Till exempel: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/
Ta bort en fil eller katalog
hdfs dfs -rm <path>
<path> Ersätt platshållaren med URI:n för den fil eller mapp som du vill ta bort.
Till exempel: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name
Visa åtkomstkontrollistor (ACL) för filer och kataloger
hdfs dfs -getfacl [-R] <path>
Exempel:
hdfs dfs -getfacl -R /dir
Se getfacl
Ange ACL:er för filer och kataloger
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Exempel:
hdfs dfs -setfacl -m user:hadoop:rw- /file
Se setfacl
Ändra ägare till filer
hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>
Se chown
Ändra gruppassociation för filer
hdfs dfs -chgrp [-R] <group> <URI>
Se chgrp
Ändra behörigheter för filer
hdfs dfs -chmod [-R] <mode> <URI>
Se chmod
Du kan visa den fullständiga listan över kommandon på webbplatsen för Apache Hadoop 2.4.1-filsystemets gränssnittsguide .