Verwenden der HDFS CLI mit Data Lake Storage
Um auf die Daten in Ihrem Speicherkonto zuzugreifen und sie zu verwalten, können Sie wie beim Hadoop Distributed File System (HDFS) eine Befehlszeilenschnittstelle verwenden. Dieser Artikel enthält einige Beispiele, die Ihnen den Einstieg erleichtern.
HDInsight bietet Zugriff auf den verteilten Container, der den Computeknoten lokal zugeordnet ist. Sie können auf diesen Container über die Shell, die direkt mit dem HDFS interagiert, sowie über die anderen Dateisysteme zugreifen, die von Hadoop unterstützt werden.
Weitere Informationen zur HDFS-CLI finden Sie in der offiziellen Dokumentation und im Handbuch zu HDFS-Berechtigungen.
Hinweis
Wenn Sie Azure Databricks anstelle von HDInsight verwenden und über eine Befehlszeilenschnittstelle mit Ihren Daten interagieren möchten, können Sie die Databricks-CLI für die Interaktion mit dem Databricks-Dateisystem verwenden. Siehe Databricks CLI (Databricks-Befehlszeilenschnittstelle).
Verwenden der Hadoop Distributed File System-Befehlszeilenschnittstelle mit einem HDInsight Hadoop-Cluster unter Linux
Richten Sie zuerst den Remotezugriff auf Dienste ein. Wenn Sie SSH auswählen, sieht der PowerShell-Beispielcode folgendermaßen aus:
#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder
Die Verbindungszeichenfolge ist im Abschnitt „SSH + Clusteranmeldung“ auf dem Blatt für den HDInsight-Cluster im Azure-Portal zu finden. SSH-Anmeldeinformationen wurden zum Zeitpunkt der Clustererstellung angegeben.
Wichtig
Die Abrechnung für einen HDInsight-Cluster beginnt, nachdem der Cluster erstellt wurde, und endet mit dem Löschen des Clusters. Die Gebühren werden anteilig nach Minuten erhoben. Daher sollten Sie Ihren Cluster immer löschen, wenn Sie ihn nicht mehr verwenden. Informationen zum Löschen eines Clusters finden Sie in unserem Artikel zum Thema. In einem Speicherkonto mit aktiviertem Data Lake Storage gespeicherte Daten bleiben jedoch auch nach dem Löschen eines HDInsight-Clusters erhalten.
Erstellen eines Containers
hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/
Ersetzen Sie den Platzhalter
<container-name>durch den Namen, den Sie für Ihren Container verwenden möchten.Ersetzen Sie den Platzhalter
<storage-account-name>durch den Namen Ihres Speicherkontos.
Abrufen einer Liste mit Dateien oder Verzeichnissen
hdfs dfs -ls <path>
Ersetzen Sie den Platzhalter <path> durch den URI des Conatiners oder Containerordners.
Beispiel: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name
Erstellen eines Verzeichnisses
hdfs dfs -mkdir [-p] <path>
Ersetzen Sie den Platzhalter <path> durch den Namen des Stammcontainers oder einen Ordner in Ihrem Container.
Beispiel: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/
Löschen einer Datei oder eines Verzeichnisses
hdfs dfs -rm <path>
Ersetzen Sie den Platzhalter <path> durch den URI der Datei oder des Ordners, die bzw. den Sie löschen möchten.
Beispiel: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name
Anzeigen der Zugriffssteuerungslisten (Access Control Lists, ACLs) von Dateien und Verzeichnissen
hdfs dfs -getfacl [-R] <path>
Beispiel:
hdfs dfs -getfacl -R /dir
Siehe getfacl.
Festlegen der Zugriffssteuerungslisten von Dateien und Verzeichnissen
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Beispiel:
hdfs dfs -setfacl -m user:hadoop:rw- /file
Siehe setfacl.
Ändern des Besitzers von Dateien
hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>
Siehe chown.
Ändern der Gruppenzuordnung von Dateien
hdfs dfs -chgrp [-R] <group> <URI>
Siehe chgrp.
Ändern der Berechtigungen von Dateien
hdfs dfs -chmod [-R] <mode> <URI>
Siehe chmod.
Sie können die vollständige Liste mit Befehlen auf der Website Apache Hadoop 2.4.1 File System Shell Guide (Leitfaden zur Apache Hadoop 2.4.1-Dateisystemshell) anzeigen.