Korzystanie z interfejsu wiersza polecenia systemu plików HDFS z usługą Data Lake Storage
Dostęp do danych na koncie magazynu i zarządzanie nimi można uzyskać przy użyciu interfejsu wiersza polecenia, tak jak w przypadku rozproszonego systemu plików Hadoop (HDFS). Ten artykuł zawiera kilka przykładów, które pomogą Ci rozpocząć pracę.
Usługa HDInsight zapewnia dostęp do rozproszonego kontenera, który jest lokalnie dołączony do węzłów obliczeniowych. Dostęp do tego kontenera można uzyskać przy użyciu powłoki, która bezpośrednio współdziała z systemem plików HDFS i innymi systemami plików, które obsługuje usługa Hadoop.
Aby uzyskać więcej informacji na temat interfejsu wiersza polecenia systemu plików HDFS, zobacz oficjalną dokumentację i przewodnik po uprawnieniach systemu plików HDFS
Uwaga
Jeśli używasz usługi Azure Databricks zamiast usługi HDInsight i chcesz korzystać z danych przy użyciu interfejsu wiersza polecenia, możesz użyć interfejsu wiersza polecenia usługi Databricks do interakcji z systemem plików usługi Databricks. Zobacz Interfejs wiersza polecenia usługi Databricks.
Używanie interfejsu wiersza polecenia systemu plików HDFS z klastrem usługi HDInsight Hadoop w systemie Linux
Najpierw ustanów zdalny dostęp do usług. W przypadku wybrania protokołu SSH przykładowy kod programu PowerShell będzie wyglądać następująco:
#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder
Parametry połączenia można znaleźć w sekcji "Logowanie za pomocą protokołu SSH i klastra" bloku klastra usługi HDInsight w witrynie Azure Portal. Poświadczenia SSH zostały określone podczas tworzenia klastra.
Ważne
Rozliczenia klastra usługi HDInsight są uruchamiane po utworzeniu klastra i zatrzymuje się po usunięciu klastra. Opłaty są naliczane za minutę, więc jeśli klaster nie jest używany, należy go usunąć. Aby dowiedzieć się, jak usunąć klaster, zobacz nasz artykuł na ten temat. Jednak dane przechowywane na koncie magazynu z włączoną usługą Data Lake Storage są zachowywane nawet po usunięciu klastra usługi HDInsight.
Tworzenie kontenera
hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/
Zastąp
<container-name>symbol zastępczy nazwą, którą chcesz nadać kontenerowi.Zastąp symbol zastępczy
<storage-account-name>nazwą konta magazynu.
Pobieranie listy plików lub katalogów
hdfs dfs -ls <path>
Zastąp <path> symbol zastępczy identyfikatorem URI kontenera lub folderu kontenera.
Na przykład: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name.
Tworzenie katalogu
hdfs dfs -mkdir [-p] <path>
<path> Zastąp symbol zastępczy nazwą głównego kontenera lub folderem w kontenerze.
Na przykład: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/.
Usuwanie pliku lub katalogu
hdfs dfs -rm <path>
<path> Zastąp symbol zastępczy identyfikatorem URI pliku lub folderu, który chcesz usunąć.
Na przykład: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name.
Wyświetlanie list kontroli dostępu (ACL) plików i katalogów
hdfs dfs -getfacl [-R] <path>
Przykład:
hdfs dfs -getfacl -R /dir
Zobacz getfacl
Ustawianie list ACL plików i katalogów
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Przykład:
hdfs dfs -setfacl -m user:hadoop:rw- /file
Zobacz setfacl
Zmienianie właściciela plików
hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>
Zobacz suknię
Zmienianie skojarzenia grup plików
hdfs dfs -chgrp [-R] <group> <URI>
Zobacz chgrp
Zmienianie uprawnień plików
hdfs dfs -chmod [-R] <mode> <URI>
Zobacz chmod
Pełną listę poleceń można wyświetlić w witrynie internetowej przewodnika po powłoce systemu plików Apache Hadoop 2.4.1.