fs grupa poleceń

Uwaga

Te informacje dotyczą interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej. Interfejs wiersza polecenia usługi Databricks jest w publicznej wersji zapoznawczej.

Korzystanie z interfejsu wiersza polecenia usługi Databricks podlega licencjom usługi Databricks i powiadomieniom o ochronie prywatności usługi Databricks, w tym wszelkim przepisom dotyczącym danych użycia.

Grupa poleceń w interfejsie wiersza polecenia usługi Databricks umożliwia automatyzowanie w aparatu Unity oraz automatyzowanie obiektów systemu plików usługi Databricks (DBFS).

fs Uruchamiasz polecenia, dołączając je do databricks fselementu . Aby wyświetlić pomoc dotyczącą fs polecenia, uruchom polecenie databricks fs -h.

fs Polecenia wymagają, aby ścieżki woluminów zaczęły się od dbfs:/Volumes i wymagać ścieżek katalogu i plików w systemie plików DBFS, aby rozpocząć od dbfs:/.

Ważny

Korzystanie z interfejsu wiersza polecenia Databricks lub interfejsów API REST nie jest obsługiwane w przypadku kontenerów magazynu z włączoną zaporą sieciową. Databricks zaleca użycie Databricks Connect lub az storage.

List zawartość katalogu

Aby list zawartość katalogu w woluminie lub w systemie plików DBFS, użyj polecenia ls. Określ ścieżkę do katalogu. W poniższych przykładach list nazwy obiektów znajdujących się w katalogu głównym określonego woluminu lub w katalogu głównym systemu plików DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

Aby wyświetlić pełne informacje, w tym typy obiektów, rozmiary, czasy modyfikacji od epoki w milisekundach, a także nazwy obiektów, użyj --long opcji lub -l . Poniższe przykłady list przekazują pełne informacje o obiektach znajdujących się w katalogu głównym określonego woluminu lub w katalogu tmp w systemie plików DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

Aby wyświetlić pełne ścieżki obiektów, użyj --absolute opcji . W poniższych przykładach list pełne informacje o obiektach oraz pełne ścieżki obiektów znajdujące się w katalogu głównym określonego woluminu lub w katalogu tmp w katalogu głównym systemu plików DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

Wyprowadza zawartość pliku

Aby wyświetlić zawartość pliku, użyj cat polecenia . Określ ścieżkę do pliku w systemie plików DBFS. Poniższe przykłady zawierają dane wyjściowe zawartości pliku o nazwie babynames.csv znalezionej w katalogu głównym określonego woluminu lub w tmp katalogu głównym systemu plików DBFS:

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

W poniższych przykładach zwracane są błędy podczas próby wyprowadzenia zawartości katalogu zamiast pliku:

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

Tworzenie katalogu

Aby utworzyć katalog, użyj mkdir polecenia . Określ ścieżkę do katalogu, który ma zostać utworzony w woluminie lub w systemie plików DBFS. Jeśli katalog już istnieje, nic się nie dzieje. W poniższych przykładach utworzono katalog o nazwie squirrel-data w katalogu głównym określonego woluminu lub w katalogu o nazwie tmp w katalogu głównym systemu plików DBFS:

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

Kopiowanie katalogu lub pliku

Aby skopiować katalog lub plik, użyj cp polecenia . Określ ścieżki do katalogu źródłowego lub pliku, aby skopiować i jego miejsce docelowe. Katalogi i pliki można kopiować między lokalnym systemem plików i systemem plików DBFS, a także kopiować katalogi i pliki między ścieżkami systemu plików DBFS. Aby zastąpić istniejące pliki, użyj --overwrite opcji . Aby cyklicznie kopiować pliki w katalogu, użyj --recursive opcji lub -r .

W cp poleceniu przyjęto założenie file:/, że wartość , jeśli file:/ zostanie pominięta.

W poniższych przykładach skopiuj katalog o nazwie squirrel-data i jego zawartość z lokalnej ścieżki systemu plików do squirrels katalogu głównego określonego woluminu lub katalogu głównego systemu plików DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

Poniższy przykład kopiuje plik o nazwie squirrels.csv z lokalnej ścieżki systemu plików do katalogu o nazwie squirrel-data w katalogu głównym określonego woluminu lub katalogu głównego systemu plików DBFS. Jeśli plik już istnieje w miejscu docelowym, zostanie zastąpiony.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

Remove katalog

Aby remove katalogu, użyj polecenia rm. Określ ścieżkę do istniejącego katalogu w systemie plików DBFS. Poniższe przykłady remove katalogu o nazwie squirrel-data z katalogu głównego określonego woluminu lub z katalogu tmp w katalogu głównym systemu plików DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

Jeśli katalog nie istnieje, nic się nie dzieje i nie zostanie zwrócony żaden błąd.

Jeśli katalog istnieje, ale nie jest pusty, zwracany jest błąd. Aby remove katalog niepusty i całą jego zawartość, użyj opcji --recursive lub -r. W poniższych przykładach remove niepusty katalog o nazwie squirrel-data z katalogu głównego określonego woluminu lub z katalogu tmp w katalogu głównym systemu plików DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r