fs группа команд

Примечание.

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks распространяется на лицензию Databricks и уведомление о конфиденциальности Databricks, включая все положения об использовании.

Группа команд в Cli Databricks позволяет автоматизировать в Unity и автоматизировать объектов файловой системы Databricks (DBFS).

Команды выполняются fs путем добавления их в databricks fs. Чтобы отобразить справку по команде fs , выполните команду databricks fs -h.

fs для команд требуется, чтобы пути тома начинались с dbfs:/Volumes и требуются пути к каталогу и файлам в DBFS для начала dbfs:/.

Важный

Использование интерфейса командной строки Databricks или REST API с контейнерами хранилища с поддержкой брандмауэра не поддерживается. Databricks рекомендует использовать Databricks Connect или az storage.

List содержимое каталога

Чтобы list содержимое каталога в томе или в DBFS, используйте команду ls. Укажите путь к каталогу. В следующих примерах list — это названия объектов, находящихся в корневом каталоге указанного тома или в корневом каталоге DBFS.

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

Чтобы отобразить полную информацию, включая типы объектов, размеры, время изменения с момента эпохи в миллисекундах, а также имена объектов, используйте --long или -l параметр. В следующих примерах list полную информацию о объектах, найденных в корневом каталоге указанного тома или в каталоге tmp в корневом каталоге DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

Чтобы отобразить полные пути к объекту --absolute , используйте этот параметр. В следующих примерах list полная информация об объектах и их полные пути, обнаруженные в корне указанного тома или в директории tmp в корневой папке DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

Вывод содержимого файла

Чтобы вывести содержимое файла, используйте cat команду. Укажите путь к файлу в DBFS. В следующих примерах выводится содержимое файла с именем babynames.csv , найденного в корневом каталоге указанного тома или в каталоге в tmp корневом каталоге DBFS:

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

В следующих примерах возвращаются ошибки, так как они пытаются вывести содержимое каталога вместо файла:

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

Создание каталога

Чтобы создать каталог, используйте mkdir команду. Укажите путь к каталогу, который нужно создать в томе или в DBFS. Если каталог уже существует, ничего не происходит. В следующих примерах создается каталог с именем squirrel-data в корневом каталоге указанного тома или в каталоге с именем tmp в корневом каталоге DBFS:

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

Копирование каталога или файла

Чтобы скопировать каталог или файл, используйте cp команду. Укажите пути к исходному каталогу или файлу для копирования и назначения. Каталоги и файлы можно скопировать между локальной файловой системой и DBFS, а также скопировать каталоги и файлы между путями DBFS. Чтобы перезаписать существующие --overwrite файлы, используйте этот параметр. Чтобы рекурсивно копировать файлы в каталоге, используйте --recursive или -r параметр.

Команда cp предполагает, file:/ что file:/если опущен.

В следующих примерах копируется каталог с именем squirrel-data и его содержимым из пути локальной файловой системы к squirrels каталогу в корневом каталоге указанного тома или корневом каталоге DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

В следующем примере файл с именем из пути локальной файловой системы копируется в каталог с именем squirrels.csvsquirrel-data в корневом каталоге указанного тома или корневом каталоге DBFS. Если файл уже существует в назначении, он перезаписан.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

Remove каталог

Чтобы remove каталог, используйте команду rm. Укажите путь к существующему каталогу в DBFS. В следующих примерах remove каталог с именем squirrel-data из корня указанного тома или из директории tmp, находящейся в корневом каталоге DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

Если каталог не существует, ничего не происходит, и ошибка не возвращается.

Если каталог существует, но не пуст, возвращается ошибка. Чтобы remove непустый каталог и все его содержимое, используйте параметр --recursive или -r. В следующих примерах remove непустый каталог с именем squirrel-data из корневого каталога указанного тома или из каталога tmp в корневом каталоге DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r