Поделиться через

sync группа команд

  • Статья

Примечание.

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks распространяется на лицензию Databricks и уведомление о конфиденциальности Databricks, включая все положения об использовании.

Группа sync команд в интерфейсе командной строки Databricks позволяет односторонней синхронизации изменений файлов в локальном каталоге файловой системы в каталоге удаленной рабочей области Azure Databricks.

Примечание.

  • sync команды не могут синхронизировать изменения файлов из каталога в удаленной рабочей области Azure Databricks, обратно в каталог в локальной файловой системе.
  • sync команды могут синхронизировать изменения файлов с локального компьютера разработки только с файлами пользователя рабочей области (/Users) в рабочей области Azure Databricks. Он не может синхронизироваться с файлами DBFS (dbfs:/). Чтобы синхронизировать изменения файлов с локального компьютера разработки с DBFS (dbfs:/) в рабочей области Azure Databricks, используйте программу синхронизации dbx.

Команды выполняются sync путем добавления их в databricks sync. Чтобы отобразить справку по команде sync , выполните команду databricks sync -h.

Пошаговая синхронизация изменений локальных файлов с удаленным каталогом

Чтобы выполнить однократную и добавочную синхронизацию изменений файлов в локальном каталоге файловой системы, в каталог в удаленной рабочей области Azure Databricks выполните sync команду следующим образом:

databricks sync <local-directory-path> <remote-directory-path>

Например, чтобы выполнить однократную одностороннюю синхронизацию всех изменений файлов в папке с именем my-folder локального рабочего каталога, в определенный путь в удаленной рабочей области, выполните следующую команду:

databricks sync ./my-folder/ /Users/someone@example.com/

В этом примере синхронизированы syncтолько изменения файлов с момента последнего выполнения /Users/someone@example.com/ команды. По умолчанию URL-адрес рабочей области в DEFAULT профиля вызывающего объекта используется для определения удаленной рабочей области для синхронизации.

Полная синхронизация изменений локального файла в удаленном каталоге

Для выполнения одной полной односторонней синхронизации изменений файлов в локальном каталоге файловой системы с каталогом в удаленной рабочей области Azure Databricks независимо от того, когда была запущена последняя sync команда, используйте --full этот параметр, например:

databricks sync ./my-folder/ /Users/someone@example.com/ --full

Непрерывная синхронизация изменений локального файла с удаленным каталогом

Чтобы включить непрерывную односторонней синхронизацию изменений файлов в локальном каталоге файловой системы, в каталог в удаленной рабочей области Azure Databricks, используйте --watch этот параметр, например:

databricks sync ./my-folder/ /Users/someone@example.com/ --watch

Односторонняя синхронизация продолжается, пока команда не будет остановлена из терминала, как правило, путем нажатия клавиши Ctrl + c или Ctrl + z.

Опрос возможных событий синхронизации происходит один раз в секунду по умолчанию. Чтобы изменить этот интервал, используйте --interval параметр вместе с количеством секунд для опроса, за которым следует символ s, например в течение пяти секунд:

databricks sync ./my-folder/ /Users/someone@example.com/ --watch --interval 5s

Измените формат вывода прогресса синхронизации

Информация о ходе синхронизации выводится в терминале в текстовом формате по умолчанию. Чтобы указать формат выходных данных хода синхронизации, используйте параметр --output, указав либо text (значение по умолчанию, если --output не указано в противном случае), либо json, например:

databricks sync ./my-folder/ /Users/someone@example.com/ --output json