Поделиться через

Ограничения с Databricks Connect для Scala

  • Статья

Заметка

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье перечислены ограничения для Databricks Connect для Scala. Databricks Connect позволяет подключать популярные среды разработки, серверы тетрадей и пользовательские приложения к кластерам Azure Databricks. См. Что такое Databricks Connect?. См. раздел Ограничения использования Databricks Connect для Python в версии Python этой статьи.

Важный

В зависимости от используемой версии Scala, Java, Databricks Runtime и Databricks Connect может потребоваться версия некоторых функций. См. Требования.

Доступность компонентов

Недоступно в Databricks Connect для Databricks Runtime 13.3 LTS и ниже:

  • Трансляция foreachBatch
  • Создание DataFrame-ов размером более 128 МБ
  • Длинные запросы в течение 3600 секунд
  • Скалярные ОПФ в кластерах, использующих режим одиночного доступа пользователя к кластеру

Недоступно:

  • Служебные программы Databricks: credentials, library, notebook workflow, widgets
  • Контекст «Spark»
  • Устойчивые распределенные наборы данных
  • CREATE TABLE <table-name> AS SELECT (вместо этого используйте spark.sql("SELECT ...").write.saveAsTable("table"))
  • Изменение уровня ведения журнала log4j через SparkContext
  • Обучение распределенного машинного обучения
  • Синхронизация локальной среды разработки с удаленным кластером