Поделиться через

Ограничения для Databricks Connect для Python

  • Статья

Примечание.

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье перечислены ограничения для Databricks Connect для Python. Databricks Connect позволяет подключать популярные идентификаторы, серверы записных книжек и пользовательские приложения к кластерам Azure Databricks. См. раздел "Что такое Databricks Connect?". Сведения о версии Scala этой статьи см. в разделе "Ограничения" с Databricks Connect для Scala.

Недоступно в Databricks Connect для Databricks Runtime 13.3 LTS и ниже:

  • Течение foreachBatch
  • Создание кадров данных размером более 128 МБ
  • Длинные запросы в течение 3600 секунд

Недоступно:

  • API набора данных
  • Типизированные API набора данных (например reduce() , и flatMap())
  • Служебные программы Databricks: credentials, , librarynotebook workflowwidgets
  • SparkContext
  • RDDs
  • Вывод модели MLflow: pyfunc.spark_udf() API
  • Геопространственный фрагмент мозаики
  • CREATE TABLE <table-name> AS SELECT (вместо этого используйте spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() и Cogroup() с общими кластерами
  • Изменение уровня журнала log4j с помощью SparkContext
  • Обучение распределенного машинного обучения
  • Синхронизация локальной среды разработки с удаленным кластером