適用於 Python 的 Databricks Connect 限制
注意
本文涵蓋 Databricks Runtime 13.3 LTS 和更新版本適用的 Databricks Connect。
本文列出適用於 Python 的 Databricks Connect 限制。 Databricks Connect 可讓您將熱門的 IDE、Notebook 伺服器和自定義應用程式連線到 Azure Databricks 叢集。 請參閱什麼是 Databricks Connect?。 如需本文的 Scala 版本,請參閱 適用於 Scala 的 Databricks Connect 限制。
Databricks Connect for Databricks Runtime 13.3 LTS 和以下版本無法使用:
- 流
foreachBatch
- 建立大於 128 MB 的數據框架
- 超過 3600 秒的長查詢
無法使用:
- 數據集 API
- 資料集具類型的 API(例如
reduce()
和flatMap()
) - Databricks 公用程式:
credentials
、、library
notebook workflow
、widgets
SparkContext
RDDs
- MLflow 模型推斷:
pyfunc.spark_udf()
API - 馬賽克地理空間
CREATE TABLE <table-name> AS SELECT
(請改用spark.sql("SELECT ...").write.saveAsTable("table")
)ApplyinPandas()
和Cogroup()
與共用叢集- 透過變更log4j記錄層級
SparkContext
- 分散式 ML 定型
- 同步處理本機開發環境與遠端叢集