Limitações com o Databricks Connect for Python
Nota
Este artigo aborda o Databricks Connect for Databricks Runtime 13.3 LTS e superior.
Este artigo lista as limitações do Databricks Connect for Python. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?. Para a versão Scala deste artigo, consulte Limitações com o Databricks Connect for Scala.
Importante
Dependendo da versão do Python, Databricks Runtime e Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Consulte Requisitos.
Disponibilidade de funcionalidades
Não disponível no Databricks Connect for Databricks Runtime 13.3 LTS e abaixo:
- Transmissão
foreachBatch
- Criação de DataFrames maiores que 128 MB
- Consultas longas com mais de 3600 segundos
Não disponível:
-
dataframe.display()
API - Utilitários Databricks:
credentials
,library
,notebook workflow
,widgets
- Spark Context
- Conjuntos de Dados Distribuídos Resilientes (RDDs)
- Bibliotecas que usam RDDs, Spark Context ou acessam a JVM subjacente do Spark, como Mosaic geospatial, GraphFrames ou GreatExpectations
-
CREATE TABLE <table-name> AS SELECT
(em vez disso, usespark.sql("SELECT ...").write.saveAsTable("table")
) -
ApplyinPandas()
eCogroup()
com clusters partilhados - Alterando o nível de log log4j através de
SparkContext
- Treinamento distribuído de ML
- Sincronizando o ambiente de desenvolvimento local com o cluster remoto
- Na computação sem servidor, as UDFs não podem incluir bibliotecas personalizadas.