Configuración del clúster para Databricks Connect
Nota:
Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.
En este artículo se enumeran los valores de configuración para el proceso de Azure Databricks para que Databricks Connect pueda conectarse a ellos. Esta información se aplica a la versión de Python y Scala de Databricks Connect a menos que se indique lo contrario.
Databricks Connect le permite conectar clústeres de Azure Databricks a entornos de desarrollo integrado populares, como Visual Studio Code, PyCharm, RStudio Desktop, IntelliJ IDEA, servidores de cuadernos y otras aplicaciones personalizadas. Consulte ¿Qué es Databricks Connect?.
Requisitos
- Una cuenta y un área de trabajo de Azure Databricks con Unity Catalog habilitado. Consulte Configurar y administrar Unity Catalog y Habilite un área de trabajo para Unity Catalog.
- Un clúster de Azure Databricks con Databricks Runtime 13.3 LTS o posterior instalado.
- La versión de Databricks Runtime del clúster debe ser igual o superior a la versión del paquete de Databricks Connect. Databricks recomienda usar siempre el paquete más reciente de Databricks Connect que coincida con la versión de Databricks Runtime. Si quiere usar características que están disponibles en versiones posteriores de Databricks Runtime, debe actualizar el paquete de Databricks Connect. Vea las notas de la versión de Databricks Connect para obtener una lista de las versiones disponibles de Databricks Connect. Para obtener las notas de la versión de Databricks Runtime, vea Versiones de las notas de la versión y compatibilidad de Databricks Runtime.
- El clúster debe usar un modo de acceso al clúster de Asignado o Compartido. Consulte Modos de acceso.
Validación mediante programación
En Databricks Connect 14.3 y versiones posteriores, DatabricksSession.builder presenta validateSession, que ejecuta una serie de validaciones para asegurarse de que se cumplen los requisitos anteriores.
En Databricks Connect para Python, el databricks-connect binario tiene un subcomando test que realiza el mismo conjunto de validaciones.
Este comando debe ejecutarse en el terminal con un entorno de Python activo que incluya Databricks Connect y con el conjunto de credenciales predeterminadas configuradas. Para configurar estas credenciales, vea Configuración de propiedades de conexión.
databricks-connect test
El comando producirá un error con un código de salida distinto de cero y un mensaje adecuado cuando no se cumpla alguno de los requisitos.
Deshabilitación de Databricks Connect
Los servicios de Databricks Connect (y Spark Connect subyacente) se pueden deshabilitar en cualquier clúster determinado.
Para deshabilitar el servicio de Databricks Connect, define la siguiente configuración de Spark en el clúster.
spark.databricks.service.server.enabled false
Pasos siguientes
- En el caso de Python, consulte Instalación de Databricks Connect para Python.
- Para R, consulte Databricks Connect para R.
- En el caso de Scala, consulte Instalación de Databricks Connect para Scala.