Compartilhar via

Instalar o Databricks Connect para Scala

  • Artigo

Observação

Esse artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

Esse artigo descreve como instalar o Databricks Connect para Scala. Confira O que é o Databricks Connect?. Para obter a versão Python deste artigo, consulte Instalar o Databricks Connect para Python.

Requisitos

  • O workspace e o cluster de destino do Azure Databricks devem atender aos requisitos de configuração de computação para o Databricks Connect.

  • Você tem o JDK (Java Development Kit) instalado em seu computador de desenvolvimento. O Databricks recomenda que a versão da instalação do JDK corresponda à versão do JDK em seu cluster do Azure Databricks. Para localizar a versão do JDK do Databricks Runtime em seu cluster, consulte a seção do ambiente do sistema nas notas de versão do Databricks Runtime ou na tabela de compatibilidade de versão .

    Observação

    Escolher uma instalação do JDK abaixo ou acima da versão do JDK em seu cluster pode produzir resultados inesperados ou seu código pode não ser executado.

  • Você instalou o Scala em seu computador de desenvolvimento. O Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala em seu cluster do Azure Databricks. Para localizar a versão do Scala da versão do Databricks Runtime do cluster, confira a seção Ambiente do sistema das notas de versão do Databricks Runtime ou da tabela de compatibilidade de versão.

  • Se você estiver usando funções definidas pelo usuário (UDFs), as versões locais do Scala e Java deverão corresponder às versões do Scala e Java da versão do Databricks Runtime do cluster. Para localizar as versões de Scala e Java da versão do Databricks Runtime do seu cluster, consulte a seção de ambiente do sistema das notas de lançamento do Databricks Runtime , ou a tabela de compatibilidade de versões .

  • Uma ferramenta de compilação do Scala em seu computador de desenvolvimento, como sbt.

Matriz de Suporte de Versão

A tabela a seguir mostra versões compatíveis do Databricks Connect, JDK e Scala. Os números de versão do Databricks Connect correspondem aos números de versão do Databricks Runtime.

Tipo de computação Versão do Databricks Connect Versão do JDK Versão da escala
Agrupamento 16.0 e superior

16,0 ML e superior		 JDK 17 2.12.18
Agrupamento 15.4 LTS

15.4 ML LTS		 JDK 8 2.12.18
Agrupamento 13.3 LTS a 14.3 LTS

13.3 ML LTS a 14.3 ML LTS		 JDK 8 2.12.15

Adicionar uma referência ao cliente do Databricks Connect

Para configurar o cliente do Databricks Connect, primeiro adicione uma referência ao cliente. No arquivo de build do projeto do Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle, adicione a seguinte referência ao cliente do Databricks Connect. Substitua 14.0.0 pela versão da biblioteca do Databricks Connect que corresponde à versão do Databricks Runtime em seu cluster. Você pode encontrar os números de versão da biblioteca do Databricks Connect no repositório central do Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Configurar as propriedades da conexão

Em seguida, configure as propriedades para estabelecer uma conexão entre o Databricks Connect e o cluster remoto do Azure Databricks. Essas propriedades incluem configurações para autenticar o Databricks Connect com seu cluster. Consulte Configuração de computação para o Databricks Connect.

Para o Databricks Connect para Databricks Runtime 13.3 LTS e superior, para Scala, o Databricks Connect inclui o SDK do Databricks para Java. Este SDK implementa o padrão de autenticação unificada do cliente do Databricks, uma abordagem arquitetônica e programática consolidada e consistente de autenticação. Essa abordagem ajuda a tornar a configuração e a automação da autenticação com o Azure Databricks mais centralizada e previsível. Ela permite que você configure a autenticação do Azure Databricks uma vez e use essa configuração em várias ferramentas e SDKs do Azure Databricks sem mais alterações posteriores na configuração da autenticação.

Observação