Instalace Databricks Connect pro Scala

Článek
12/19/2024

Poznámka:

Tento článek popisuje Databricks Connect pro Databricks Runtime 13.3 LTS a vyšší.

Tento článek popisuje, jak nainstalovat Databricks Connect pro Scala. Podívejte se, co je Databricks Connect? Verzi pythonu tohoto článku najdete v tématu Instalace Databricks Connect pro Python.

Požadavky

Váš cílový pracovní prostor a cluster Azure Databricks musí splňovat požadavky na konfiguraci výpočetních prostředků pro Databricks Connect.
Sada Java Development Kit (JDK) nainstalovaná na vývojovém počítači. Databricks doporučuje, aby verze instalace sady JDK, kterou používáte, odpovídala verzi sady JDK ve vašem clusteru Azure Databricks. Informace o verzi sady JDK v clusteru najdete v části Systémové prostředí poznámky k verzi databricks Runtime pro váš cluster. Například Zulu 8.70.0.23-CA-linux64 odpovídá JDK 8. Viz poznámky k verzi databricks Runtime a verze kompatibility.
Scala nainstalovaná na vývojovém počítači. Databricks doporučuje, aby verze vaší instalace Scala odpovídala verzi Scala ve vašem clusteru Azure Databricks. Pro nalezení verze Scala pro verzi Databricks Runtime vašeho clusteru se podívejte do systémového prostředí v poznámkách k verzi Databricks Runtime pro danou verzi. Viz poznámky k verzi databricks Runtime a verze kompatibility.
Pokud používáte uživatelem definované funkce (UDF), místní verze Scala a Java se musí shodovat s verzemi Scala a Java verze Databricks Runtime clusteru. Informace o verzích Java a Scala verze Databricks Runtime vašeho clusteru najdete v části Systémové prostředí v poznámkách k vydání Databricks Runtime pro danou verzi. Viz poznámky k verzi databricks Runtime a verze kompatibility.
Nástroj pro sestavení Scala na vývojovém počítači, například sbt.

Přidání odkazu na klienta Databricks Connect

Pokud chcete nastavit klienta Databricks Connect, nejprve přidejte odkaz na klienta. Do souboru sestavení projektu Scala, například build.sbt pro sbtMaven pom.xml nebo build.gradle Gradle, přidejte do klienta Databricks Connect následující odkaz. Nahraďte 14.0.0 verzí knihovny Databricks Connect, která odpovídá verzi Databricks Runtime ve vašem clusteru. Čísla verzí knihovny Databricks Connect najdete v centrálním úložišti Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Konfigurace vlastností připojení

Dále nakonfigurujte vlastnosti pro navázání připojení mezi Databricks Connect a vzdáleným clusterem Azure Databricks. Mezi tyto vlastnosti patří nastavení pro ověření databricks Connect ve vašem clusteru. Viz Konfigurace výpočetních prostředků pro Databricks Connect.

Databricks Connect pro Databricks Runtime 13.3 LTS a vyšší platí pro Scala, Databricks Connect zahrnuje sadu Databricks SDK pro Javu. Tato sada SDK implementuje standard sjednoceného ověřování klienta Databricks, konsolidovaný a konzistentní přístup k ověřování prostřednictvím architektury a kódu programu. Díky tomuto přístupu je nastavení a automatizace ověřování pomocí Azure Databricks centralizovanější a předvídatelnější. Umožňuje nakonfigurovat ověřování Azure Databricks jednou a pak tuto konfiguraci použít napříč několika nástroji a sadami SDK Azure Databricks bez dalších změn konfigurace ověřování.