Udostępnij za pośrednictwem

Zestaw SDK usługi Databricks dla języka Java

  • Artykuł

Z tego artykułu dowiesz się, jak zautomatyzować operacje na kontach, obszarach roboczych i powiązanych zasobach usługi Azure Databricks za pomocą zestawu SDK usługi Databricks dla języka Java. Ten artykuł uzupełnia zestaw SDK usługi Databricks dla języka Java README, dokumentacja interfejsu API i przykłady.

Uwaga

Ta funkcja jest dostępna w wersji beta i jest w porządku do użycia w środowisku produkcyjnym.

W okresie beta usługa Databricks zaleca przypięcie zależności od określonej pomocniczej wersji zestawu SDK usługi Databricks dla języka Java, od której zależy twój kod. Na przykład można przypiąć zależności w plikach, takich jak pom.xml dla narzędzia Maven. Aby uzyskać więcej informacji na temat przypinania zależności, zobacz Wprowadzenie do mechanizmu zależności.

Zanim rozpoczniesz

Przed rozpoczęciem korzystania z zestawu SDK usługi Databricks dla języka Java maszyna deweloperna musi mieć następujące elementy:

  • Skonfigurowane uwierzytelnianie usługi Azure Databricks.
  • Zestaw Java Development Kit (JDK) zgodny z językiem Java 8 lub nowszym. Testowanie ciągłej integracji z zestawem SDK usługi Databricks dla języka Java jest zgodne z językiem Java w wersji 8, 11, 17 i 20.
  • Zalecane jest zintegrowane środowisko projektowe (IDE) zgodne z językiem Java. Usługa Databricks zaleca środowisko IntelliJ IDEA.

Wprowadzenie do zestawu SDK usługi Databricks dla języka Java

  1. W pliku projektu pom.xml poinstruuj system kompilacji, aby był zależny od zestawu SDK usługi Databricks dla języka Java. W tym celu dodaj następujący kod <dependency> do pom.xml istniejącej <dependencies> sekcji pliku. <dependencies> Jeśli sekcja nie istnieje jeszcze w pom.xml pliku, należy również dodać <dependencies> element nadrzędny do pom.xml pliku.

    Aby na przykład otworzyć plik projektu pom.xml w środowisku IntelliJ IDEA, kliknij pozycję Wyświetl > narzędzie > Windows Project, a następnie kliknij dwukrotnie, aby otworzyć plik src > o nazwie> projektu pom.xml.

    <dependencies>
  <dependency>
    <groupId>com.databricks</groupId>
    <artifactId>databricks-sdk-java</artifactId>
    <version>0.0.1</version>
  </dependency>
</dependencies>

    Uwaga

    Pamiętaj, aby zastąpić 0.0.1 najnowszą wersją zestawu SDK usługi Databricks dla języka Java. Najnowszą wersję można znaleźć w centralnym repozytorium Maven.

  2. Poinstruuj projekt, aby pobrał zadeklarowaną zależność od zestawu SDK usługi Databricks dla języka Java. Na przykład w środowisku IntelliJ IDEA w oknie narzędzia Project projektu kliknij prawym przyciskiem myszy węzeł główny projektu, a następnie kliknij polecenie Załaduj ponownie projekt.

  3. Dodaj kod, aby zaimportować zestaw SDK usługi Databricks dla języka Java i wyświetlić listę wszystkich klastrów w obszarze roboczym usługi Azure Databricks. Na przykład w pliku projektu Main.java kod może być następujący:

    import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.compute.ClusterInfo;
import com.databricks.sdk.service.compute.ListClustersRequest;

public class Main {
  public static void main(String[] args) {
    WorkspaceClient w = new WorkspaceClient();

    for (ClusterInfo c : w.clusters().list(new ListClustersRequest())) {
      System.out.println(c.getClusterName());
    }
  }
}

    Uwaga

    Nie ustawiając żadnych argumentów w poprzednim wywołaniu na WorkspaceClient w = new WorkspaceClient(), zestaw SDK usługi Databricks dla języka Java używa domyślnego procesu próby przeprowadzenia uwierzytelniania w usłudze Azure Databricks. Aby zastąpić to zachowanie domyślne, zobacz następującą sekcję uwierzytelniania .

  4. Skompiluj projekt. Aby to zrobić na przykład w środowisku IntelliJ IDEA, w menu głównym kliknij pozycję Kompiluj projekt kompilacji>.

  5. Uruchom plik główny. Na przykład, aby to zrobić w środowisku IntelliJ IDEA dla pliku projektuMain.java, w menu głównym kliknij polecenie Uruchom uruchom > "Main".

  6. Zostanie wyświetlona lista klastrów. Na przykład w środowisku IntelliJ IDEA znajduje się to w oknie Uruchom narzędzie. Aby wyświetlić to okno narzędzia, w menu głównym kliknij pozycję Wyświetl > narzędzie Uruchom systemu Windows>.

Uwierzytelnianie zestawu SDK usługi Databricks dla języka Java przy użyciu konta lub obszaru roboczego usługi Azure Databricks

Zestaw SDK usługi Databricks dla języka Java implementuje ujednolicony standard uwierzytelniania klienta usługi Databricks, skonsolidowane i spójne podejście architektoniczne i programowe do uwierzytelniania . Takie podejście pomaga w konfigurowaniu i automatyzowaniu uwierzytelniania za pomocą usługi Azure Databricks bardziej scentralizowanego i przewidywalnego. Umożliwia ona skonfigurowanie uwierzytelniania usługi Databricks raz, a następnie użycie tej konfiguracji w wielu narzędziach i zestawach SDK usługi Databricks bez dalszych zmian konfiguracji uwierzytelniania. Aby uzyskać więcej informacji, w tym bardziej kompletne przykłady kodu w języku Java, zobacz Ujednolicone uwierzytelnianie klienta usługi Databricks.

Uwaga

Zestaw SDK usługi Databricks dla języka Java nie zaimplementował jeszcze uwierzytelniania tożsamości zarządzanych platformy Azure.

Niektóre z dostępnych wzorców kodowania do inicjowania uwierzytelniania usługi Databricks przy użyciu zestawu SDK usługi Databricks dla języka Java obejmują:

  • Użyj domyślnego uwierzytelniania usługi Databricks, wykonując jedną z następujących czynności:

    • Utwórz lub zidentyfikuj niestandardowy profil konfiguracji usługi Databricks z wymaganymi polami dla docelowego typu uwierzytelniania usługi Databricks. Następnie ustaw zmienną DATABRICKS_CONFIG_PROFILE środowiskową na nazwę niestandardowego profilu konfiguracji.
    • Ustaw wymagane zmienne środowiskowe dla docelowego typu uwierzytelniania usługi Databricks.

    Następnie utwórz wystąpienie obiektu z domyślnym uwierzytelnianiem WorkspaceClient usługi Databricks w następujący sposób:

    import com.databricks.sdk.WorkspaceClient;
// ...
WorkspaceClient w = new WorkspaceClient();
// ...

  • Kodowanie na stałe wymaganych pól jest obsługiwane, ale nie jest zalecane, ponieważ ryzykuje ujawnienie poufnych informacji w kodzie, takich jak osobiste tokeny dostępu usługi Azure Databricks. Poniższy przykład koduje twarde wartości hosta i tokenu dostępu usługi Azure Databricks dla uwierzytelniania tokenu usługi Databricks:

    import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.core.DatabricksConfig;
// ...
DatabricksConfig cfg = new DatabricksConfig()
  .setHost("https://...")
  .setToken("...");
WorkspaceClient w = new WorkspaceClient(cfg);
// ...

Zobacz również Artykuł Authentication in the Databricks SDK for Java README (Uwierzytelnianie w zestawie SDK usługi Databricks dla języka Java README).

Używanie narzędzi usługi Databricks i języka Java z zestawem SDK usługi Databricks dla języka Java

Narzędzia usługi Databricks udostępniają kilka funkcji pomocnika, które ułatwiają wydajną pracę z magazynem obiektów, tworzenie łańcuchów i parametryzacji notesów oraz praca z wpisami tajnymi. Usługa Databricks udostępnia bibliotekę Databricks Utilities for Scala , którą można wywołać za pomocą kodu Java, aby umożliwić programowy dostęp do narzędzi usługi Databricks.

Aby użyć kodu Java do wywołania narzędzi usługi Databricks dla języka Scala, wykonaj następujące czynności:

  1. W projekcie Java zadeklaruj zależność od zestawu SDK usługi Databricks dla języka Java, zgodnie z opisem w poprzedniej sekcji.

  2. Zadeklaruj zależność od biblioteki Narzędzi usługi Databricks dla języka Scala. W tym celu dodaj następujący kod <dependency> do pom.xml istniejącej <dependencies> sekcji pliku:

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-dbutils-scala_2.12</artifactId>
  <version>0.1.4</version>
</dependency>

    Uwaga

    Pamiętaj, aby zastąpić 0.1.4 najnowszą wersją biblioteki Databricks Utilities for Scala. Najnowszą wersję można znaleźć w centralnym repozytorium Maven.

  3. Poinstruuj projekt, aby pobrał zadeklarowaną zależność od narzędzi usługi Databricks dla języka Scala. Na przykład w środowisku IntelliJ IDEA w oknie narzędzia Project projektu kliknij węzeł główny projektu, a następnie kliknij pozycję Załaduj ponownie projekt maven>.

  4. Dodaj kod w celu zaimportowania, a następnie wywołaj narzędzie databricks dla języka Scala. Na przykład poniższy kod automatyzuje wolumin wykazu aparatu Unity. W tym przykładzie tworzony jest plik o nazwie zzz_hello.txt w ścieżce woluminu w obszarze roboczym, odczytuje dane z pliku, a następnie usuwa plik:

    import com.databricks.sdk.core.DatabricksConfig;
import com.databricks.sdk.scala.dbutils.DBUtils;

public class Main {
  public static void main(String[] args) {
    String filePath = "/Volumes/main/default/my-volume/zzz_hello.txt";
    String fileData = "Hello, Databricks!";
    DBUtils dbutils = DBUtils.getDBUtils(new DatabricksConfig().setProfile("DEFAULT"));

    dbutils.fs().put(filePath, fileData, true);

    System.out.println(dbutils.fs().head(filePath, 18));

    dbutils.fs().rm(filePath, false);
  }
}

  5. Skompiluj projekt i uruchom plik główny.

Przykłady kodu

W poniższych przykładach kodu pokazano, jak używać zestawu SDK usługi Databricks dla języka Java do tworzenia i usuwania klastrów, tworzenia zadań i wyświetlania listy grup na poziomie konta. Te przykłady kodu używają zestawu SDK usługi Databricks do domyślnego procesu uwierzytelniania usługi Azure Databricks w języku Java.

Aby uzyskać dodatkowe przykłady kodu, zobacz folder examples w repozytorium Zestawu SDK usługi Databricks dla języka Java w usłudze GitHub.

Tworzenie klastra

Ten przykładowy kod tworzy klaster z określoną wersją środowiska Databricks Runtime i typem węzła klastra. Ten klaster ma jeden proces roboczy, a klaster zostanie automatycznie zakończony po upływie 15 minut bezczynności.

import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.compute.CreateCluster;
import com.databricks.sdk.service.compute.CreateClusterResponse;

public class Main {
  public static void main(String[] args) {
    WorkspaceClient w = new WorkspaceClient();

    CreateClusterResponse c = w.clusters().create(
      new CreateCluster()
        .setClusterName("my-cluster")
        .setSparkVersion("12.2.x-scala2.12")
        .setNodeTypeId("Standard_DS3_v2")
        .setAutoterminationMinutes(15L)
        .setNumWorkers(1L)
    ).getResponse();

    System.out.println("View the cluster at " +
      w.config().getHost() +
      "#setting/clusters/" +
      c.getClusterId() +
      "/configuration\n");
  }
}

Tworzenie klastra korzystającego z zestawu JDK 17

Uwaga

Zestaw JDK 8 jest w pełni obsługiwany. Zestaw JDK 17 jest w publicznej wersji zapoznawczej dla środowiska Databricks Runtime w wersji 13.1 lub nowszej.

Ta sekcja zawiera przewodnik dotyczący tworzenia klastra przy użyciu zestawu Java Development Kit (JDK). Dowiedz się, jak utworzyć klaster za pomocą zestawu JDK 17 do używania języka Java w notesach i zadaniach.

Podczas tworzenia klastra określ, że klaster używa zestawu JDK 17 zarówno dla sterownika, jak i funkcji wykonawczej, dodając następującą zmienną środowiskową do zmiennych środowiskowych platformy Spark > opcji > zaawansowanych:

JNAME=zulu17-ca-amd64

Trwałe usuwanie klastra

Ten przykład kodu trwale usuwa klaster z określonym identyfikatorem klastra z obszaru roboczego.

import com.databricks.sdk.WorkspaceClient;
import java.util.Scanner;

public class Main {
  public static void main(String[] args) {
    System.out.println("ID of cluster to delete (for example, 1234-567890-ab123cd4):");

    Scanner in = new Scanner(System.in);
    String c_id = in.nextLine();
    WorkspaceClient w = new WorkspaceClient();

    w.clusters().permanentDelete(c_id);
  }
}

Tworzenie zadania

Ten przykładowy kod tworzy zadanie usługi Azure Databricks, które może służyć do uruchamiania określonego notesu w określonym klastrze. W miarę uruchamiania tego kodu pobiera on ścieżkę istniejącego notesu, istniejący identyfikator klastra i powiązane ustawienia zadania od użytkownika w terminalu.

import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.jobs.JobTaskSettings;
import com.databricks.sdk.service.jobs.NotebookTask;
import com.databricks.sdk.service.jobs.NotebookTaskSource;
import com.databricks.sdk.service.jobs.CreateResponse;
import com.databricks.sdk.service.jobs.CreateJob;

import java.util.Scanner;
import java.util.Map;
import java.util.Collection;
import java.util.Arrays;

public class Main {
  public static void main(String[] args) {
    System.out.println("Some short name for the job (for example, my-job):");
    Scanner in = new Scanner(System.in);
    String jobName = in.nextLine();

    System.out.println("Some short description for the job (for example, My job):");
    String description = in.nextLine();

    System.out.println("ID of the existing cluster in the workspace to run the job on (for example, 1234-567890-ab123cd4):");
    String existingClusterId = in.nextLine();

    System.out.println("Workspace path of the notebook to run (for example, /Users/someone@example.com/my-notebook):");
    String notebookPath = in.nextLine();

    System.out.println("Some key to apply to the job's tasks (for example, my-key): ");
    String taskKey = in.nextLine();

    System.out.println("Attempting to create the job. Please wait...");

    WorkspaceClient w = new WorkspaceClient();

    Map<String, String> map = Map.of("", "");

    Collection<JobTaskSettings> tasks = Arrays.asList(new JobTaskSettings()
      .setDescription(description)
      .setExistingClusterId(existingClusterId)
      .setNotebookTask(new NotebookTask()
        .setBaseParameters(map)
        .setNotebookPath(notebookPath)
        .setSource(NotebookTaskSource.WORKSPACE))
      .setTaskKey(taskKey)
    );

    CreateResponse j = w.jobs().create(new CreateJob()
      .setName(jobName)
      .setTasks(tasks)
    );

    System.out.println("View  the job at " +
      w.config().getHost() +
      "/#job/" +
      j.getJobId()
    );
  }
}

Zarządzanie plikami w woluminach wykazu aparatu Unity

W tym przykładzie kodu pokazano różne wywołania funkcji w celu WorkspaceClient uzyskania dostępu do files woluminu wykazu aparatu Unity.

import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.files.DirectoryEntry;
import com.databricks.sdk.service.files.DownloadResponse;
import java.io.*;
import java.nio.file.Files;
import java.nio.file.Paths;

public class Main {
  public static void main(String[] args) throws IOException {
    String catalog          = "main";
    String schema           = "default";
    String volume           = "my-volume";
    String volumePath       = "/Volumes/" + catalog + "/" + schema + "/" + volume; // /Volumes/main/default/my-volume
    String volumeFolder     = "my-folder";
    String volumeFolderPath = volumePath + "/" + volumeFolder; // /Volumes/main/default/my-volume/my-folder
    String volumeFile       = "data.csv";
    String volumeFilePath   = volumeFolderPath + "/" + volumeFile; // /Volumes/main/default/my-volume/my-folder/data.csv
    String uploadFilePath   = "./data.csv";

    WorkspaceClient w = new WorkspaceClient();

    // Create an empty folder in a volume.
    w.files().createDirectory(volumeFolderPath);

    // Upload a file to a volume.
    try {
      File uploadFile = new File(upload_file_path);
      InputStream uploadInputStream = Files.newInputStream(Paths.get(upload_file_path));
      w.files().upload(volumeFilePath, uploadInputStream);
    } catch (java.io.IOException e) {
      System.out.println(e.getMessage());
      System.exit(-1);
    }

    // List the contents of a volume.
    Iterable<DirectoryEntry> volumeItems = w.files().listDirectoryContents(volumePath);
    for (DirectoryEntry volumeItem: volumeItems) {
      System.out.println(volumeItem.getPath());
    }

    // List the contents of a folder in a volume.
    Iterable<DirectoryEntry> volumeFolderItems = w.files().listDirectoryContents(volumeFolderPath);
    for (DirectoryEntry volumeFolderItem: volumeFolderItems) {
      System.out.println(volumeFolderItem.getPath());
    }

    // Print the contents of a file in a volume.
    DownloadResponse resp = w.files().download(volumeFilePath);
    InputStream downloadedFile = resp.getContents();

    try {
      BufferedReader reader = new BufferedReader(new InputStreamReader(downloadedFile));
      String line;
      while ((line = reader.readLine()) != null) {
          System.out.println(line);
      }
    } catch (java.io.IOException e) {
      System.out.println(e.getMessage());
      System.exit(-1);
    }

    // Delete a file from a volume.
    w.files().delete(volumeFilePath);

    // Delete a folder from a volume.
    w.files().deleteDirectory(volumeFolderPath);
  }
}

Wyświetlanie listy grup na poziomie konta

Ten przykładowy kod zawiera listę nazw wyświetlanych dla wszystkich dostępnych grup na koncie usługi Azure Databricks.

import com.databricks.sdk.AccountClient;
import com.databricks.sdk.core.DatabricksConfig;
import com.databricks.sdk.service.iam.Group;
import com.databricks.sdk.service.iam.ListAccountGroupsRequest;

public class Main {
  public static void main(String[] args) {
    AccountClient a = new AccountClient();

    for (Group g : a.groups().list((new ListAccountGroupsRequest()))) {
      System.out.println(g.getDisplayName());
    }
  }
}

Używanie języka Scala z zestawem SDK usługi Databricks dla języka Java

Projekty Języka Scala można używać z zestawem SDK usługi Databricks dla języka Java. Przed rozpoczęciem maszyna deweloperów musi mieć następujące elementy:

  • Skonfigurowane uwierzytelnianie usługi Azure Databricks.
  • Zalecane jest zintegrowane środowisko projektowe (IDE) zgodne ze standardem Scala. Usługa Databricks zaleca środowisko IntelliJ IDEA z wtyczką Scala. Te instrukcje zostały przetestowane w środowisku IntelliJ IDEA Community Edition 2023.3.6. Jeśli używasz innej wersji lub wydania środowiska IntelliJ IDEA, poniższe instrukcje mogą się różnić.
  • Zestaw Java Development Kit (JDK) zgodny z językiem Java 8 lub nowszym. Jeśli chcesz uruchamiać aplikacje lub używać bibliotek w klastrze usługi Azure Databricks, usługa Databricks zaleca użycie wersji zestawu JDK zgodnej z wersją zestawu JDK w klastrze. Aby znaleźć wersję zestawu JDK dołączoną do określonego środowiska Databricks Runtime, zobacz Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime). Jeśli używasz środowiska IntelliJ IDEA, możesz wybrać istniejącą lokalną instalację zestawu JDK lub zainstalować nowy zestaw JDK lokalnie podczas tworzenia projektu Scala.
  • Narzędzie kompilacji Języka Scala. Usługa Databricks zaleca .sbt Jeśli używasz środowiska IntelliJ IDEA, możesz wybrać sbt wersję do użycia podczas tworzenia projektu Scala.
  • Scala. Jeśli chcesz uruchamiać aplikacje lub używać bibliotek w klastrze usługi Azure Databricks, usługa Databricks zaleca użycie wersji języka Scala zgodnej z wersją języka Scala w klastrze. Aby znaleźć wersję języka Scala dołączoną do określonego środowiska Databricks Runtime, zobacz Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime). Jeśli używasz środowiska IntelliJ IDEA, możesz wybrać wersję języka Scala do użycia podczas tworzenia projektu Scala.

Aby skonfigurować, skompilować i uruchomić projekt Scala:

  1. W pliku projektu build.sbt utwórz zależność od biblioteki zestawu SDK usługi Databricks dla języka Java, dodając następujący wiersz na końcu pliku, a następnie zapisz plik:

    libraryDependencies += "com.databricks" % "databricks-sdk-java" % "0.2.0"

    Uwaga

    Pamiętaj, aby zastąpić 0.2.0 najnowszą wersją zestawu SDK usługi Databricks dla języka Java. Najnowszą wersję można znaleźć w centralnym repozytorium Maven.

  2. Poinstruuj projekt, aby pobrał zadeklarowaną zależność od zestawu SDK usługi Databricks dla języka Java. Na przykład w środowisku IntelliJ IDEA kliknij ikonę powiadomienia Załaduj zmiany sbt .

  3. Dodaj kod, aby zaimportować zestaw SDK usługi Databricks dla języka Java i wyświetlić listę wszystkich klastrów w obszarze roboczym usługi Azure Databricks. Na przykład w pliku projektu Main.scala kod może być następujący:

    import com.databricks.sdk.WorkspaceClient
import com.databricks.sdk.service.compute.ListClustersRequest

object Main {
  def main(args: Array[String]): Unit = {
    val w = new WorkspaceClient()

    w.clusters().list(new ListClustersRequest()).forEach{
      elem => println(elem.getClusterName)
    }
  }
}

    Uwaga

    Nie ustawiając żadnych argumentów w poprzednim wywołaniu na val w = new WorkspaceClient(), zestaw SDK usługi Databricks dla języka Java używa domyślnego procesu próby przeprowadzenia uwierzytelniania w usłudze Azure Databricks. Aby zastąpić to zachowanie domyślne, zobacz następującą sekcję uwierzytelniania .

  4. Skompiluj projekt. Aby to zrobić na przykład w środowisku IntelliJ IDEA, w menu głównym kliknij pozycję Kompiluj projekt kompilacji>.

  5. Uruchom plik główny. Na przykład, aby to zrobić w środowisku IntelliJ IDEA dla pliku projektuMain.scala, w menu głównym kliknij polecenie Uruchom uruchom > "Main.scala".

  6. Zostanie wyświetlona lista klastrów. Na przykład w środowisku IntelliJ IDEA znajduje się to w oknie Uruchom narzędzie. Aby wyświetlić to okno narzędzia, w menu głównym kliknij pozycję Wyświetl > narzędzie Uruchom systemu Windows>.

Używanie narzędzi usługi Databricks i języka Scala z zestawem SDK usługi Databricks dla języka Java

Narzędzia usługi Databricks udostępniają kilka funkcji pomocnika, które ułatwiają wydajną pracę z magazynem obiektów, tworzenie łańcuchów i parametryzacji notesów oraz praca z wpisami tajnymi. Usługa Databricks udostępnia bibliotekę Narzędzi usługi Databricks dla języka Scala , aby umożliwić programowy dostęp do narzędzi usługi Databricks za pomocą języka Scala.

Aby wywołać narzędzia databricks dla języka Scala, wykonaj następujące czynności:

  1. W projekcie Scala zadeklaruj zależność od zestawu SDK usługi Databricks dla języka Java, zgodnie z opisem w poprzedniej sekcji.

  2. Zadeklaruj zależność od biblioteki Narzędzi usługi Databricks dla języka Scala. Na przykład w pliku projektu build.sbt dodaj następujący wiersz na końcu pliku, a następnie zapisz plik:

    libraryDependencies += "com.databricks" % "databricks-dbutils-scala_2.12" % "0.1.4"

    Uwaga

    Pamiętaj, aby zastąpić 0.1.4 najnowszą wersją biblioteki Databricks Utilities for Scala. Najnowszą wersję można znaleźć w centralnym repozytorium Maven.

  3. Poinstruuj projekt, aby pobrał zadeklarowaną zależność od narzędzi usługi Databricks dla języka Scala. Na przykład w środowisku IntelliJ IDEA kliknij ikonę powiadomienia Załaduj zmiany sbt .

  4. Dodaj kod w celu zaimportowania, a następnie wywołaj narzędzie databricks dla języka Scala. Na przykład poniższy kod automatyzuje wolumin wykazu aparatu Unity. W tym przykładzie tworzony jest plik o nazwie zzz_hello.txt w ścieżce woluminu w obszarze roboczym, odczytuje dane z pliku, a następnie usuwa plik:

    import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {
    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}

    Uwaga

    Nie ustawiając żadnych argumentów w poprzednim wywołaniu metody val dbutils = DBUtils.getDBUtils(), narzędzie Databricks Utilities for Scala używa domyślnego procesu do próby przeprowadzenia uwierzytelniania usługi Azure Databricks.

    Aby zastąpić to zachowanie domyślne, przekaż wystąpienie DatabricksCfg obiektu jako argument do getDBUtilsklasy . Aby uzyskać więcej informacji, zobacz poprzednią sekcję uwierzytelniania .

    Należy jednak pamiętać, że jeśli kod działa wewnątrz środowiska Databricks Runtime, ten DatabricksCfg obiekt jest ignorowany. Dzieje się tak, ponieważ narzędzia Databricks Utilities for Scala są delegowane do wbudowanych narzędzi usługi Databricks podczas uruchamiania wewnątrz środowiska Databricks Runtime.

  5. Skompiluj projekt i uruchom plik główny.

Aby uzyskać dostęp do woluminów wykazu aparatu Unity, użyj polecenia files w programie WorkspaceClient. Zobacz Zarządzanie plikami w woluminach wykazu aparatu Unity. Nie można uzyskać DBUtils.getDBUtils() dostępu do woluminów.

Testowanie

Aby przetestować kod, użyj platform testowych Java, takich jak JUnit. Aby przetestować kod w symulowanych warunkach bez wywoływania punktów końcowych interfejsu API REST usługi Azure Databricks lub zmieniania stanu kont lub obszarów roboczych usługi Azure Databricks, użyj bibliotek pozorujących języka Java, takich jak Mockito.

Na przykład, biorąc pod uwagę następujący plik o nazwie Helpers.java zawierającej funkcję zwracającą createCluster informacje o nowym klastrze:

// Helpers.java

import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.compute.CreateCluster;
import com.databricks.sdk.service.compute.CreateClusterResponse;

public class Helpers {
  static CreateClusterResponse createCluster(
    WorkspaceClient w,
    CreateCluster   createCluster,
    String          clusterName,
    String          sparkVersion,
    String          nodeTypeId,
    Long            autoTerminationMinutes,
    Long            numWorkers
  ) {
    return w.clusters().create(
      createCluster
        .setClusterName(clusterName)
        .setSparkVersion(sparkVersion)
        .setNodeTypeId(nodeTypeId)
        .setAutoterminationMinutes(autoTerminationMinutes)
        .setNumWorkers(numWorkers)
    ).getResponse();
  }
}

I biorąc pod uwagę następujący plik o nazwie Main.java , który wywołuje createCluster funkcję:

// Main.java

import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.compute.CreateCluster;
import com.databricks.sdk.service.compute.CreateClusterResponse;

public class Main {
  public static void main(String[] args) {
    WorkspaceClient w = new WorkspaceClient();
    // Replace <spark-version> with the target Spark version string.
    // Replace <node-type-id> with the target node type string.
    CreateClusterResponse c = Helpers.createCluster(
      w,
      new CreateCluster(),
      "My Test Cluster",
      "<spark-version>",
      "<node-type-id>",
      15L,
      1L
    );
    System.out.println(c.getClusterId());
  }
}

Poniższy plik o nazwie HelpersTest.java testuje, czy createCluster funkcja zwraca oczekiwaną odpowiedź. Zamiast tworzyć klaster w docelowym obszarze roboczym, ten test wyśmiewa WorkspaceClient obiekt, definiuje wyśmiewane ustawienia obiektu, a następnie przekazuje pozorowany obiekt do createCluster funkcji. Następnie test sprawdza, czy funkcja zwraca oczekiwany identyfikator nowego wyśmiewanego klastra.

// HelpersTest.java

import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.mixin.ClustersExt;
import com.databricks.sdk.service.compute.ClusterDetails;
import com.databricks.sdk.service.compute.CreateCluster;
import com.databricks.sdk.support.Wait;
import com.databricks.sdk.service.compute.CreateClusterResponse;
import org.junit.jupiter.api.Test;
import org.mockito.Mockito;
import static org.junit.jupiter.api.Assertions.assertEquals;

public class HelpersTest {
  @Test
  public void testCreateCluster() {
    WorkspaceClient mockWorkspaceClient = Mockito.mock(WorkspaceClient.class);
    ClustersExt mockClustersExt = Mockito.mock(ClustersExt.class);
    CreateCluster mockCreateCluster = new CreateCluster();
    Wait<ClusterDetails, CreateClusterResponse> mockWait = Mockito.mock(Wait.class);
    CreateClusterResponse mockResponse = Mockito.mock(CreateClusterResponse.class);

    Mockito.when(mockWorkspaceClient.clusters()).thenReturn(mockClustersExt);
    Mockito.when(mockClustersExt.create(Mockito.any(CreateCluster.class))).thenReturn(mockWait);
    Mockito.when(mockWait.getResponse()).thenReturn(mockResponse);

    // Replace <spark-version> with the target Spark version string.
    // Replace <node-type-id> with the target node type string.
    CreateClusterResponse response = Helpers.createCluster(
      mockWorkspaceClient,
      mockCreateCluster,
      "My Test Cluster",
      "<spark-version>",
      "<node-type-id>",
      15L,
      1L
    );
    assertEquals(mockResponse, response);
  }
}

Dodatkowe zasoby

Aby uzyskać więcej informacji, zobacz: