Поделиться через

Использование JAR-файла в задании Azure Databricks

  • Статья

Архив Java или JAR-файл основан на популярном формате ZIP-файла и используется для агрегирования множества файлов Java или Scala в один. С помощью задачи JAR можно обеспечить быструю и надежную установку кода Java или Scala в заданиях Azure Databricks. В этой статье приведен пример создания JAR-файла и задания, запускающего приложение, упаковаемое в JAR-файл. В этом примере вы будете:

  • Создайте проект JAR, определяющий пример приложения.
  • Упаковайте примеры файлов в JAR-файл.
  • Создайте задание для запуска JAR-файла.
  • Запустите задание и ознакомьтесь с результатами.

Перед началом работы

Для выполнения этого примера вам потребуется следующее:

  • Для java JARs пакет средств разработки Java (JDK).
  • Для Scala JARs, JDK и sbt.

Шаг 1. Создание локального каталога для примера

Создайте локальный каталог для хранения примера кода и созданных артефактов, например databricks_jar_test.

Шаг 2. Создание JAR-файла

Выполните следующие инструкции, чтобы создать JAR-файл с помощью Java или Scala.

Создание JAR-файла Java

  1. В папке databricks_jar_test создайте файл с именем PrintArgs.java со следующим содержимым:

    import java.util.Arrays;

public class PrintArgs {
  public static void main(String[] args) {
    System.out.println(Arrays.toString(args));
  }
}

  2. PrintArgs.java Скомпилируйте файл, создающий файлPrintArgs.class:

    javac PrintArgs.java

  3. (Необязательно) Запустите скомпилированную программу:

    java PrintArgs Hello World!

# [Hello, World!]

  4. В той же папке, что PrintArgs.java и PrintArgs.class файлы, создайте папку с именем META-INF.

  5. В папке META-INF создайте файл с именем MANIFEST.MF со следующим содержимым. Обязательно добавьте новую строку в конце этого файла:

    Main-Class: PrintArgs

  6. В корне databricks_jar_test папки создайте JAR-файл с именем PrintArgs.jar:

    jar cvfm PrintArgs.jar META-INF/MANIFEST.MF *.class

  7. (Необязательно) Чтобы проверить его, запустите JAR-файл из корневого databricks_jar_test каталога:

    java -jar PrintArgs.jar Hello World!

# [Hello, World!]

    Примечание.

    Если вы получите ошибку no main manifest attribute, in PrintArgs.jar, обязательно добавьте новую строку в конец файла MANIFEST.MF, а затем попробуйте создать и запустить JAR-файл еще раз.

  8. Отправка PrintArgs.jar в том. См. загрузку файлов в раздел каталога Unity.

Создание JAR-файла Scala

  1. databricks_jar_test Создайте пустой файл build.sbt из папки со следующим содержимым:

    ThisBuild / scalaVersion := "2.12.14"
ThisBuild / organization := "com.example"

lazy val PrintArgs = (project in file("."))
  .settings(
    name := "PrintArgs"
  )

  2. databricks_jar_test Создайте структуру src/main/scala/exampleпапок из папки.

  3. В папке example создайте файл с именем PrintArgs.scala со следующим содержимым:

    package example

object PrintArgs {
  def main(args: Array[String]): Unit = {
    println(args.mkString(", "))
  }
}

  4. Скомпилируйте программу:

    sbt compile

  5. (Необязательно) Запустите скомпилированную программу:

    sbt "run Hello World\!"

# Hello, World!

  6. В папке databricks_jar_test/project создайте файл с именем assembly.sbt со следующим содержимым:

    addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "2.0.0")

  7. В корневой databricks_jar_test папке выполните assembly команду, которая создает JAR-файл в папке target :

    sbt assembly

  8. (Необязательно) Чтобы проверить его, запустите JAR-файл из корневого databricks_jar_test каталога:

    java -jar target/scala-2.12/PrintArgs-assembly-0.1.0-SNAPSHOT.jar Hello World!

# Hello, World!

  9. Отправка PrintArgs-assembly-0.1.0-SNAPSHOT.jar в том. См. загрузку файлов в раздел каталога Unity.

Шаг 3. Создание задания Azure Databricks для запуска JAR-файла

  1. Перейдите на целевую страницу Azure Databricks и выполните одно из следующих действий:
    • На боковой панели щелкните "Рабочие процессыCreate Job Button" и щелкните .Workflows IconКнопка "Создать задание"
    • На боковой панели щелкните Новый значокСоздать и выберите задание в меню.
  2. В диалоговом окне задачи, которое отображается на вкладке "Задачи ", замените имя задания... например JAR example.
  3. В поле "Имя задачи" введите имя задачи, например java_jar_task Java или scala_jar_task Scala.
  4. Для типавыберите JAR-.
  5. Для основного класса в этом примере введите PrintArgs для Java или example.PrintArgs Scala.
  6. Для кластеравыберите совместимый кластер. Ознакомьтесь с поддержкой библиотеки Java и Scala.
  7. Для зависимых библиотек нажмите кнопку +Добавить.
  8. В диалоговом окне добавления зависимой библиотеки с выбранным Томов введите местоположение, куда вы загрузили JAR-файл (PrintArgs.jar или PrintArgs-assembly-0.1.0-SNAPSHOT.jar) на предыдущем шаге в путь к файлу Томов, или отфильтруйте список, или просмотрите, чтобы найти JAR-файл. Выберите его.
  9. Нажмите кнопку Добавить.
  10. Для параметров введите ["Hello", "World!"].
  11. Нажмите кнопку Добавить.

Шаг 4. Запуск задания и просмотр сведений о выполнении задания

Щелкните Кнопка , чтобы запустить рабочий процесс. Чтобы просмотреть сведения о выполнении, щелкните Просмотреть выполнение в всплывающем окне Запущенного выполнения или щелкните ссылку в столбце Время начала для запуска в представлении выполнения заданий.

По завершении выполнения выходные данные отображаются на панели вывода , включая аргументы, переданные задаче.

Ограничения размера выходных данных для заданий JAR

Выходные данные задания, такие как выходные данные журнала, созданные в stdout, подлежат ограничению размера в 20 МБ. Если общий объем выходных данных имеет больший размер, выполнение отменяется и помечается как завершенное с ошибкой.

Чтобы избежать возникновения этого ограничения, можно прекратить возврат stdout из драйвера в Azure Databricks, настроив параметр spark.databricks.driver.disableScalaOutput Spark в значении true. По умолчанию флаг имеет значение false. Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Databricks рекомендует задать этот флаг только для кластеров заданий JAR, так как он отключает результаты записной книжки.

Рекомендация. Использование общего доступа SparkContext

Так как Azure Databricks — это управляемая служба, некоторые изменения кода могут потребоваться для правильного выполнения заданий Apache Spark. Программы задания JAR должны использовать общий API SparkContext для получения SparkContext. Поскольку Azure Databricks инициализирует SparkContext, программы, которые вызывают ошибку new SparkContext(), завершаются с ошибкой. Чтобы получить SparkContext, используйте только общие ресурсы SparkContext, созданные с помощью Azure Databricks.

val goodSparkContext = SparkContext.getOrCreate()
val goodSparkSession = SparkSession.builder().getOrCreate()

Некоторых методов при использовании общего SparkContext следует избегать.

  • Не вызывайте SparkContext.stop().
  • Не вызывайте System.exit(0) или sc.stop() в конце программы Main. Это может привести к неопределенному поведению.

Рекомендация. Использование try-finally блоков для очистки задания

Возьмем для примера JAR, состоящий из двух частей:

  • jobBody() — содержит основную часть задания;
  • jobCleanup() который должен выполняться после jobBody()того, успешно ли эта функция выполнена или возвращена исключение.

Например, jobBody() создает таблицы и jobCleanup() удаляет эти таблицы.

Безопасный способ убедиться, что метод очистки вызывается, заключается в том, чтобы поместить try-finally блок в код:

try {
  jobBody()
} finally {
  jobCleanup()
}

Не пытайтесь использовать для очистки sys.addShutdownHook(jobCleanup) или следующий код:

val cleanupThread = new Thread { override def run = jobCleanup() }
Runtime.getRuntime.addShutdownHook(cleanupThread)

Так как время существования контейнеров Spark управляется в Azure Databricks, перехватчики завершения работы не выполняются надежно.

Настройка параметров задания JAR

Вы передаете параметры в задания JAR с массивом строк JSON. См. объект spark_jar_task в тексте запроса, передаваемый в операцию Создать задачу (POST /jobs/create) в API заданий. Чтобы получить доступ к этим параметрам, проверьте массив String, переданный в функцию main.

Управление зависимостями библиотек

Драйвер Spark имеет определенные зависимости библиотек, которые не могут быть переопределены. Если задание добавляет конфликтующие библиотеки, зависимости библиотеки драйверов Spark имеют приоритет.

Чтобы получить полный список зависимостей библиотеки драйверов, выполните следующую команду в записной книжке, подключенной к кластеру, настроенной с той же версией Spark (или кластером с драйвером, который требуется проверить):

%sh
ls /databricks/jars

При определении зависимостей библиотеки для JAR Databricks рекомендует перечислять Spark и Hadoop в качестве provided зависимостей. В Maven добавьте Spark и Hadoop в качестве указанных зависимостей:

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.11</artifactId>
  <version>2.3.0</version>
  <scope>provided</scope>
</dependency>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-core</artifactId>
  <version>1.2.1</version>
  <scope>provided</scope>
</dependency>

Добавьте sbtSpark и Hadoop в качестве указанных зависимостей:

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.0" % "provided"
libraryDependencies += "org.apache.hadoop" %% "hadoop-core" % "1.2.1" % "provided"

Совет

Укажите правильную версию Scala для ваших зависимостей, исходя из используемой вами версии.

Дальнейшие действия

Дополнительные сведения о создании и запуске заданий Azure Databricks см. в Обзор оркестрации в Databricks.