Поделиться через

Databricks Runtime 11.3 LTS

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.3 LTS, на базе Apache Spark 3.3.0. Databricks выпустила эту версию в октябре 2022 года.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Изменение поведения

[Критическое изменение] Для новой версии Python требуется обновление клиентов Python Databricks Connect версии 1

Примечание.

Последующее обновление перемещает версию Python в Databricks Runtime 11.3 LTS на 3.9.21. Версия 3.9.21 не вводит никаких изменений в поведении.

Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 11.3 LTS обновляется с 3.9.5 до 3.9.19. Поскольку эти изменения могут привести к ошибкам в клиентах, использующих определенные функции PySpark, все клиенты, использующие Databricks Connect V1 для Python с Databricks Runtime 11.3 LTS, должны быть обновлены до Python 3.9.7 или более поздней версии.

Новые функции и внесенные улучшения

Python обновлен с версии 3.9.19 до 3.9.21

Версия Python в Databricks Runtime 11.3 LTS обновляется с 3.9.19 до 3.9.21.

Структурированный триггер потоковой передачи после нерекомендуемого использования

Параметр Trigger.Once не рекомендуется. Databricks рекомендует использовать Trigger.AvailableNow. См. раздел "Настройка интервалов триггера структурированной потоковой передачи".

Изменение исходного пути для автозагрузчика

Теперь можно изменить путь ввода каталога для автозагрузчика, настроенного в режиме перечисления каталогов, не выбрав новый каталог контрольной точки. См . раздел "Изменить исходный путь" для автозагрузчика.

Соединитель Databricks Kinesis теперь поддерживает чтение потоков данных Kinesis в режиме EFO

Теперь можно использовать структурированный источник потоковой передачи Databricks в Databricks Runtime 11.3 LTS для выполнения запросов, которые считываются из потоков данных Kinesis в расширенном режиме вентилятора. Это обеспечивает выделенную пропускную способность на сегмент, на каждого потребителя и доставку записей в режиме принудительной передачи.

Новые геопространственные функции H3 и добавлена поддержка Фотона для всех функций H3

Знакомство с 4 новыми функциями H3, h3_maxchild, , h3_minchildh3_pointash3и h3_pointash3string. Эти функции доступны в SQL, Scala и Python. Все выражения H3 теперь поддерживаются в Photon. См. раздел Геопространственные функции H3.

Новые возможности прогнозного ввода-вывода

Photon поддерживает режим диапазона для выполнения кадров, используя RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon также поддерживает режим диапазона для растущих кадров, используя RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Увеличение начальных секций для проверки выборочных запросов

Значение начальных секций для сканирования было увеличено до 10 для выборочного запроса в take/tail/limit кластерах с поддержкой Photon и LIMIT в Databricks SQL. С помощью 10 секций можно избежать затрат на запуск нескольких небольших заданий и медленное масштабирование. Вы также можете настроить это с помощью spark.sql.limit.selectiveInitialNumPartitions.

Визуализация новых версий плана AQE

Знакомство с версиями плана AQE, позволяющими визуализировать обновления плана выполнения из адаптивного выполнения запросов (AQE).

Новые асинхронные режимы отслеживания хода выполнения и очистки журналов

Введение режимов структурированной потоковой передачи с именем асинхронного отслеживания хода выполнения и асинхронного очистки журналов. Асинхронный режим очистки журналов снижает задержку потоковых запросов, удалив журналы, используемые для отслеживания хода выполнения в фоновом режиме.

Структурированная потоковая передача в каталоге Unity теперь поддерживается display()

Теперь вы можете использовать display() структурированную потоковую передачу для работы с таблицами, зарегистрированными в каталоге Unity.

Теперь события конвейера регистрируются в формате JSON

Azure Databricks теперь записывает события конвейера в журнал драйвера в формате JSON. Хотя каждое событие будет синтаксический анализ JSON, крупные события могут не содержать все поля, или поля могут быть усечены. Каждое событие регистрируется в одной строке с префиксом Event received: . Ниже приведен пример события.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Произвольная обработка состояния в структурированной потоковой передаче с помощью Python

Введя функцию applyInPandasWithState , которую можно использовать для произвольной обработки состояния в PySpark. Это эквивалентно flatMapGroupsWithState функции в API Java.

Вывод дат в CSV-файлах

Введение улучшенного вывода столбцов типа даты в CSV-файлах. Если формат даты согласован между записями для столбца, эти столбцы можно вывести как DateType. Кроме того, можно использовать сочетание форматов дат в разных столбцах. Azure Databricks может автоматически выводить формат даты для каждого столбца. Столбцы даты в CSV-файлах до Databricks Runtime 11.3 LTS остаются как StringType.

Поддержка клонирования таблиц Apache Parquet и Apache Iceberg (общедоступная предварительная версия)

Теперь клон можно использовать для создания и добавочного обновления таблиц Delta, которые отражают таблицы Apache Parquet и Apache Iceberg. Вы можете обновить исходную таблицу Parquet и постепенно применить изменения к клонированной таблице Delta с помощью команды клонирования. См . добавочное клонирование таблиц Parquet и Iceberg в Delta Lake.

Использование SQL для указания расположений хранилища на уровне схемы и каталога для управляемых таблиц каталога Unity

Теперь можно использовать MANAGED LOCATION команду SQL, чтобы указать расположение облачного хранилища для управляемых таблиц на уровнях каталога и схем. См. CREATE CATALOG и CREATE SCHEMA.

Изменения в работе

Databricks Connect 11.3.2

Теперь поддерживается обновление клиента Databricks Connect 11.3.2. См. заметки о выпуске Databricks Connect и Databricks Connect.

Обновлен соединитель Azure Databricks Snowflake

Соединитель Azure Databricks Snowflake обновлен до последней версии кода из репозитория с открытым исходным кодом, Источника данных Snowflake для Apache Spark. Теперь он полностью совместим с Databricks Runtime 11.3 LTS, включая pushdown предиката и внутренний план запроса при сохранении всех функций версии с открытым исходным кодом.

Кэш Hadoop для S3A теперь отключен

Теперь кэш Hadoop ( API Apache Hadoop Main 3.3.4) для S3A отключен. Это необходимо для согласования с другими соединителями облачного хранилища. Для рабочих нагрузок, использующих кэширование файловой системы, убедитесь, что только что созданные файловые системы предоставляются с правильными конфигурациями Hadoop, включая поставщиков учетных данных.

Схема сбора статистики Delta Lake теперь соответствует порядку столбцов в определении схемы таблицы

Это изменение устраняет ошибку в протоколе Delta Lake, где статистика не была собрана для столбцов из-за несоответствия в кадре данных и порядке столбцов таблицы. В некоторых случаях вы можете столкнуться с снижением производительности записи из-за сбора статистики в ранее неуправляемых полях. См . сведения о пропусках данных для Delta Lake.

applyInPandasWithState выдает ошибку, если запрос имеет перетасовку после оператора

Оператор applyInPandasWithState выдает ошибку, если запрос имеет shuffle после оператора. Это происходит, когда пользователь добавляет shuffleshuffle после операции или оптимизатор или приемник неявно.

Обновления библиотек

  • Обновленные библиотеки Python:
    • distlib от 0.3.5 до 0.3.6
  • Обновленные библиотеки R:
    • веник от 1.0.0 до 1.0.1
    • вызывающий объект от 3.7.1 до 3.7.2
    • dplyr от 1.0.9 до 1.0.10
    • dtplyr от 1.2.1 до 1.2.2
    • forcats от 0.5.1 до 0.5.2
    • будущее от 1.27.0 до 1.28.0
    • future.apply от 1.9.0 до 1.9.1
    • gert от 1.7.0 до 1.8.0
    • globals от 0.16.0 до 0.16.1
    • gtable от 0.3.0 до 0.3.1
    • хейвен от 2.5.0 до 2.5.1
    • hms от 1.1.1 до 1.1.2
    • httr от 1.4.3 до 1.4.4
    • трикотаж от 1,39 до 1,40
    • modelr от 0.1.8 до 0.1.9
    • столб с 1.8.0 до 1.8.1
    • progressr от 0.10.1 до 0.11.0
    • readxl от 1.4.0 до 1.4.1
    • reprex от 2.0.1 до 2.0.2
    • rlang от 1.0.4 до 1.0.5
    • rmarkdown от 2.14 до 2.16
    • RSQLite от 2.2.15 до 2.2.16
    • rstudioapi от 0,13 до 0,14
    • rversions от 2.1.1 до 2.1.2
    • rvest от 1.0.2 до 1.0.3
    • масштабирование от 1.2.0 до 1.2.1
    • sparklyr от 1.7.7 до 1.7.8
    • stringr от 1.4.0 до 1.4.1
    • выживание от 3.2-13 до 3.4-0
    • tinytex от 0,40 до 0,41
    • viridisLite от 0.4.0 до 0.4.1
  • Обновленные библиотеки Java:
    • com.fasterxml.джексон.core.джексон-заметки от 2.13.3 до 2.13.4
    • com.fasterxml.джексон.core.джексон-core с 2.13.3 до 2.13.4
    • com.fasterxml.джексон.core.джексон-databind с 2.13.3 до 2.13.4
    • com.fasterxml.джексон.dataformat.джексон-dataformat-cbor с 2.13.3 по 2.13.4
    • com.fasterxml.джексон.datatype.джексон-datatype-joda с 2.13.3 до 2.13.4
    • com.fasterxml.джексон.datatype.джексон-datatype-jsr310 от 2.13.3 до 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer от 2.13.3 до 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 от 2.13.3 до 2.13.4
    • org.apache.hadoop.hadoop-client-api от 3.3.2-databricks до 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime с 3.3.2 до 3.3.4
    • org.apache.orc.orc-core от 1.7.5 до 1.7.6
    • org.apache.orc.orc-mapreduce от 1.7.5 до 1.7.6
    • org.apache.orc.orc-shims от 1.7.5 до 1.7.6
    • org.apache.parquet.column с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
    • org.apache.parquet.common с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
    • org.apache.parquet.parquet-кодировка с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures от 1.12.0-databricks-0004 до 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop от 1.12.0-databricks-0004 до 1.12.0-databricks-0007
    • org.apache.parquet.parquet-джексон с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
    • org.glassfish.jersey.container.container-servlet от 2.34 до 2.36
    • org.glassfish.jersey.container.container-servlet-core от 2.34 до 2.36
    • org.glassfish.jersey.core.jersey-client с 2.34 по 2.36
    • org.glassfish.jersey.core.jersey-common с 2.34 по 2.36
    • org.glassfish.jersey.core.джерси-server с 2.34 по 2.36
    • org.glassfish.jersey.inject.jersey-hk2 с 2.34 до 2.36

Apache Spark

Databricks Runtime 11.3 LTS включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] Задержка onDisconnected, чтобы драйвер мог получать ExecutorExitCode.
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] Улучшение процесса LaunchTask, чтобы избежать сбоев этапов, вызванных сбоем при отправке сообщений LaunchTask
  • [SPARK-40474] [SC-106248][cherry-pick] Исправить поведение вывода схемы CSV для столбцов datetime и ввести автоматическое определение полей Date.
  • [SPARK-40535] [SC-111243][sql] Исправлена ошибка, из-за которой буфер AggregatingAccumulator не создавался, если входные строки были пустыми.
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Реализация applyInPandasWithState в PySpark
  • [SPARK-40460] [SC-110832][ss] Исправьте метрики потоковой передачи при выборе _metadata
  • [SPARK-40324] [SC-109943][sql] Укажите контекст запроса ParseException
  • [SPARK-40466] [SC-110899][ss] Улучшение сообщения об ошибке при отключении DSv2 при недоступности DSv1
  • [SPARK-40456] [SC-110848][sql] Метод PartitionIterator.hasNext следует вызывать повторно с минимальными затратами.
  • [SPARK-40169] [SC-110772][sql] Не используйте фильтры Parquet без привязки к схеме данных
  • [SPARK-40467] [SC-110759][ss] Разделить FlatMapGroupsWithState на несколько наборов тестов
  • [SPARK-40468] [SC-110813][sql] Исправление отсечения столбцов в CSV при использовании _corrupt_record
  • [SPARK-40291] [SC-110085][sql] Улучшение сообщения об ошибке для столбца, не включенного в предложение GROUP BY.
  • [SPARK-40398] [SC-110762][core][SQL] Использовать цикл вместо Arrays.stream API
  • [SPARK-40433] [SC-110684][ss][PYTHON] Добавление toJVMRow в PythonSQLUtils для преобразования выбранной строки PySpark в строку JVM
  • [SPARK-40414] [SC-110568][sql][PYTHON] Более универсальный тип в PythonArrowInput и PythonArrowOutput
  • [SPARK-40352] [SC-109945][sql] Добавление псевдонимов функций: len, datepart, dateadd, date_diff и curdate
  • [SPARK-40470] [SC-110761][sql] Обработка GetArrayStructFields и GetMapValue в функции "arrays_zip"
  • [SPARK-40387] [SC-110685][sql] Улучшить реализацию Spark Decimal
  • [SPARK-40429] [SC-110675][sql] Устанавливать KeyGroupedPartitioning, только если указанный столбец присутствует в выводе
  • [SPARK-40432] [SC-110716][python] Введение GroupStateImpl и GroupStateTimeout в PySpark
  • [SPARK-39915] [SC-110496][sql] Убедитесь, что выходное разделение указано пользователем в AQE
  • [SPARK-29260] [SQL] Поддержка, ALTER DATABASE SET LOCATION если HMS поддерживает
  • [SPARK-40185] [SC-110056][sql] Удалите предложение столбца, если список кандидатов пуст
  • [SPARK-40362] [SC-110401][sql] Исправление канонизации в BinaryComparison
  • [SPARK-40411] [SC-110381][ss] Рефакторинг FlatMapGroupsWithStateExec, чтобы иметь родительский трейт
  • [SPARK-40293] [SC-110084][sql] Сделать сообщение об ошибке таблицы версии 2 более значимым
  • [SPARK-38734] [SC-110383][sql] Удалите класс ошибок INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] Исправьте имена столбцов в функции "arrays_zip", когда массивы ссылаются на вложенные структуры
  • [SPARK-40276] [SC-109674][core] Уменьшите размер результата RDD.takeOrdered
  • [SPARK-40197] [SC-109176][sql] Замените план запросов контекстом для MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][sql] Миграция в класс ошибок DATATYPE_MISMATCH
  • [SPARK-40149] [SC-110055][sql] Распространение столбцов метаданных через Project
  • [SPARK-40280] [SC-110146][sql] Добавлена поддержка parquet push down для аннотированных типов int и long
  • [SPARK-40220] [SC-110143][sc-109175][SQL] Не выводить пустую карту параметров сообщения об ошибке
  • [SPARK-40295] [SC-110070][sql] Разрешить функции V2 с литеральными аргументами в распределении и порядке записи
  • [SPARK-40156] [SC-109264][sql] url_decode() должен возвращать класс ошибок
  • [SPARK-39195] [SQL] Spark OutputCommitCoordinator должен завершать этап, когда зафиксированный файл не соответствует состоянию задачи
  • [SPARK-40260] [SC-109424][sql] Использовать классы ошибок в ошибках компиляции для позиции GROUP BY
  • [SPARK-40205] [SC-110144][sc-109082][SQL] Укажите контекст запроса ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][sql] Улучшение функции TO_BINARY()
  • [SPARK-40209] [SC-109081][sql] Не изменяйте интервал десятичного значения в changePrecision() в случае ошибок
  • [SPARK-40319] [SC-109873][sql] Удаление метода ошибки выполнения повторяющихся запросов для PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][sql] Числовые try_add/try_divide/try_subtract/try_multiply должны вызывать ошибку, возникающую из их дочерних элементов.
  • [SPARK-40183] [SC-108907][sql] Использование класса ошибок NUMERIC_VALUE_OUT_OF_RANGE для переполнения в десятичном преобразовании
  • [SPARK-40180] [SC-109069][sql] Форматирование сообщений об ошибках по spark-sql
  • [SPARK-40153] [SC-109165][sql] Объединить функции разрешения и функции табличных значений
  • ru-RU: [SPARK-40308] [SC-109880][sql] Разрешить несвораемые аргументы разделителя для функции str_to_map
  • [SPARK-40219] [SC-110052][sc-109663][SQL] Разрешенный логический план представления должен содержать схему, чтобы избежать избыточного поиска
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Формат сообщений об ошибках в Thrift Server
  • [SPARK-39917] [SC-109038][sql] Использование различных классов ошибок для арифметического переполнения числовых и интервалных значений
  • [SPARK-40033] [SC-109875][sql] Поддержка очистки вложенных схем с помощью element_at
  • [SPARK-40194] [SC-109660][sql] Функция Split при пустом регулярном выражении должна усечь только последнюю пустую строку.
  • [SPARK-40228] [SC-109835][sql] Не упрощайте multiLike, если дочерний элемент не является дешевым выражением
  • [SPARK-40039] [SC-109896][sc-109260][SS] Введение в диспетчер файлов потоковой контрольной точки на основе неизменяемого интерфейса Hadoop
  • [SPARK-40285] [SC-109679][sql] Упростить roundTo[Numeric] для Spark Decimal
  • [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison должен функционировать, даже если не удалось понизить литерал в In/InSet.
  • [SPARK-40040] [SC-109662][sql] Отправить локальное ограничение обеим сторонам, если условие соединения пусто
  • [SPARK-40055] [SC-109075][sql] listCatalogs также должны возвращать spark_catalog даже если реализация spark_catalog по умолчанию — defaultSessionCatalog
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) не может создавать N-секции, отличные от AQE
  • [SPARK-40207] [SC-109401][sql] Укажите имя столбца, если тип данных не поддерживается источником данных
  • [SPARK-40245] [SC-109295][sql] Исправлена проверка равенства FileScan, если столбцы раздела или столбцы фильтра данных не считываются
  • [SPARK-40113] [SC-109405][sql] Реализации интерфейса Reactor ParquetScanBuilder DataSourceV2
  • [SPARK-40211] [SC-109226][core][SQL] Разрешить настройку начального числа секций в режиме take()
  • [SPARK-40252] [SC-109379][sql] Замените Stream.collect(Collectors.joining) на StringJoiner Api
  • [SPARK-40247] [SC-109272][sql] Исправлена проверка равенства BitSet
  • [SPARK-40067] [SQL] Используйте table#name() вместо Scan#name() для заполнения имени таблицы на узле BatchScan в SparkUI
  • [SPARK-39966] [SQL] Использование фильтра версии 2 в SupportsDelete
  • [SPARK-39607] [SC-109268][sql][DSV2] Поддержка функций версии 2 для распределения и упорядочивания при записи
  • [SPARK-40224] [SC-109271][sql] Настройка ObjectHashAggregateExec на своевременное освобождение памяти при возврате к сортировке на основе fallback
  • [SPARK-40013] [SQL] Выражения DS версии 2 должны иметь значение по умолчанию toString
  • [SPARK-40214] [SC-109079][python][SQL] добавить "get" в функции
  • [SPARK-40192] [SC-109089][sql][ML] Удаление избыточной группировки
  • [SPARK-40146] [SC-108694][sql] Просто кодеген получения значения карты
  • [SPARK-40109] [SQL] Новая функция SQL: get()
  • [SPARK-39929] [SQL] DS V2 поддерживает push-вниз строковые функции (не ANSI)
  • [SPARK-39819] [SQL] Агрегат DS V2 может работать с верхней N или разбиением по страницам (сортировка с выражениями)
  • [SPARK-40213] [SC-109077][sql] Поддержка преобразования значений ASCII для символов Latin-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
  • [SPARK-39764] [SQL] Сделать PhysicalOperation таким же, как ScanOperation
  • [SPARK-39964] [SQL] Pushdown DS V2 должен объединить путь перевода
  • [SPARK-39528] [SQL] Использование фильтра версии 2 в SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] Режим ANSI: всегда возвращает значение NULL при недопустимом доступе к столбцу сопоставления
  • [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
  • [SPARK-39833] [SC-108736][sql] Отключить индекс столбца Parquet в DSv1, чтобы устранить проблему правильности в случае перекрывающихся столбцов секций и данных
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS команда должна распечатать полное имя функции, например v1
  • [SPARK-39767] [SQL] Удаление неразрешенногоDBObjectName и добавление неразрешенногоIdentifier
  • [SPARK-40163] [SC-108740][sql]: SparkSession.config(карта)
  • [SPARK-40136] [SQL] Исправление фрагмента контекстов SQL-запросов
  • [SPARK-40107] [SC-108689][sql] Вытащить преобразование empty2null из FileFormatWriter
  • [SPARK-40121] [PYTHON][sql] Инициализировать проекцию, используемую для Python UDF
  • [SPARK-40128] [SQL] Распознавание векторизованногоColumnReader DELTA_LENGTH_BYTE_ARRAY в качестве автономного кодирования столбцов
  • [SPARK-40132] [ML] Восстановление rawPredictionCol в MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][sql] Улучшение EliminateSorts для поддержки удаления сортировки с помощью LocalLimit
  • [SPARK-39629] [SQL] Поддержка версии 2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] Добавление перегрузки array_sort(column, comparator) в операции DataFrame
  • [SPARK-40117] [PYTHON][sql] Преобразование условия в Java в методе DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Улучшение повторной части в ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Добавление имени каталога сеансов для таблицы и функции базы данных версии 1
  • [SPARK-39889] [SQL] Использование различных классов ошибок для числовых или интервалов, разделенных на 0
  • [SPARK-39741] [SQL] Поддержка кодирования и декодирования URL-адресов в виде встроенной функции и функции, связанные с URL-адресом
  • [SPARK-40102] [SQL] Использование SparkException вместо illegalStateException в SparkPlan
  • [SPARK-40014] [SQL] Поддержка приведения десятичных знаков к интервалам ANSI
  • [SPARK-39776] [SQL][follow] Обновление UT в PlanStabilitySuite в режиме ANSI
  • [SPARK-39963] [SQL] Упрощать SimplifyCasts.isWiderCast

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 11.3.

Системная среда

  • Операционная система: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.21
  • R: 4.1.3.
  • Delta Lake: 2.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
argon2-cffi 20.1.0 async-generator 1,10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 black 22.3.0
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 щелчок 8.0.3 криптография 3.4.8
cycler 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
distlib 0.3.6 entrypoints 0,3 facets-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 записная книжка 6.4.5 numpy 1.20.3
во внешнем виде 21,0 pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 график 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
мореборн 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5,10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-09-08. Моментальный снимок больше недоступен.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.3 загрузка 1.3-28
заваривать 1.0-7 brio 1.1.3 метла 1.0.1
bslib 0.4.0 cachem 1.0.6 вызывающий объект 3.7.2
крышка 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 компилятор 4.1.3 config 0.3.1
cpp11 0.4.2 карандаш 1.5.1 учетные данные 1.3.2
curl 4.3.2 data.table 1.14.2 наборы данных 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
средства разработки 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 многоточие 0.3.2 evaluate 0,16
вентиляторы 1.0.3 Farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
иностранный 0.8-82 forge 0.2.0 fs 1.5.2
будущее 1.28.0 future.apply 1.9.1 gargle 1.2.0
Универсальные шаблоны 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 клей 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Говер 1.0.0 графика 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 высокий 0,9 hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
трикотажный 1,40 маркирование 0.4.2 later 1.3.0
решётка 0.20-45 Lava 1.6.10 жизненный цикл 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1,1 МАССАЧУСЕТС 7.3-56 «Матрица» 1.4-1
memoise 2.0.1 оплаты 4.1.3 mgcv 1.8-40
мим 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 столб 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
хвалить 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Ход выполнения 1.2.2 progressr 0.11.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
Рецепты 1.0.1 реванш 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2,16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0,14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
весы 1.2.1 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 пространственный 7.3-11
Сплайны 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 статистика4 4.1.3 stringi 1.7.8
stringr 1.4.1 выживание 3.4-0 sys 3,4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 TimeDate 4021.104
tinytex 0,41 средства 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
служебные программы 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 waldo 0.4.0
усы 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1