Поделиться через

Databricks Runtime 15.1 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.1, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в апреле 2024 года.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Критические изменения

Поддержка Databricks Runtime 15.0 и Databricks Runtime 15.0 для Машинное обучение заканчивается 31 мая 2024 г., так как обновление библиотеки Pandas с версии 1.5.3 до 2.0.3 в 15.0 привело к критическому изменению нескольких API Apache Spark. Подробные сведения о критических изменениях см. в статье "Библиотека Python pandas" понижена до версии 1.5.3. Чтобы устранить эту несовместимость, Databricks выпустила Databricks Runtime 15.1 и Databricks Runtime 15.1 для Машинное обучение. Функциональность, поддерживаемая этими выпусками, аналогична выпускам 15.0, но с версией pandas была понижена до версии 1.5.3.

Все существующие кластеры или задания, использующие выпуски Databricks Runtime 15.0, будут работать, но не будут получать обновления продукта или системы безопасности. Вы больше не можете настроить новые вычислительные ресурсы, использующие Databricks Runtime 15.0 или Databricks Runtime 15.0 ML в пользовательском интерфейсе Databricks. Если вы не используете функции или API, требующие pandas 2.0+, Databricks рекомендует переключить эти рабочие нагрузки в Databricks Runtime 15.1.

Если вы используете функции или API, доступные только в pandas 2.0+ и не используете какие-либо функции, затронутые этой версией, Databricks рекомендует переключиться на Databricks Runtime 15.1 и обновить пакет pandas по умолчанию с помощью кластерных или записных книжек . Например, чтобы обновить библиотеку pandas в записной книжке Databricks, используйте следующую команду:

%pip install pandas==2.0.3

Библиотека Python pandas понижена до версии 1.5.3.

В этом выпуске библиотека pandas понижена с версии 2.0.3 до 1.5.3. Это снижение было необходимо, так как несовместимость в версии 2.0.3 pandas вызвала ошибки в некоторых API pandas в функциях Spark. Ниже перечислены функции, затронутые версией pandas версии 2.0.3:

  • pyspark.date_range: параметр closed отсутствует, что приводит к ошибкам при вызове этой функции существующим кодом.
  • Функциональность GroupBy с MultiIndexcolumns изменяется, что приводит к неожиданному поведению.
  • Некоторые datetime атрибуты DatetimeIndex (напримерday, и monthyearт. д.) возвращают int32 типы данных вместо int64 типов данных.

Функция PySpark spark.sql() теперь завершается ошибкой для недопустимых типов аргументов

В Databricks Runtime 15.1 и в более поздних версиях параметр args для именованных или позиционных parameters, передаваемых в функцию spark.sql(), должен быть словарем или list. Если передается любой другой тип объекта, возникает следующая ошибка: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>

Хранение библиотек в корневом каталоге DBFS не рекомендуется и отключено по умолчанию

Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию, начиная с Databricks Runtime 15.1. Databricks рекомендует отправлять все библиотеки, в том числе библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области, Unity Catalogvolumesили с помощью репозитория пакетов. Рекомендации по отправке библиотек.

Чтобы вновь разрешить хранение библиотек в корневом каталоге DBFS, set следующий параметр конфигурации Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Версия Python по умолчанию обновляется с версии 3.10 до 3.11

При использовании Databricks Runtime 15.1 версия Python по умолчанию — 3.11.0. Сведения о list обновлениях библиотек Python см. в разделе Обновления библиотек.

JDK 11 удален

Как было объявлено ранее, JDK 11 удаляется из Databricks Runtime 15.1 и более поздних версий. Databricks рекомендует обновить до JDK 17 при обновлении до Databricks Runtime 15.1 и более поздних версий. См . пакет SDK Databricks для Java.

Python REPL теперь завершается корректно

При использовании Databricks Runtime 15.1 процесс REPL записной книжки python теперь завершается корректно при выходе. Это приводит к тому, что любые невзирые крючки будут соблюдаться. Например, в рабочем процессе с несколькими задачами записной книжки Python перехватчики, зарегистрированные в первой задаче, выполняются до выполнения второй задачи записной книжки Python.

Новые функции и внесенные улучшения

Предложение * (star) теперь поддерживается в предложении WHERE

Теперь можно использовать предложение "звезда" (*) в предложении WHERE для ссылки на все columns из SELECTlist. Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Конфигурация spark.sql.json.enablePartialResults теперь включена по умолчанию

Конфигурация spark.sql.json.enablePartialResults Spark теперь включена по умолчанию, позволяя средство синтаксического анализа JSON правильно обрабатывать ошибки синтаксического анализа для сложных типов, таких как структура, карта и массив, без удаления оставшихся полей. Это изменение устраняет проблему согласованности источников данных JSON при обрезке column.

Теперь библиотеки кластеров поддерживают файлы requirements.txt

Теперь можно установить библиотеки кластеров с помощью файла requirements.txt, хранящегося в файле рабочей области или томе Unity Catalog. В файл может ссылаться на другие файлы. В кластерах режима общего доступа без изоляции поддерживаются только пакеты PyPI. Дополнительные сведения см. в статье Библиотеки кластера.

Интерфейс командной строки Databricks теперь доступен в веб-терминале

Теперь вы можете использовать интерфейс командной строки Databricks из веб-терминала в записной книжке. Записная книжка должна быть подключена к кластеру в режиме общего доступа с одним пользователем или без изоляции. Дополнительные сведения см. в разделе "Использование веб-терминала" и интерфейса командной строки Databricks.

Добавление репозиториев Python по умолчанию в конфигурации кластера

В Databricks Runtime 15.1 и более поздних версиях вы можете настроить глобальные pip index-url и extra-index-urlparameters для установки библиотек, привязанных к кластерам и записным книжкам, при настройке кластера или определении политики кластера. Для этого set переменные среды DATABRICKS_PIP_INDEX_URL и DATABRICKS_PIP_EXTRA_INDEX_URL.

Передача учетных данных и хранилище метаданных Hive, table управление доступом устарело.

Сквозная передача учетных данных и хранилище метаданных Hive и table средства управления доступом являются устаревшими моделями управления данными. Обновите до Unity Catalog, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. Что такое CatalogUnity?.

Поддержка передачи учетных данных и управления доступом в хранилище метаданных Hive table будет удалена в предстоящей версии DBR.

Обновления библиотек

  • Обновленные библиотеки Python:
    • черный от 22.6.0 до 23.3.0
    • boto3 от 1.24.28 до 1.34.39
    • botocore от 1.27.96 до 1.34.39
    • сертификат от 2022.12.7 до 2023.7.22
    • криптография от 39.0.1 до 41.0.3
    • databricks-sdk от 0.1.6 до 0.20.0
    • distlib от 0.3.7 до 0.3.8
    • googleapis-common-protos с 1.62.0 до 1.63.0
    • grpcio от 1.48.2 до 1.60.0
    • grpcio-status от 1.48.1 до 1.60.0
    • importlib-metadata от 4.6.4 до 6.0.0
    • ipykernel от 6.25.0 до 6.25.1
    • ipython от 8.14.0 до 8.15.0
    • ipywidgets от 7.7.2 до 8.0.4
    • jupyter_core от 5.2.0 до 5.3.0
    • jupyterlab-мини-приложения с 1.0.0 до 3.0.5
    • matplotlib от 3.7.0 до 3.7.2
    • pip от 22.3.1 до 23.2.1
    • platformdirs от 2.5.2 до 3.10.0
    • protobuf от 4.24.0 до 4.24.1
    • pyarrow от 8.0.0 до 14.0.1
    • Pygments от 2.11.2 до 2.15.1
    • pyodbc от 4.0.32 до 4.0.38
    • запросы от 2.28.1 до 2.31.0
    • s3transfer от 0.6.2 до 0.10.0
    • scikit-learn от 1.1.1 до 1.3.0
    • scipy от 1.10.0 до 1.11.1
    • setuptools от 65.6.3 до 68.0.0
    • statsmodels от 0.13.5 до 0.14.0
    • настойчивость от 8.1.0 до 8.2.2
    • торнадо от 6.1 до 6.3.2
    • typing_extensions от 4.4.0 до 4.7.1
    • urllib3 от 1.26.14 до 1.26.16
    • virtualenv от 20.16.7 до 20.24.2
    • widgetsnbextension от 3.6.1 до 4.0.5
    • zipp от 1.0.0 до 3.11.0
  • Обновленные библиотеки R:
    • стрелка от 12.0.1 до 14.0.0.2
    • askpass от 1.1 до 1.2.0
    • база от 4.3.1 до 4.3.2
    • пиво от 1.0-8 до 1.0-10
    • brio от 1.1.3 до 1.1.4
    • bslib от 0.5.0 до 0.6.1
    • cli от 3.6.1 до 3.6.2
    • commonmark от 1.9.0 до 1.9.1
    • компилятор от 4.3.1 до 4.3.2
    • конфигурация от 0.3.1 до 0.3.2
    • cpp11 от 0.4.4 до 0.4.7
    • credentials от 1.3.2 до 2.0.1
    • curl от 5.0.1 до 5.2.0
    • данные.table от 1.14.8 до 1.15.0
    • наборы данных от 4.3.1 до 4.3.2
    • DBI от 1.1.3 до 1.2.1
    • dbplyr от 2.3.3 до 2.4.0
    • desc от 1.4.2 до 1.4.3
    • дайджест от 0.6.33 до 0.6.34
    • dplyr от 1.1.2 до 1.1.4
    • e1071 от 1.7-13 до 1.7-14
    • оценка от 0,21 до 0,23
    • вентиляторы от 1.0.4 до 1.0.6
    • fontawesome от 0.5.1 до 0.5.2
    • fs от 1.6.2 до 1.6.3
    • будущее от 1.33.0 до 1.33.1
    • future.apply от 1.11.0 до 1.11.1
    • гигль с 1.5.1 до 1.5.2
    • gert от 1.9.2 до 2.0.1
    • ggplot2 от 3.4.2 до 3.4.4
    • glmnet от 4.1-7 до 4.1-8
    • клей от 1.6.2 до 1.7.0
    • графика от 4.3.1 до 4.3.2
    • grDevices от 4.3.1 до 4.3.2
    • сетка от 4.3.1 до 4.3.2
    • gtable от 0.3.3 до 0.3.4
    • hardhat от 1.3.0 до 1.3.1
    • haven от 2.5.3 до 2.5.4
    • htmltools от 0.5.5 до 0.5.7
    • htmlwidgets от 1.6.2 до 1.6.4
    • httpuv от 1.6.11 до 1.6.14
    • httr от 1.4.6 до 1.4.7
    • httr2 от 0.2.3 до 1.0.0
    • jsonlite от 1.8.7 до 1.8.8
    • трикотаж от 1,43 до 1,45
    • метка от 0.4.2 до 0.4.3
    • позже от 1.3.1 до 1.3.2
    • лава от 1.7.2.1 до 1.7.3
    • жизненный цикл от 1.0.3 до 1.0.4
    • прослушивание от 0.9.0 до 0.9.1
    • lubridate от 1.9.2 до 1.9.3
    • markdown от 1.7 до 1.12
    • Методы от 4.3.1 до 4.3.2
    • opensl от 2.0.6 до 2.1.1
    • параллельная от 4.3.1 до 4.3.2
    • pkgbuild от 1.4.2 до 1.4.3
    • pkgload от 1.3.2.1 до 1.3.4
    • plyr от 1.8.8 до 1.8.9
    • prettyunits от 1.1.1 до 1.2.0
    • pROC от 1.18.4 до 1.18.5
    • processx от 3.8.2 до 3.8.3
    • prodlim от 2023.03.31 до 2023.08.28
    • ход выполнения от 1.2.2 до 1.2.3
    • progressr от 0.13.0 до 0.14.0
    • обещания от 1.2.0.1 до 1.2.1
    • ps от 1.7.5 до 1.7.6
    • purrr от 1.0.1 до 1.0.2
    • ragg от 1.2.5 до 1.2.7
    • Rcpp от 1.0.11 до 1.0.12
    • RcppEigen от 0.3.3.9.3 до 0.3.3.9.4
    • readr от 2.1.4 до 2.1.5
    • рецепты от 1.0.6 до 1.0.9
    • повторное совпадение с 1.0.1 по 2.0.0
    • удаленные от 2.4.2 до 2.4.2.1
    • reprex от 2.0.2 до 2.1.0
    • rlang от 1.1.1 до 1.1.3
    • rmarkdown от 2.23 до 2.25
    • RODBC от 1.3-20 до 1.3-23
    • roxygen2 от 7.2.3 до 7.3.1
    • rprojroot от 2.0.3 до 2.0.4
    • Rserve от 1.8-11 до 1.8-13
    • RSQLite от 2.3.1 до 2.3.5
    • sass от 0.4.6 до 0.4.8
    • Масштабирование от 1.2.1 до 1.3.0
    • блестящий от 1.7.4.1 до 1.8.0
    • sparklyr от 1.8.1 до 1.8.4
    • splines от 4.3.1 до 4.3.2
    • статистика от 4.3.1 до 4.3.2
    • статистика4 от 4.3.1 до 4.3.2
    • stringi от 1.7.12 до 1.8.3
    • stringr от 1.5.0 до 1.5.1
    • systemfonts от 1.0.4 до 1.0.5
    • tcltk от 4.3.1 до 4.3.2
    • testthat от 3.1.10 до 3.2.1
    • тексты с 0.3.6 до 0.3.7
    • tidyr от 1.3.0 до 1.3.1
    • изменение времени с 0.2.0 до 0.3.0
    • TimeDate от 4022.108 до 4032.109
    • tinytex от 0,45 до 0,49
    • средства от 4.3.1 до 4.3.2
    • utf8 от 1.2.3 до 1.2.4
    • utils от 4.3.1 до 4.3.2
    • uuid от 1.1-0 до 1.2-0
    • vctrs от 0.6.3 до 0.6.5
    • vroom от 1.6.3 до 1.6.5
    • waldo от 0.5.1 до 0.5.2
    • withr от 2.5.0 до 3.0.0
    • xfun от 0,39 до 0,41
    • xml2 от 1.3.5 до 1.3.6
    • yaml от 2.3.7 до 2.3.8
    • zip от 2.3.0 до 2.3.1
  • Обновленные библиотеки Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.15.1 до 2.16.0
    • com.google.flatbuffers.flatbuffers-java с 1.12.0 до 23.5.26
    • com.typesafe.config от 1.2.1 до 1.4.3
    • org.apache.ant.ant от 1.9.16 до 1.10.11
    • org.apache.ant.ant-aph с 1.9.16 по 1.10.11
    • org.apache.ant-launcher от 1.9.16 до 1.10.11
    • org.apache.arrow.arrow-format от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-core от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-netty от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-vector от 12.0.1 до 15.0.0
    • org.apache.avro.avro с 1.11.2 до 1.11.3
    • org.apache.avro.avro-ipc с 1.11.2 до 1.11.3
    • org.apache.avro.avro-mapred с 1.11.2 до 1.11.3
    • org.apache.log4j.log4j-1.2-api от 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-api с 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-core с 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-slf4j2-impl от 2.20.0 до 2.22.1
    • org.postgresql.postgresql с 42.6.0 до 42.6.1

Apache Spark

Databricks Runtime 15.1 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Возврат "[SC-151626][CORE] Использование дроби для вычисления ресурсов"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] Добавление флага конфигурации COLLATION_ENABLED
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] Пропустить поиск версии 2 table, если table находится в кэше table версии 1
  • [SPARK-46808] [SC-154113][PYTHON] Уточнение классов ошибок в Python с помощью функции автоматической сортировки
  • [SPARK-47251] [SC-158291][PYTHON] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47251] [SC-158121][PYTHON] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47108] [SC-157204][CORE] Setderby.connection.requireAuthenticationfalse явным образом в CLIs
  • [SPARK-45599] [SC-157537][CORE] Использование равенства объектов в OpenHashSet
  • [SPARK-47099] [SC-157352][SQL] Используйте ordinalNumber для равномерного set значения paramIndex для класса ошибок UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][CONNECT] Извлечение вспомогательной функции для устранения повторяющегося кода, извлекаемого MessageParameters из ErrorParamsGrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT] Создание ProtoUtils.abbreviate повторяющихся полей поддержки
  • [SPARK-46342] [SC-150283][SQL] IllegalStateException Замена SparkException.internalError на sql
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD неправильно обрабатывает ошибки в getQueryOutputSchema
  • [SPARK-47189] [SC-157667][SQL] Настройка column имена ошибок и текст
  • [SPARK-45789] [SC-157101][SQL] Поддержка DESCRIBE TABLE для кластеризации columns
  • [SPARK-43256] [SC-157699][SQL] Remove класса ошибок _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics проверяет типы входных данных
  • [SPARK-47183] [SC-157660][PYTHON] Исправление класса ошибок для sameSemantics
  • [SPARK-47179] [SC-157663][SQL] Улучшение сообщения об ошибке из SparkThrowableSuite для улучшения отладки
  • [SPARK-46965] [SC-155791][CORE] Возврат logTypeUtils.getLog
  • [SPARK-46832] [SC-156774][SQL] Введение выражений сортировки и сортировки
  • [SPARK-46946] [SC-155721][SQL] Поддержка трансляции нескольких ключей фильтрации в DynamicPruning
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] Добавление сведений о типе variant в PySpark
  • [SPARK-47101] [SC-157360][SQL] Разрешить использовать запятую в именах column верхнего уровня и remove проверить определение вложенных типов в HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][пользовательский интерфейс] Исправление опечатки в объяснении пользовательского интерфейса потоковой передачи
  • [SPARK-47113] [SC-157348][CORE] Восстановление логики исправления конечной точки S3A SPARK-35878
  • [SPARK-47130] [SC-157462][CORE] Использование listStatus для обхода сведений о расположении блока при очистке журналов драйверов
  • [SPARK-43259] [SC-157368][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec должен инициализировать небезопасную проекцию
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] Добавление getAll в spark.conf для четности функций с Scala
  • [SPARK-46924] [SC-154905][CORE] Кнопка "Исправить Load New " в Master/HistoryServer пользовательском интерфейсе журнала
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] Введение spark.profile.show/dump в профилирование на основе SparkSession
  • [SPARK-46812] [SC-157075][SQL][PYTHON] Создание mapInPandas / mapInArrow поддержки ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] Параметры сортировки — введение в CollationFactory, предоставляющее правила сравнения и хэширования для поддерживаемых параметров сортировки
  • [SPARK-47057] [SC-157036][PYTHON] Повторное тестирование данных MyPy
  • [SPARK-46934] [SC-157084][SQL] Циклический обход чтения и записи для типа структуры с специальными символами с помощью HMS
  • [SPARK-46727] [SC-153472][SQL] Порт classifyException() в диалектах JDBC на классах ошибок
  • [SPARK-46964] [SC-155740][SQL] Изменение сигнатуры ошибки выполнения запроса hllInvalidLgK на получение целого числа в качестве 4-го аргумента
  • [SPARK-46949] [SC-155719][SQL] Поддержка CHAR/VARCHAR с помощью ResolveDefaultColumns
  • [SPARK-46972] [SC-1558888][SQL] Исправлена асимметричная замена char/varchar в V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] Реализация методов dumpPerfProfiles и dumpMemoryProfiles sparkSession
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] Поддержка профилирования версии 2 в группе или cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][CONNECT] Разрешить скрипту Spark Connect Server ожидать
  • [SPARK-466888] [SC-156113][SPARK-46691][PYTHON][CONNECT] Поддержка профилирования версии 2 в агрегатных пользовательских файлах Pandas
  • [SPARK-47004] [SC-156499][CONNECT] Добавлены дополнительные тесты в ClientStreamingQuerySuite для увеличения охвата тестов клиента Scala
  • [SPARK-46994] [SC-156169][PYTHON] Рефакторинг PythonWrite для подготовки к поддержке потоковой записи источника данных Python
  • [SPARK-46979] [SC-156587][SS] Добавьте поддержку указания кодировщика ключей и значений отдельно, а также для каждого семейства col в поставщике хранилища состояний RocksDB
  • [SPARK-46960] [SC-155940][SS] Тестирование нескольких входных потоков с помощью оператора TransformWithState
  • [SPARK-46966] [SC-156112][Python] Добавьте API UDTF для метода 'analyze', чтобы указать подмножество входных данных tablecolumns для select
  • [SPARK-46895] [SC-155950][CORE] Замена таймера на один поток запланированного исполнителя
  • [SPARK-46967] [SC-155815][CORE][пользовательский интерфейс] Скрытие и Thread Dump выполнение Heap Histogram исполнителей в Dead пользовательском Executors интерфейсе
  • [SPARK-46512] [SC-155826][CORE] Optimize чтение перемешанных данных при использовании сортировки и объединения.
  • [SPARK-46958] [SC-155942][SQL] Добавление отсутствующих timezone для приведения к значению по умолчанию values
  • [SPARK-46754] [SC-153830][SQL][AVRO] Исправление разрешения кода сжатия в параметрах определения и записи avro table
  • [SPARK-46728] [SC-154207][PYTHON] Проверка правильной установки Pandas
  • [SPARK-43403] [SC-154216][пользовательский интерфейс] Убедитесь, что старый SparkUI в HistoryServer был отключен перед загрузкой нового
  • [SPARK-39910] [SC-156203][SQL] Делегирование квалификации пути к файловой системе во время глоббинга пути к файлу DataSource
  • [SPARK-470000] [SC-156123] Возврат "[SC-156123][CORE] Использование getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] Перемещение категорий ошибок и состояний в JSON
  • [SPARK-46997] [SC-156175][CORE] Включить spark.worker.cleanup.enabled по умолчанию
  • [SPARK-46865] [SC-156168][SS] Добавление пакетной поддержки для оператора TransformWithState
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate избегайте ненужных операций setField
  • [SPARK-46970] [SC-155816][CORE] Перезапись OpenHashSet#hasher с помощью pattern matching
  • [SPARK-46984] [SC-156024][PYTHON] Remove pyspark.copy_func
  • [SPARK-470000] [SC-156123][CORE] Использование getTotalMemorySize в WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][ДОПОЛНИТЕЛЬНЫЙ] Избегайте использования внутренних API в сквозных тестах кадра
  • [SPARK-46931] Возврат "[SC-155661][PS] Реализация {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][SQL] Улучшение сообщений об ошибках для ошибки DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][SQL] Запуск оптимизатора с использованием настроек по умолчанию CREATE TABLEcolumn
  • [SPARK-46911] [SC-155724][SS] Добавление оператора deleteIfExists в StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Поддержка lz4raw кодека сжатия для Parquet
  • [SPARK-47002] [SC-156223][Python] Возвращает лучшее сообщение об ошибке, если поле "анализ" метода UDTF "orderBy" случайно возвращает list строк
  • [SPARK-46890] [SC-155802][SQL] Исправлена ошибка синтаксического анализа CSV с values по умолчанию и column обрезки
  • [SPARK-46977] [SC-155892][CORE] Неудачный запрос на получение маркера из одного nameNode не должен пропускать последующие запросы маркера
  • [SPARK-46608] [SC-151806][SQL] Restore обратную совместимость JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] Поддержка звездного выражения в предложении WHERE
  • [SPARK-46908] [SC-155702][SQL] Поддержка звездного выражения в предложении WHERE
  • [SPARK-46852] [SC-155665][SS] Remove использовать явный кодировщик ключей и передавать его неявно оператору transformWithState
  • [SPARK-46864] [SC-155669][SS] Подключение произвольного состоянияV2 к новой платформе классов ошибок
  • [SPARK-45807] [SC-155706][SQL] Возврат представления после вызова replaceView(.).)
  • [SPARK-46899] [SC-154651][CORE] RemovePOST API из MasterWebUI при spark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539][CORE] Поддержка пользовательского интерфейса журнала рабочей роли Spark
  • [SPARK-46931] [SC-155661][PS] Орудие {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Remove неиспользуемых updateSparkConfigFromProperties и isAbsoluteURI в o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] Использование ThreadUtils.shutdown для закрытия пулов потоков
  • [SPARK-46400] [SC-155658][CORE][SQL] Если в локальном репозитории maven есть поврежденные файлы, пропустите этот кэш и повторите попытку.
  • [SPARK-46932] [SC-155655] Очистка импорта в pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Создание генератора вложенных запросов, создающего вложенные запросы, чтобы увеличить охват тестирования
  • [SPARK-46914] [SC-154776][UI] Сокращенное имя приложения в сводке table на странице истории
  • [SPARK-46831] [SC-154699][SQL] Параметры сортировки — расширение StringType и PhysicalStringType с полем collationId
  • [SPARK-46816] [SC-154415][SS] Добавить базовую поддержку нового оператора произвольного управления состояниями, типа единственного valueState, нескольких переменных состояния и базовой поддержки семейств column для RocksDBStateStoreProvider с/без контрольными точками журнала изменений
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] Добавьте предупреждение, определяющее установку memory_profiler для профилирования памяти
  • [SPARK-46927] [SC-154904][PYTHON] Правильное выполнение assertDataFrameEqual работы без PyArrow
  • [SPARK-46021] [SC-148987][CORE] Поддержка отмены будущих заданий, принадлежащих группе заданий
  • [SPARK-46747] [SC-154789][SQL] Избегайте сканирования в getTableExistsQuery для диалектов JDBC
  • [SPARK-46904] [SC-154704][пользовательский интерфейс] Исправлена проблема с отображением сводки пользовательского интерфейса журнала
  • [SPARK-46870] [SC-154541][CORE] Поддержка пользовательского интерфейса главного журнала Spark
  • [SPARK-46893] [SC-154780][UI] Remove встроенные скрипты из описаний пользовательского интерфейса
  • [SPARK-46910] [SC-154760][PYTHON] Устранение требований JDK в установке PySpark
  • [SPARK-46907] [SC-154736][CORE] Отображение расположения журнала драйверов на сервере журнала Spark
  • [SPARK-46902] [SC-154661][пользовательский интерфейс] Исправлен пользовательский интерфейс сервера журнала Spark для использования не экспортированного набораAppLimit
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] Базовая поддержка профилировщика памяти на основе SparkSession
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] Замена SimpleDateFormat на DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] mode Если значение равно null, NullPointException необходимо not создать исключение
  • [SPARK-46872] [SC-154543][CORE] Восстановление log-view.js , не относясь к модулю
  • [SPARK-46883] [SC-154629][CORE] API поддержки /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Включить spark.ui.prometheus.enabled по умолчанию
  • [SPARK-46873] [SC-154638][SS] Не повторно создайте новый StreamingQueryManager для одного сеанса Spark
  • [SPARK-46829] [SC-154419][CORE] Remove createExecutorEnv из SparkEnv
  • [SPARK-46827] [SC-154280][CORE] Создание RocksDBPersistenceEngine символьной ссылки
  • [SPARK-46903] [SC-154662][CORE] Поддержка пользовательского интерфейса журнала журнала Spark
  • [SPARK-46874] [SC-154646][PYTHON] Removepyspark.pandas зависимость от assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] Проверка spark.master.ui.decommission.allow.mode параметра
  • [SPARK-46850] [SC-154443][SQL] Преобразование _LEGACY_ERROR_TEMP_2102 в UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] Исправление MasterPage чтобы сортировать Running Driverstable по Durationcolumn корректно
  • [SPARK-46796] [SC-154279][SS] Убедитесь, что для загрузки версии RocksDB используются правильные удаленные файлы (упомянутые в metadata.zip)
  • [SPARK-468888] [SC-154636][CORE] Исправление Master , чтобы отклонить /workers/kill/ запросы, если списание отключено
  • [SPARK-46818] [SC-154422][SQL] Улучшение сообщений об ошибках для диапазона с неотложными входными данными
  • [SPARK-46898] [SC-154649][CONNECT] Упрощение преобразования функции protobuf в Планировщике
  • [SPARK-46828] [SC-154413][SQL] Remove неверное утверждение удаленного режима для оболочки Spark SQL
  • [SPARK-46733] [SC-154274][CORE] Упрощение BlockManager операцией выхода зависит только от потока прерываний.
  • [SPARK-46777] [SC-154016][SS] Структура рефакторинга StreamingDataSourceV2Relation катализатора, которая будет более включена в пакетную версию
  • [SPARK-46515] [SC-151716] Добавление функции MONTHNAME
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion должен проверить допустимость значений NULL
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter Функция должна вызывать AnalysisException недопустимые входные данные
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation Экземпляры одного кэшированного плана должны быть семантически эквивалентны
  • [SPARK-45827] [SC-153973] Запретить секционирование на variant column
  • [SPARK-46797] [SC-154085][CORE] Переименование spark.deploy.spreadOut в spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Поддержка профилирования JVM исполнителя
  • [SPARK-46746] [SC-153557][SQL][AVRO] Присоединение расширения codec к файлам источника данных avro
  • [SPARK-46698] [SC-153288][CORE] Замените таймер одним потоком запланированным исполнителем для ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Исправление для типа DDL типа STRUCT, не допускающее значение NULL, и комментарий
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] Очистка кода API кадра данных
  • [SPARK-46769] [SC-153979][SQL] Уточнение вывода, связанного с метками времени schema
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] Укажите shuffle тип данных seed
  • [SPARK-46579] [SC-151481][SQL] Url-адрес Redact JDBC в ошибках и журналах
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] Базовая поддержка профилировщика UDF на основе SparkSession
  • [SPARK-46748] Восстановление "[SC-153800][CORE] Remove*slav**.sh scri...
  • [SPARK-46707] [SC-153833][SQL] Добавлено вызываемое поле для выражений для улучшения pushdown предиката
  • [SPARK-46519] [SC-151278][SQL] Очистка неиспользуемых классов ошибок из error-classes.json файла
  • [SPARK-46677] [SC-153426][SQL][CONNECT] Исправление dataframe["*"] разрешения
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Совпадение с незначительным поведением в SparkSession с полным покрытием теста
  • [SPARK-46748] [SC-153800][CORE] Remove*slav**.sh скрипты
  • [SPARK-46663] [SC-153490][PYTHON] Отключение профилировщика памяти для UDF pandas с помощью итераторов
  • [SPARK-46410] [SC-150776][SQL] Назначение классов ошибок/подклассов jdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] Проверить URL-адреса запуска с использованием конфигурации set
  • [SPARK-46612] [SC-153536][SQL] Не преобразуйте строку типа массива, полученную из драйвера jdbc
  • [SPARK-46254] [SC-149788][PYTHON] Remove проверка устаревших версий Python 3.8/3.7
  • [SPARK-46490] [SC-151335][SQL] Требовать классы ошибок в SparkThrowable подклассах
  • [SPARK-46383] [SC-153274][SC-147443][ТЕПЛОФИКС] Сокращение использования кучи драйверов путем уменьшения срока существования TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Исправление неоднозначной column ссылки на само join
  • [SPARK-46381] [SC-150495][SQL] Перенос подклассов AnalysisException в классы ошибок
  • [SPARK-46351] [SC-150335][SQL] Требовать класс ошибок в AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Ограничение наборов символов в decode()
  • [SPARK-46369] [SC-150340][CORE] Removekill ссылка из драйверов RELAUNCHING в MasterPage
  • [SPARK-46052] [SC-153284][CORE] Remove функция TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] Поддержка GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL] Remove неиспользуемый inferTimestampNTZ в ParquetReadSupport
  • [SPARK-46717] [SC-153423][CORE] Упрощение ReloadingX509TrustManager операции выхода зависит только от потока прерываний.
  • [SPARK-46722] [SC-153438][CONNECT] Добавьте тест относительно обратной проверки совместимости для StreamingQueryListener в Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Выравнивание реализации codegen и некодегенов StringDecode
  • [SPARK-46258] [SC-149799][CORE] Добавлять RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] Улучшение FileSystemPersistenceEngine поддержки сжатия
  • [SPARK-46189] [SC-149567][PS][SQL] Сравнение и арифметика между теми же типами в различных агрегатных функциях Pandas, чтобы избежать ошибок в режиме интерпретации
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] Уменьшение глубины стека путем замены Option.isDefined на Option.isEmpty
  • [SPARK-46700] [SC-153329][CORE] Подсчет последнего разлива для метрики разлива диска с перемешиванием байтов
  • [SPARK-45642] [SC-150286][CORE][SQL] Фиксировать FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] Исправление RemoveRedundantAlias путем исключения атрибутов вложенных запросов
  • [SPARK-46681] [SC-153287][CORE] Рефакторинг ExecutorFailureTracker#maxNumExecutorFailures , чтобы избежать вычисления defaultMaxNumExecutorFailures при MAX_EXECUTOR_FAILURES настройке
  • [SPARK-46695] [SC-153289][SQL][HIVE] Всегда устанавливайте параметр hive.execution.engine для mr
  • [SPARK-46325] [SC-150228][CONNECT] Remove ненужные переопределения функций при создании WrappedCloseableIterator в ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Перенесите все оставшиеся значения ValueError в платформу ошибок PySpark.
  • [SPARK-46547] [SC-153174][SS] Проглотить неустранимое исключение в задаче обслуживания, чтобы избежать взаимоблокировки между потоком обслуживания и оператором агрегирования потоковой передачи
  • [SPARK-46169] [SC-149373][PS] Назначьте соответствующие номера JIRA для отсутствующих parameters из API DataFrame.
  • [SPARK-45857] [SC-148096][SQL] Принудительное применение классов ошибок в подклассах AnalysisException

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 15.1.

Системная среда

  • Операционная система: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 cloudpickle 2.2.1 comm 0.1.2
контурная диаграмма 1.0.5 криптография 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 шрифтовые инструменты 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3,4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 нажатие клавиш 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 во внешнем виде 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
график 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 requests 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 мореборн 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
внутренние порты 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 большой двоичный объект 1.2.4 загрузка 1.3-28
заваривать 1.0-10 brio 1.1.4 метла 1.0.5
bslib 0.6.1 cachem 1.0.8 вызывающий объект 3.7.3
крышка 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 компилятор 4.3.2
config 0.3.2 Противоречие 1.2.0 cpp11 0.4.7
карандаш 1.5.2 credentials 2.0.1 curl 5.2.0
данные.table 1.15.0 наборы данных 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 evaluate 0,23
вентиляторы 1.0.6 Farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
иностранный 0.8-85 forge 0.2.0 fs 1.6.3
будущее 1.33.1 future.apply 1.11.1 gargle 1.5.2
Универсальные шаблоны 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
высокий 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 трикотажный 1,45 маркирование 0.4.3
later 1.3.2 решётка 0.21-8 Lava 1.7.3
жизненный цикл 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 МАССАЧУСЕТС 7.3-60
«Матрица» 1.5-4.1 memoise 2.0.1 оплаты 4.3.2
mgcv 1.8-42 мим 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 столб 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 хвалить 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Ход выполнения 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
Рецепты 1.0.9 реванш 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
весы 1.3.0 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 пространственный 7.3-15 Сплайны 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
статистика4 4.3.2 stringi 1.8.3 stringr 1.5.1
выживание 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
TimeDate 4032.109 tinytex 0,49 средства 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 служебные программы 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 усы 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat джексон-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics метрики-заметки 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1