Databricks Runtime 16.0

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 16.0, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в ноябре 2024 года.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Изменение поведения

• Критическое изменение: JDK 17 теперь является значением по умолчанию
• Критическое изменение: размещенное RStudio является окончанием жизни
• Критическое изменение: удаление поддержки изменения byteи shortintlong типов в более широкие типы
• Правильный анализ шаблонов регулярных выражений с отрицанием в вложенной группировке символов
• Улучшение обнаружения повторяющихся совпадений в Delta Lake MERGE
• Метод установки библиотеки кластера больше не может быть переопределен
• Время ожидания по умолчанию в течение двух часов для установки библиотеки с областью действия кластера
• Установка библиотек из DBFS и настройка spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed отключены
• Теперь функциональные addArtifact() возможности согласованы между типами вычислений

Критическое изменение: JDK 17 теперь является значением по умолчанию

В Databricks Runtime 16.0 и выше версия JDK по умолчанию переключается с JDK 8 на JDK 17. Это изменение происходит из-за запланированного прекращения и завершения поддержки JDK 8. Это влияет на следующее:

• Код Java, работающий в вычислительной среде Azure Databricks, должен быть совместим с Java 17.
• Код Scala, выполняемый в записных книжках или вычислениях Azure Databricks, должен быть совместим с Java 17.
• Библиотеки Java и Scala, установленные на вычислительных ресурсах, должны быть совместимы с Java 17.
• Версии клиента хранилища метаданных Apache Hive ниже 2.x. Установка конфигурации spark.sql.hive.metastore.version Spark на версию ниже 2.x приведет к проблемам совместимости с Java 17 и сбоями подключения к хранилищу метаданных Hive. Databricks рекомендует обновить Hive до версии выше 2.0.0.

Если вам нужно вернуться к Java 8, добавьте следующие переменные среды Spark при настройке вычислений Azure Databricks:

JNAME=zulu8-ca-amd64

Если вы используете экземпляры ARM, используйте следующее:

JNAME=zulu8-ca-arm64

Дополнительные сведения об указании версий JDK с помощью вычислений Azure Databricks см. в статье "Создание кластера, использующего JDK 17".

Сведения о переносе кода из Java 8 см. в следующих руководствах:

• Переход с Java 8 на Java 11
• Переход с JDK 8 на более поздние выпуски JDK

Критическое изменение: размещенное RStudio является окончанием жизни

В этом выпуске Сервер RStudio, размещенный в Databricks, является конечным и недоступен в любой рабочей области Azure Databricks под управлением Databricks Runtime 16.0 и более поздней версии. Дополнительные сведения и список альтернатив RStudio см. в разделе "Размещение RStudio Server" для отмены использования.

Критическое изменение: удаление поддержки изменения byteи shortintlong типов в более широкие типы

В Databricks Runtime 15.4.3 и более поздних версиях следующие изменения типа данных больше не могут применяться к таблицам с включенным функцией расширения типов:

• byte, и shortint в long. decimal
• byte, и shortint в double.

Это изменение выполняется для обеспечения согласованного поведения в таблицах Delta и Iceberg. Дополнительные сведения о расширении типов см. в разделе "Расширение типов".

Правильный анализ шаблонов регулярных выражений с отрицанием в вложенной группировке символов

В этом выпуске содержится изменение для поддержки правильного синтаксического анализа шаблонов regex с отрицанием в вложенной группировке символов. Например, [^[abc]] будет проанализирован как "любой символ, который не является одним из "abc".

Кроме того, поведение Фотона было несогласовано с Spark для вложенных классов символов. Шаблоны regex, содержащие вложенные классы символов, больше не будут использовать Photon, а вместо этого будут использовать Spark. Вложенный класс символов — это любой шаблон, содержащий квадратные скобки в квадратных скобках, например [[a-c][1-3]].

Улучшение обнаружения повторяющихся совпадений в Delta Lake MERGE

В Databricks Runtime 15.4 LTS и ниже операции завершаются ошибкой, MERGE если несколько строк в исходной таблице совпадают с той же строкой в целевой таблице на MERGE основе условия, указанного в предложении ON . В Databricks Runtime 16.0 и более поздних версий также рассматриваются условия, MERGE указанные в предложении WHEN MATCHED . Просмотрите Upsert в таблицу Delta Lake с помощью слияния.

Метод установки библиотеки кластера больше не может быть переопределен

Конфигурации spark.databricks.libraries.enableSparkPyPIspark.databricks.libraries.enableMavenResolutionSpark и spark.databricks.libraries.enableCRANResolutionnow теперь true не могут быть переопределены.

Время ожидания по умолчанию в течение двух часов для установки библиотеки с областью действия кластера

В Databricks Runtime 16.0 и выше установка библиотеки с областью действия кластера имеет время ожидания по умолчанию в течение двух часов. Установка библиотеки, которая занимает больше времени ожидания, завершится сбоем, и установка завершается. При настройке кластера можно изменить период ожидания с помощью конфигурации spark.databricks.driver.clusterLibraryInstallationTimeoutSecSpark.

Установка библиотек из DBFS и настройка spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed отключены

В Databricks Runtime 16.0 и более поздних версий установка библиотек из DBFS полностью отключена. Это изменение делается для повышения безопасности библиотек в рабочей области Databricks. Кроме того, в Databricks Runtime 16.0 и более поздних версий вы больше не можете использовать конфигурацию spark.databricks.driver.dbfsLibraryInstallationAllowedSpark.

Теперь функциональные addArtifact() возможности согласованы между типами вычислений

В этом выпуске архив автоматически распаковывается при addArtifact(archive = True) добавлении зависимости для общих или бессерверных вычислений Azure Databricks. Это изменение делает поведение addArtifact(archive = True) для этих типов вычислений, согласованных с вычислительными ресурсами одного пользователя, которое уже поддерживает автоматическое распаковка архивов.

Новые функции и внесенные улучшения

• Более надежная перезагрузка измененных модулей Python с улучшениями autoreload
• Поддержка avro для рекурсивной схемы
• to_avro и функции from_avro
• Расширенная поддержка реестра схем Confluent для Avro
• Принудительное повторное использование к таблицам с помощью отказоустойчивой кластеризации
• Api Delta для Python и Scala теперь поддерживают столбцы удостоверений
• Более точное управление доступом для отдельных пользователей, как правило, доступно
• Создание отказоустойчивых кластеризованных таблиц во время потоковой записи
• поддержка OPTIMIZE предложения FULL
• Поддержка спецификации параметров WITH в INSERT и справочнике по таблицам
• Новые функции SQL
• Включение автоматической эволюции схемы при слиянии данных в таблицу Delta

Более надежная перезагрузка измененных модулей Python с улучшениями autoreload

В Databricks Runtime 16.0 и более поздних версий обновления autoreload расширения повышают безопасность и надежность перезагрузки измененных модулей Python, импортированных из файлов рабочей области. При таких изменениях autoreload, когда это возможно, перезагрузит только часть модуля, который изменился вместо всего модуля. Кроме того, Azure Databricks теперь автоматически предлагает использовать autoreload расширение, если модуль изменился с момента последнего импорта. См. раздел "Автозагрузка" для модулей Python.

Поддержка avro для рекурсивной схемы

Теперь можно использовать recursiveFieldMaxDepth параметр с from_avro функцией и avro источником данных. Этот параметр задает максимальную глубину рекурсии схемы в источнике данных Avro. См. статью "Чтение и запись потоковых данных Avro".

функции to_avro и from_avro

Функции to_avro и from_avro позволяют преобразовать типы SQL в двоичные данные Avro и обратно.

Расширенная поддержка реестра схем Confluent для Avro

Azure Databricks теперь поддерживает ссылку на схему Avro с реестром схем Confluent. Ознакомьтесь с проверкой подлинности во внешнем реестре схем Confluent.

Принудительное повторное использование к таблицам с помощью отказоустойчивой кластеризации

В Databricks Runtime 16.0 и более поздних версиях можно использовать OPTIMIZE FULL синтаксис для принудительного включения повторного использования всех записей в таблице с включенным кластеризациям жидкости. См . статью "Принудительное восстановление" для всех записей.

Api Delta для Python и Scala теперь поддерживают столбцы удостоверений

Теперь можно использовать API Delta для Python и Scala для создания таблиц с столбцами удостоверений. См. статью "Использование столбцов удостоверений" в Delta Lake.

Более точное управление доступом для отдельных пользователей, как правило, доступно

В Databricks Runtime 16.0 и более поздних версий общедоступен точный контроль доступа для вычислений одного пользователя. В рабочих областях, включаемых для бессерверных вычислений, если запрос выполняется на поддерживаемых вычислениях, таких как вычисление одного пользователя, и запрос обращается к любому из следующих объектов, вычислительный ресурс передает запрос бессерверному вычислению для выполнения фильтрации данных:

• Представления, определенные по таблицам, для которых у пользователя нет SELECT прав доступа.
• Динамические представления.
• Таблицы с примененными фильтрами строк или масками столбцов.
• Материализованные представления и таблицы потоковой передачи.

Создание отказоустойчивых кластеризованных таблиц во время потоковой записи

Теперь можно использовать clusterBy для включения кластеризации жидкости при создании новых таблиц с помощью операций записи структурированной потоковой передачи. См. раздел "Включить кластеризацию жидкости".

Поддержка предложения OPTIMIZE FULL

Databricks Runtime 16.0 поддерживает конструкцию OPTIMIZE FULL. Это предложение оптимизирует все записи в таблице, использующей кластеризацию жидкости, включая данные, которые ранее были кластеризованы.

Поддержка спецификации параметров WITH в INSERT и ссылка на таблицу

Databricks Runtime 16.0 поддерживает спецификацию параметров для ссылок на таблицы и имена INSERT таблиц инструкции, которую можно использовать для управления поведением источников данных.

Новые функции SQL

Следующие функции SQL добавляются в Databricks Runtime 16.0:

• try_url_decode

  Эта функция представляет собой нелерантную версию url_decode. Эта функция возвращает, NULL если входные данные не являются допустимой строкой, закодированной URL-адресом.

• zeroifnull

  Если входное выражение zeroifnull() функции имеет значение NULL, функция возвращает значение 0. В противном случае возвращается значение входного выражения.

• nullifzero

  Возвращает значение NULL , если входные данные равно 0 или его входным данным, если он не равен 0. Если входное выражение nullifzero() функции равно 0, функция возвращается NULL. Если входное выражение не равно 0, возвращается значение входного выражения.

Включение автоматической эволюции схемы при слиянии данных в таблицу Delta

Этот выпуск добавляет поддержку withSchemaEvolution() члена DeltaMergeBuilder класса. Используется withSchemaEvolution() для включения автоматической эволюции схемы во время MERGE операций. Например, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Другие изменения

SparkR теперь не рекомендуется

В Databricks Runtime 16.0 и более поздних версий SparkR в Databricks не рекомендуется подготовиться к его отмене в предстоящем выпуске Spark 4. Ознакомьтесь с потоком Apache Spark Deprecate SparkR.

Databricks рекомендует вместо этого использовать sparklyr .

Databricks Runtime 16.0 не поддерживается с ПВХ

Databricks Runtime 16.0 не поддерживается частным виртуальным облаком Databricks (PVC). Для всех выпусков ПВХ необходимо использовать Databricks Runtime 15.4 или ниже.

Исправления ошибок

Автозагрузчик теперь спасает типы записей Avro с пустыми схемами

При загрузке файла Avro в таблицу Delta с помощью автозагрузчика record типы в файле с пустой схемой теперь добавляются в спасаемый столбец данных. Так как вы не можете прием пустых сложных типов данных в таблицу Delta, это устраняет проблему с загрузкой некоторых файлов Avro. Дополнительные сведения о спасенных данных см. в статье "Что такое спасенных столбцов данных?".

Исправлена ошибка записи меток времени с часовыми поясами, содержащими второе смещение.

В этом выпуске исправлена ошибка, влияющая на некоторые метки времени с часовыми поясами, содержащими второе смещение. Эта ошибка приводит к пропуску секунд при записи в JSON, XML или CSV, что приводит к неправильному значению метки времени.

Чтобы вернуться к предыдущему поведению, используйте следующий параметр при записи в один из затронутых форматов: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")

Обновления библиотек

• Обновленные библиотеки Python:
  • azure-core от 1.30.2 до 1.31.0
  • azure-storage-blob с 12.19.1 до 12.23.0
  • azure-storage-file-datalake с 12.14.0 до 12.17.0
  • черный от 23.3.0 до 24.4.2
  • мигание от 1.4 до 1.7.0
  • boto3 от 1.34.39 до 1.34.69
  • botocore от 1.34.39 до 1.34.69
  • сертификат от 2023.7.22 до 2024.6.2
  • cffi от 1.15.1 до 1.16.0
  • Щелкните от 8.0.4 до 8.1.7
  • comm от 0.1.2 до 0.2.1
  • контурная диаграмма от 1.0.5 до 1.2.0
  • криптография от 41.0.3 до 42.0.5
  • Cython от 0.29.32 до 3.0.11
  • databricks-sdk от 0.20.0 до 0.30.0
  • dbus-python от 1.2.18 до 1.3.2
  • блокировка файлов от 3.13.4 до 3.15.4
  • шрифты с 4.25.0 до 4.51.0
  • GitPython от 3.1.43 до 3.1.37
  • google-api-core от 2.18.0 до 2.20.0
  • google-auth от 2.31.0 до 2.35.0
  • google-cloud-storage с 2.17.0 до 2.18.2
  • google-crc32c с 1.5.0 до 1.6.0
  • google-resumable-media от 2.7.1 до 2.7.2
  • googleapis-common-protos с 1.63.2 до 1.65.0
  • httplib2 от 0.20.2 до 0.20.4
  • idna от 3.4 до 3.7
  • ipykernel от 6.25.1 до 6.28.0
  • ipython от 8.15.0 до 8.25.0
  • jedi от 0.18.1 до 0.19.1
  • jmespath от 0.10.0 до 1.0.1
  • joblib от 1.2.0 до 1.4.2
  • jupyter_client от 7.4.9 до 8.6.0
  • jupyter_core от 5.3.0 до 5.7.2
  • launchpadlib от 1.10.16 до 1.11.0
  • lazr.restfulclient от 0.14.4 до 0.14.6
  • matplotlib от 3.7.2 до 3.8.4
  • mlflow-skinny с 2.11.4 до 2.15.1
  • more-itertools от 8.10.0 до 10.3.0
  • mypy-extensions от 0.4.3 до 1.0.0
  • nest-asyncio от 1.5.6 до 1.6.0
  • numpy от 1.23.5 до 1.26.4
  • oauthlib от 3.2.0 до 3.2.2
  • упаковка от 23.2 до 24.1
  • patsy от 0.5.3 до 0.5.6
  • pip от 23.2.1 до 24.2
  • график от 5.9.0 до 5.22.0
  • prompt-toolkit от 3.0.36 до 3.0.43
  • pyarrow от 14.0.1 до 15.0.2
  • pydantic от 1.10.6 до 2.8.2
  • PyGObject от 3.42.1 до 3.48.2
  • PyJWT от 2.3.0 до 2.7.0
  • pyodbc от 4.0.38 до 5.0.1
  • python-dateutil от 2.8.2 до 2.9.0.post0
  • python-lsp-jsonrpc от 1.1.1 до 1.1.2
  • pytz с 2022.7 по 2024.1
  • PyYAML от 6.0 до 6.0.1
  • pyzmq от 23.2.0 до 25.1.2
  • запросы от 2.31.0 до 2.32.2
  • scikit-learn от 1.3.0 до 1.4.2
  • scipy от 1.11.1 до 1.13.1
  • seaborn с 0.12.2 до 0.13.2
  • setuptools от 68.0.0 до 74.0.0
  • smmap от 5.0.1 до 5.0.0
  • sqlparse от 0.5.0 до 0.5.1
  • statsmodels от 0.14.0 до 0.14.2
  • tornado от 6.3.2 до 6.4.1
  • признаки от 5.7.1 до 5.14.3
  • typing_extensions от 4.10.0 до 4.11.0
  • ujson от 5.4.0 до 5.10.0
  • virtualenv от 20.24.2 до 20.26.2
  • колесо от 0.38.4 до 0.43.0
  • ZIPP от 3.11.0 до 3.17.0
• Обновленные библиотеки R:
  • стрелка от 14.0.0.2 до 16.1.0
  • backports от 1.4.1 до 1.5.0
  • база от 4.3.2 до 4.4.0
  • bitops от 1.0-7 до 1.0-8
  • загрузка от 1.3-28 до 1.3-30
  • brio от 1.1.4 до 1.1.5
  • веник от 1.0.5 до 1.0.6
  • bslib от 0.6.1 до 0.8.0
  • cachem от 1.0.8 до 1.1.0
  • вызывающий объект от 3.7.3 до 3.7.6
  • cli от 3.6.2 до 3.6.3
  • часы от 0.7.0 до 0.7.1
  • кластер с 2.1.4 по 2.1.6
  • codetools от 0.2-19 до 0.2-20
  • цветовое пространство от 2.1-0 до 2.1-1
  • компилятор от 4.3.2 до 4.4.0
  • Крейон от 1.5.2 до 1.5.3
  • curl от 5.2.0 до 5.2.1
  • data.table от 1.15.0 до 1.15.4
  • наборы данных от 4.3.2 до 4.4.0
  • DBI от 1.2.1 до 1.2.3
  • dbplyr от 2.4.0 до 2.5.0
  • дайджест от 0.6.34 до 0.6.36
  • от 0.4.3 до 0.4.4
  • оценка от 0.23 до 0.24.0
  • далеко от 2.1.1 до 2.1.2
  • fastmap от 1.1.1 до 1.2.0
  • внешний от 0,8-85 до 0,8-86
  • fs от 1.6.3 до 1.6.4
  • будущее от 1.33.1 до 1.34.0
  • future.apply от 1.11.1 до 1.11.2
  • gert от 2.0.1 до 2.1.0
  • ggplot2 от 3.4.4 до 3.5.1
  • gh от 1.4.0 до 1.4.1
  • globals от 0.16.2 до 0.16.3
  • графика от 4.3.2 до 4.4.0
  • grDevices от 4.3.2 до 4.4.0
  • сетка от 4.3.2 до 4.4.0
  • gt; от 0.10.1 до 0.11.0
  • gtable от 0.3.4 до 0.3.5
  • hardhat от 1.3.1 до 1.4.0
  • высокий уровень от 0,10 до 0,11
  • htmltools от 0.5.7 до 0.5.8.1
  • httpuv от 1.6.14 до 1.6.15
  • httr2 от 1.0.0 до 1.0.2
  • ipred от 0.9-14 до 0,9-15
  • KernSmooth от 2.23-21 до 2.23-22
  • трикотаж от 1,45 до 1,48
  • латтис от 0,21-8 до 0,22-5
  • лава от 1.7.3 до 1.8.0
  • markdown от 1.12 до 1.13
  • МАСС с 7.3-60 до 7.3-60.0.1
  • Матрица от 1.5-4.1 до 1.6-5
  • Методы от 4.3.2 до 4.4.0
  • mgcv от 1,8-42 до 1,9-1
  • mlflow от 2.10.0 до 2.14.1
  • munsell от 0.5.0 до 0.5.1
  • nlme от 3.1-163 до 3.1-165
  • opensl от 2.1.1 до 2.2.0
  • параллельная от 4.3.2 до 4.4.0
  • параллельно от 1.36.0 до 1.38.0
  • pkgbuild от 1.4.3 до 1.4.4
  • pkgdown от 2.0.7 до 2.1.0
  • pkgload от 1.3.4 до 1.4.0
  • processx от 3.8.3 до 3.8.4
  • prodlim с 2023.08.28 до 2024.06.25
  • обещания от 1.2.1 до 1.3.0
  • ps от 1.7.6 до 1.7.7
  • ragg от 1.2.7 до 1.3.2
  • Rcpp от 1.0.12 до 1.0.13
  • RcppEigen от 0.3.3.9.4 до 0.3.4.0.0
  • reactR от 0.5.0 до 0.6.0
  • рецепты от 1.0.9 до 1.1.0
  • удаленные от 2.4.2.1 до 2.5.0
  • reprex от 2.1.0 до 2.1.1
  • rlang от 1.1.3 до 1.1.4
  • rmarkdown от 2.25 до 2.27
  • roxygen2 от 7.3.1 до 7.3.2
  • rpart от 4.1.21 до 4.1.23
  • RSQLite от 2.3.5 до 2.3.7
  • rstudioapi от 0.15.0 до 0.16.0
  • rvest от 1.0.3 до 1.0.4
  • sass от 0.4.8 до 0.4.9
  • фигура от 1.4.6 до 1.4.6.1
  • блестящий от 1.8.0 до 1.9.1
  • sparklyr от 1.8.4 до 1.8.6
  • пространственные от 7.3-15 до 7.3-17
  • splines от 4.3.2 до 4.4.0
  • статистика от 4.3.2 до 4.4.0
  • статистика4 от 4.3.2 до 4.4.0
  • stringi от 1.8.3 до 1.8.4
  • выживание от 3.5-5 до 3,6-4
  • swagger от 3.33.1 до 5.17.14.1
  • systemfonts от 1.0.5 до 1.1.0
  • tcltk от 4.3.2 до 4.4.0
  • testthat от 3.2.1 до 3.2.1.1
  • тексты с 0.3.7 до 0.4.0
  • tidyselect от 1.2.0 до 1.2.1
  • tinytex от 0,49 до 0,52
  • средства от 4.3.2 до 4.4.0
  • usethis от 2.2.2 до 3.0.0
  • utils от 4.3.2 до 4.4.0
  • uuid от 1.2-0 до 1.2-1
  • V8 от 4.4.1 до 4.4.2
  • withr от 3.0.0 до 3.0.1
  • xfun от 0,41 до 0,46
  • xopen от 1.0.0 до 1.0.1
  • yaml от 2.3.8 до 2.3.10
• Обновленные библиотеки Java:
  • com.amazonaws.aws-java-sdk-autoscaling от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-config с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-core от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-directory с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-ecs от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-efs от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-emr от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-glacier с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-glue с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-iam с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-importexport с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-kms от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-lambda с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-logs от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-rds от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-redshift от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-route53 с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-s3 от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-ses с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-sns от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-sqs с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-ssm с 1.12.610 по 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway с 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-sts от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-support от 1.12.610 до 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces от 1.12.610 до 1.12.638
  • com.amazonaws.jmespath-java с 1.12.610 до 1.12.638
  • com.google.protobuf.protobuf-java с 2.6.1 до 3.25.1
  • io.airlift.aircompressor от 0,25 до 0,27
  • io.delta.delta-sharing-client_2.12 от 1.1.3 до 1.2.0
  • io.netty.netty-all от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-buffer от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-codec от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-codec-http с 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-codec-http2 с 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-codec-socks от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-common с 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-handler от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-handler-proxy от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-resolver от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-transport от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-transport-classes-epoll от 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue с 4.1.96.Final до 4.1.108.Final
  • io.netty.netty-transport-native-epoll от 4.1.96.Final-linux-x86_64 до 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue от 4.1.96.Final-osx-x86_64 до 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common от 4.1.96.Final до 4.1.108.Final
  • org.apache.ivy.ivy с 2.5.1 по 2.5.2
  • org.apache.zookeeper.zookeeper с 3.6.3 до 3.9.2
  • org.apache.zookeeper.zookeeper-jute от 3.6.3 до 3.9.2
  • org.rocksdb.rocksdbjni с 8.11.4 по 9.2.1
  • org.scalactic.scalactic_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-compatible от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-core_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-freespec_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-funspec_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-propspec_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-refspec_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 от 3.2.15 до 3.2.16
  • org.scalatest.scalatest_2.12 от 3.2.15 до 3.2.16

Apache Spark

Databricks Runtime 16.0 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.4 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-49093] [DBRRM-1371] Revert "[SC-172958][SQL] GROUP BY с MapType nes...
• [SPARK-49898] [DBRRM-1282][SC-178410] Исправление документации и по умолчанию для флага ведения журнала задач журнала событий с флагом ведения журнала событий из SPARK-42204
• [SPARK-49743] [ES-1260022][ПОВЕДЕНИЕ-157][SC-177475][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
• [SPARK-49816] [SC-177896][SQL] Должно обновляться только выходное число ссылок для ссылки на внешнее отношение CTE
• [SPARK-48939] [SC-177022][SC-172766][AVRO] Поддержка чтения Avro с рекурсивной ссылкой на схему
• [SPARK-496888] [SC-177468][ES-1242349][CONNECT] Исправлена гонка данных между прерыванием и планом выполнения
• [SPARK-49771] [SC-177466][PYTHON] Улучшение ошибки UDF Scalar Pandas Scalar, когда выходные строки превышают входные строки
• [SPARK-48866] [SC-170772][SQL] Исправление подсказок допустимого набора символов в сообщении об ошибке INVALID_PARAMETER_VALUE. CHARSET
• [SPARK-48195] [FIXFORWARD][SC-177267][CORE] Сохранение и повторное использование RDD/Широковещательной трансляции, созданной SparkPlan
• [SPARK-49585] [CONNECT] Замена выполнений в SessionHolder набором operationID
• [SPARK-49211] [SC-174257][SQL] Каталог версии 2 также может поддерживать встроенные источники данных
• [SPARK-49684] Минимизация времени существования блокировки восстановления сеанса
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Структурированная платформа журналов на стороне Java
• [SPARK-48857] [SC-170661][SQL] Ограничение наборов символов в CSVOptions
• [SPARK-49152] [SC-173690][SQL] V2SessionCatalog должен использовать V2Command
• [SPARK-42846] [SC-176588][SQL] Удаление условия ошибки _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][CORE] Сохранение и повторное использование RDD/Широковещательной трансляции, созданной SparkPlan
• [SPARK-49630] [SC-177379][SS] Добавление параметра "Плоский" для обработки типов сбора с помощью средства чтения источников данных состояния
• [SPARK-49699] [SC-177154][SS] Отключение PruneFilters для рабочих нагрузок потоковой передачи
• [SPARK-48781] [SC-175282][SQL] Добавление API каталога для загрузки хранимых процедур
• [SPARK-49667] [SC-177068][SQL] Запретить CS_AI сортировки с выражениями, используюющими StringSearch
• [SPARK-49737] [SC-177207][SQL] Отключение сегментирования для сортировки столбцов в сложных типах
• [SPARK-48712] [SC-169794][SQL] Улучшение perf для кодирования с пустыми значениями или набором символов UTF-8
• [SPARK-49038] [SC-173933][SQL] SQLMetric должна сообщать о необработанном значении в событии обновления аккумулятора
• [SPARK-48541] [SC-169066][CORE] Добавление нового кода выхода для исполнителей, убитых TaskReaper
• [SPARK-48774] [SC-170138][SQL] Использование SparkSession в SQLImplicits
• [SPARK-49719] [SC-177139][SQL] Создание UUID и SHUFFLE принятие целого числа seed
• [SPARK-49713] [SC-177135][PYTHON][CONNECT] Сделать функцию count_min_sketch приемом аргументов числа
• [SPARK-47601] [SC-162499][GRAPHX] Graphx: перенос журналов с переменными в структурированную платформу ведения журнала
• [SPARK-49738] [SC-177219][SQL] Исправление ошибок в конце
• [SPARK-48623] [SC-170822][CORE] Структурированные миграции ведения журнала [часть 3]
• [SPARK-49677] [SC-177148][SS] Убедитесь, что файлы журнала изменений записываются при фиксации и флаге forceSnapshot также сбрасываются
• [SPARK-49684] [SC-177040][CONNECT] Удаление глобальных блокировок из диспетчеров сеансов и выполнения
• [SPARK-48302] [SC-168814][PYTHON] Сохранение значений NULL в столбцах карты в таблицах PyArrow
• [SPARK-48601] [SC-169025][SQL] Предоставление более понятного сообщения об ошибке при настройке значения NULL для параметра JDBC
• [SPARK-48635] [SC-169263][SQL] Назначение классов для объединения ошибок типа и ошибки при присоединении
• [SPARK-49673] [SC-177032][CONNECT] Увеличение CONNECT_GRPC_ARROW_MAX_BATCH_SIZE до 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][PYTHON][CONNECT] Уточнение строкового представления timedelta
• [SPARK-49687] [SC-176901][SQL] Задержка сортировки в validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][PS] Переключение Scatter диаграммы на образцы данных
• [SPARK-48472] [SC-169044][SQL] Включение выражений отражения со строками сортировки
• [SPARK-48484] [SC-167484][SQL] Исправление: V2Write использует один и тот же TaskAttemptId для различных попыток задач
• [SPARK-48341] [SC-166560][CONNECT] Разрешить подключаемым модулям использовать QueryTest в своих тестах
• [SPARK-42252] [SC-168723][CORE] Добавление spark.shuffle.localDisk.file.output.buffer и удаление spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][SS] Не двойные файлы кэша для FileStreamSource с помощью Trigger.AvailableNow
• [SPARK-49567] [SC-176241][PYTHON] Используйте classic вместо vanilla базы кода PySpark
• [SPARK-48374] [SC-167596][PYTHON] Поддержка дополнительных типов столбцов таблицы PyArrow
• [SPARK-48300] [SC-166481][SQL] Поддержка Codegen для from_xml
• [SPARK-49412] [SC-177059][PS] Вычисление всех метрик графиков поля в одном задании
• [SPARK-49692] [SC-177031][PYTHON][CONNECT] Уточнение строкового представления даты и даты и даты
• [SPARK-49392] [ES-1130351][SC-176705][SQL] Перехват ошибок при сбое записи во внешний источник данных
• [SPARK-48306] [SC-166241][SQL] Улучшение UDT в сообщении об ошибке
• [SPARK-44924] [SC-166379][SS] Добавление конфигурации для кэшированных файлов FileStreamSource
• [SPARK-48176] [SC-165644][SQL] Настройка имени условия ошибки FIELD_ALREADY_EXISTS
• [SPARK-49691] [SC-176988][PYTHON][CONNECT] Функция substring должна принимать имена столбцов
• [SPARK-49502] [SC-176077][CORE] Избегайте NPE в SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [SC-176703][SQL] Дальнейшие улучшения исключений для синтаксического анализа или интерпретатора
• [SPARK-48355] [SC-176684][SQL] Поддержка инструкции CASE
• [SPARK-49355] [SC-175121][SQL] levenshtein должен проверить, collation совпадают ли значения всех типов параметров.
• [SPARK-49640] [SC-176953][PS] Применение выборки водохранилища в SampledPlotBase
• [SPARK-49678] [SC-176857][CORE] Поддержка spark.test.master в SparkSubmitArguments
• [SPARK-49680] [SC-176856][PYTHON] Ограничение Sphinx параллелизма сборки до 4 по умолчанию
• [SPARK-49396] Вернуть значение "[SC-176030][SQL] Изменить проверку допустимости null для выражения CaseWhen"
• [SPARK-48419] [SC-167443][SQL] Свертываемое распространение заменяет свертываемый столбец...
• [SPARK-49556] [SC-176757][SQL] Добавление синтаксиса канала SQL для оператора SELECT
• [SPARK-49438] [SC-175237][SQL] Исправление красивого имени выражения >FromAvroToAvro
• [SPARK-49659] [SC-1229924][SQL] Добавьте понятную ошибку для пользователей для скалярных вложенных запросов внутри части VALUES
• [SPARK-49646] [SC-176778][SQL] исправление декорреляции вложенных запросов для операций объединения или набора, когда parentOuterReferences не содержит ссылок, не охваченных в сбореChildOuterReferences
• [SPARK-49354] [SC-175034][SQL] split_part должен проверить, collation совпадают ли значения всех типов параметров.
• [SPARK-49478] [SC-175914][CONNECT] Обработка метрики NULL в ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][SQL] Поддержка инструкции REPEAT
• [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable должно учитывать PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][SQL] Введение в TVF collations() и удаление SHOW COLLATIONS команды
• [SPARK-49261] [SC-176589][SQL] Не заменяйте литералы в агрегатных выражениях с групповыми выражениями
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace должен учитывать пользовательский каталог сеансов
• [SPARK-49594] [SC-176569][SS] Добавление проверки того, были ли добавлены или удалены столбцы для записи файла StateSchemaV3
• [SPARK-49578] [SC-176385][SQL] Удалите предложение конфигурации ANSI в CAST_INVALID_INPUT и CAST_OVERFLOW
• [SPARK-48882] [SC-174256][SS] Назначение имен связанным классам ошибок в режиме потоковой передачи
• [SPARK-49155] [SC-176506][SQL][SS] Используйте более подходящий тип параметра для создания GenericArrayData
• [SPARK-49519] [SC-176388][SQL] Параметры слияния таблицы и отношения при создании FileScanBuilder
• [SPARK-49591] [SC-176587][SQL] Добавление столбца логического типа в вариант чтения
• [SPARK-49596] [SC-176423][SQL] Повышение производительности FormatString
• [SPARK-49525] [SC-176044][SS][CONNECT] Дополнительное улучшение журнала для прослушивателя запросов на стороне сервера
• [SPARK-49583] [SC-176272][SQL] Определение под условий SECONDS_FRACTION ошибки для недопустимого шаблона дроби секунд
• [SPARK-49536] [SC-176242] Обработка ошибок при предварительной выборке записи источника данных потоковой передачи Python
• [SPARK-49443] [SC-176273][SQL][PYTHON] Реализация выражения to_variant_object и создание выражений schema_of_variant для объектов Variant
• [SPARK-49544] [SASP-3990][SC-176557][CONNECT] Замена грубой блокировки в SparkConnectExecutionManager на ConcurrentMap
• [SPARK-49548] [SASP-3990][SC-176556][CONNECT] Замена грубой блокировки в SparkConnectSessionManager на ConcurrentMap
• [SPARK-49551] [SC-176218][SS] Улучшение журнала RocksDB для воспроизведенияChangelog
• [SPARK-49595] [SC-176396][CONNECT][SQL] Исправление DataFrame.unpivot/melt в клиенте Spark Connect Scala
• [SPARK-49006] [SC-176162] Реализация очистки файлов OperatorStateMetadataV2 и StateSchemaV3
• [SPARK-49600] [SC-176426][PYTHON] Удаление Python 3.6 and olderлогики, связанной с этим, из try_simplify_traceback
• [SPARK-49303] [SC-176013][SS] Реализация TTL для ValueState в API преобразованияWithStateInPandas
• [SPARK-49191] [SC-176243][SS] Добавление поддержки чтения переменных состояния карты преобразованияWithState с помощью средства чтения источника данных состояния состояния
• [SPARK-49593] [SC-176371][SS] Исключение RocksDB вызывающей стороне в базе данных близко, если обнаружена ошибка
• [SPARK-49334] [SC-174803][SQL] str_to_map должен проверить, collation совпадают ли значения всех типов параметров.
• [SPARK-42204] [SC-176126][CORE] Добавление параметра отключения избыточного ведения журнала внутренних аккумуляторов TaskMetrics в журналах событий
• [SPARK-49575] [SC-176256][SS] Добавление ведения журнала для выпуска блокировки только в том случае, если полученнаяThreadInfo не имеет значения NULL
• [SPARK-49539] [SC-176250][SS] Обновление внутренних семейств col для запуска идентификатора другого
• [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning должен наследовать HashPartitioningLike
• [SPARK-49396] [SC-176030][SQL] Изменение проверки доступности null для выражения CaseWhen
• [SPARK-49476] [SC-175700][SQL] Исправление значения NULL функции Base64
• [SPARK-47262] [SC-174829][SQL] Назначение имен условиям ошибки для преобразования parquet
• [SPARK-47247] [SC-158349][SQL] Используйте меньший целевой размер при объединения секций с взрывающимися соединениями
• [SPARK-49501] [SC-176166][SQL] Исправление двойного экранирования расположения таблицы
• [SPARK-49083] [SC-173214][CONNECT] Разрешить from_xml и from_json работать с схемами JSON в собственном коде
• [SPARK-49043] [SC-174673][SQL] Исправлена интерпретированная группа codepath на карте с сортировкой строк
• [SPARK-48986] [SC-172265][CONNECT][SQL] Добавление промежуточного представления ColumnNode
• [SPARK-49326] [SC-176016][SS] Класс классify Error для ошибки пользовательской функции приемника Foreach
• [SPARK-48348] [SC-175950][SPARK-48376][SQL] Введение LEAVE и ITERATE инструкции
• [SPARK-49523] [SC-175949][CONNECT] Увеличьте максимальное время ожидания для подключения сервера для тестирования
• [SPARK-490000] [ПОВЕДЕНИЕ-105][ES-1194747][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates — DBR версии 16.x
• [SPARK-49311] [SC-175038][SQL] Сделать возможным приведение больших значений "интервала в секунду" к десятичному
• [SPARK-49200] [SC-173699][SQL] Исправление исключения, не относящихся к упорядочению кодовых типов null
• [SPARK-49467] [SC-176051][SS] Добавление поддержки средства чтения источников данных состояния и состояния списка
• [SPARK-47307] [SC-170891][SQL] Добавление конфигурации к необязательным строкам base64
• [SPARK-49391] [SC-176032][PS] Прямоугольник график выбирает вылитые по расстоянию от заборов
• [SPARK-49445] [SC-175845][пользовательский интерфейс] Поддержка подсказки в панели выполнения пользовательского интерфейса
• [SPARK-49451] [SC-175702] Разрешить повторяющиеся ключи в parse_json.
• [SPARK-49275] [SC-175701][SQL] Исправлено значение NULL типа возвращаемого типа выражения xpath
• [SPARK-49021] [SC-175578][SS] Добавлена поддержка чтения переменных состояния значения преобразованияWithState с помощью средства чтения источника данных состояния состояния
• [SPARK-49474] [ПОВЕДЕНИЕ-143][SC-169253][SC-175933][SS] Классify Error class for FlatMapGroupsWithState user function error
• [SPARK-49408] [SC-175932][SQL] Использование IndexedSeq в ProjectingInternalRow
• [SPARK-49509] [SC-175853][CORE] Используйте Platform.allocateDirectBuffer вместо ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][PS] Создание графика рамки правильно отрисовывает флиеры или выскользители
• [SPARK-49002] [SC-172846][SQL] Согласованная обработка недопустимых расположений в WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][CORE] Исправление NullPointerException из SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][PYTHON] Улучшение сообщения об ошибке типа возврата pandas udf
• [SPARK-48693] [SC-169492][SQL] Упрощение и объединение toString invoke и staticInvoke
• [SPARK-49441] [SC-175716][ML] StringIndexer сортировка массивов в исполнителях
• [SPARK-49347] [SC-175004][R] Нерекомендуемая sparkR
• [SPARK-49357] [SC-175227][CONNECT][PYTHON] Вертикально усечение глубоко вложенного сообщения protobuf
• [SPARK-41982] [SC-120604][SQL] Секции строки типа не должны рассматриваться как числовые типы
• [SPARK-48776] [SC-170452][ПОВЕДЕНИЕ-72] Исправление форматирования метки времени для json, xml и csv
• [SPARK-49223] [SC-174800][ML] Упрощение StringIndexer.countByValue со встроенными функциями
• [SPARK-49016] Возврат "[SC-174663][SQL] Восстановление поведения, которое требуется из необработанных CSV-файлов, запрещено, если только включить поврежденный столбец записи и назначить имя "_LEGACY_ERROR_TEMP_1285
• [SPARK-49041] [SC-172392][PYTHON][CONNECT] Возникает правильная ошибка при dropDuplicates указании ошибки subset
• [SPARK-49050] [SC-175235] Включение оператора deleteIfExists в TWS с помощью семейств виртуальных столбцов
• [SPARK-49216] [SC-173919][CORE]Исправление, чтобы не регистрировать контекст сообщения с явным образом LogEntry, созданным при отключении структурированного ведения журнала
• [SPARK-49252] [SC-175596][CORE] СозданиеTaskSetExcludeList и HeathTracker независимое
• [SPARK-49352] [SC-174971][SQL] Избегайте избыточного преобразования массива для идентичного выражения
• [SPARK-42307] [SC-173863][SQL] Назначение имени для _LEGACY_ERROR_TEMP_2232 ошибки
• [SPARK-49197] [SC-173732][CORE] Выходные данные Redact Spark Command в launcher модуле
• [SPARK-48913] [SC-173934][SQL] Реализация IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][PYTHON][SQL] Создание псевдонимов функций SQL для "zeroifnull" и nullifzero
• [SPARK-48344] [SQL] Выполнение скриптов SQL (включая Spark Connect)
• [SPARK-49402] [SC-175122][PYTHON] Исправлена интеграция Binder в документации PySpark
• [SPARK-49017] [SC-174664][SQL] Инструкция insert завершается ошибкой при использовании нескольких параметров
• [SPARK-49318] [SC-174733][SQL] Предоставьте ошибку с низким приоритетом в LCA до конца проверки, чтобы улучшить взаимодействие с ошибками
• [SPARK-49016] [SC-174663][SQL] Восстановление поведения, которое запросы из необработанных CSV-файлов запрещены, если включить только поврежденный столбец записи и назначить имя _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PYTHON] Исправление указания типа для accuracy и percentile_approxapprox_percentile
• [SPARK-49131] [SC-174666][SS] ПреобразованиеWithState должно правильно задавать неявные ключи группировки даже с отложенными итераторами
• [SPARK-49301] [SC-174795][SS] Данные со стрелками блока, передаваемые рабочей роли Python
• [SPARK-49039] [SC-174651][пользовательский интерфейс] Сброс флажка при загрузке метрик исполнителя на вкладке "Этапы"
• [SPARK-48428] [SC-169806][SQL]: исправление IllegalStateException в NestedColumnAliasing
• [SPARK-49353] [SC-174830][SQL] Обновление документов, связанных с UTF-32 кодировкой и декодированием
• [SPARK-48613] [SC-170966][SQL] SPJ: поддержка автоматического перетасовки на одну сторону + меньше ключей соединения, чем ключи секции
• [SPARK-47473] [SC-160450][ПОВЕДЕНИЕ-127][SQL] Исправлена проблема с правильностью преобразования меток времени postgres INFINITY
• [SPARK-49142] [SC-173658][CONNECT][PYTHON] Дальнейшие действия, чтобы вернуть proto к стоимости строковой производительности
• [SPARK-49300] [SC-175008][CORE] Исправлена утечка маркера делегирования Hadoop, если токенRenewalInterval не задан.
• [SPARK-49367] [SC-175012][PS] Параллелизация вычислений KDE для нескольких столбцов (серверная часть графики)
• [SPARK-49365] [SC-175011][PS] Упрощение агрегирования контейнера в гистограмме
• [SPARK-49372] [SC-175003][SS] Убедитесь, что для параметра latestSnapshot не задано значение none, чтобы избежать последующего использования
• [SPARK-49341] [SC-174785] Удалить connector/docker в пользу Apache Spark Operator
• [SPARK-49344] [SC-174894][PS] Поддержка json_normalize API Pandas в Spark
• [SPARK-49306] [SC-174794][SQL] Создание новых функций SQL "zeroifnull" и nullifzero
• [SPARK-48796] [SC-174668][SS] Загрузка идентификатора семейства столбцов из RocksDBCheckpointMetadata для VCF при перезапуске
• [SPARK-49342] [SC-174899][SQL] TO_AVRO Необязательный аргумент функции SQL "jsonFormatSchema"
• [SPARK-48628] [SC-174695][CORE] Добавление метрик памяти кучи с пиком нагрузки на кучу
• [SPARK-47407] [SC-159379][ПОВЕДЕНИЕ-126][SQL] Поддержка сопоставления java.sql.Types.NULL с NullType
• [SPARK-48628] [SC-173407][CORE] Добавление метрик памяти кучи с пиком нагрузки на кучу
• [SPARK-49166] [SC-173987][SQL] Поддержка OFFSET в коррелированных вложенных запросах
• [SPARK-49269] [SC-174676][SQL] Оперативная оценка списка VALUES() в AstBuilder
• [SPARK-49281] [SC-174782][SQL] Optimze parquet binary getBytes с getBytesUnsafe, чтобы избежать затрат на копирование
• [SPARK-49113] [SC-174734] Не утверждать о ошибках перевода — безмолвно проглотить исключение
• [SPARK-49098] [SC-173253][SQL] Добавление параметров записи для INSERT
• [SPARK-48638] [SC-174694][СЛЕДУЙТЕ][CONNECT] Исправление документации по ExecutionInfo
• [SPARK-49250] [ES-1222826][SQL] Улучшение сообщения об ошибке для вложенных неразрешенныхWindowExpression в CheckAnalysis
• [SPARK-48755] [SC-174258][SS][PYTHON] преобразованиеWithState pyspark базовой реализации и поддержки ValueState
• [SPARK-48966] [SC-174329][SQL] Улучшение сообщения об ошибке с недопустимой неразрешенной ссылкой на столбец в вызове UDTF
• [SPARK-46590] [SC-154115][SQL] Исправление сбоя объединения с непредвиденной секцией
• [SPARK-49235] [SC-174159][SQL] Правило Refactor ResolveInlineTables, поэтому оно не проходит по всему дереву
• [SPARK-49060] [SC-173107][CONNECT] Очистка правил Mima для проверок двоичной совместимости SQL-Connect
• [SPARK-48762] [SC-172525][SQL] Введение API ClusterBy DataFrameWriter для Python
• [SPARK-49207] [SC-173852][SQL] Исправлено сопоставление вариантов "один ко многим" в SplitPart и StringSplitSQL
• [SPARK-49204] [SC-173850][SQL] Исправлена обработка суррогатных пар в StringInstr и StringLocate
• [SPARK-36680] [SC-170640][SQL] Поддерживает динамические параметры таблицы для Spark SQL
• [SPARK-49204] [SC-173849][SQL] Исправлена обработка суррогатной пары в SubstringIndex
• [SPARK-49204] [SC-173848][SQL] Исправлена обработка суррогатной пары в StringTrim
• [SPARK-48967] [SC-173993]Исправление теста SparkConfigOwnershipSuite для OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][SQL] Исправление обработки суррогатной пары в StringReplace
• [SPARK-48967] [SC-173993][SQL][16.x] Улучшение производительности и сокращение использования памятиINSERT INTO ... VALUES" Утверждения
• [SPARK-49099] Вернуться "[SC-173229][SQL] CatalogManager.setCurrent...
• [SPARK-48347] [SC-173812][SQL] Поддержка инструкции WHILE
• [SPARK-49128] [SC-173344][CORE] Поддержка пользовательского заголовка пользовательского интерфейса сервера журнала
• [SPARK-49146] [SC-173825][SS] Перемещение ошибок утверждения, связанных с отсутствием водяного знака в запросах потоковой передачи в режиме добавления в платформу ошибок
• [SPARK-45787] [SC-172197][SQL] Поддержка Catalog.listColumns для столбцов кластеризации
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace должен учитывать пользовательский каталог сеансов
• [SPARK-49138] [SC-173483][SQL] Исправление CollationTypeCasts нескольких выражений
• [SPARK-49163] [SC-173666][SQL] Попытка создать таблицу на основе неработающих данных секционирования parquet должна возвращать ошибку пользователя
• [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] График повторного выполнения hist с помощью Spark SQL
• [SPARK-49188] [SC-173682][SQL] Внутренняя ошибка в concat_ws вызывается в массиве массивов строк
• [SPARK-49137] [SC-173677][SQL] Если логическое условие в недопустимом if statement состоянии, следует вызвать исключение.
• [SPARK-49193] [SC-173672][SQL] Повышение производительности RowSetUtils.toColumnBasedSet
• [SPARK-49078] [SC-173078][SQL] Поддержка отображения синтаксиса столбцов в таблице версии 2
• [SPARK-49141] [SC-173388][SQL] Пометить вариант как несовместимый тип данных hive
• [SPARK-49059] [Вишня-Выбор][15.x][SC-172528][CONNECT] Перемещение SessionHolder.forTesting(...) в тестовый пакет
• [SPARK-49111] [SC-173661][SQL] Перемещение с помощьюProjectAndFilter к объекту-компаньону DataSourceV2Strategy
• [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] График повторного выполнения kde с помощью Spark SQL
• [SPARK-49178] [SC-173673][SQL] Оптимизация производительности для соответствия производительности Row#getSeq при использовании Spark 3.5 с Scala 2.12
• [SPARK-49093] [SC-172958][SQL] GROUP BY с MapType, вложенным внутри сложного типа
• [SPARK-49142] [SC-173469][CONNECT][PYTHON] Более низкий уровень журнала клиента Spark Connect для отладки
• [SPARK-48761] [SC-172048][SQL] Знакомство с API DataFrameWriter clusterBy для Scala
• [SPARK-48346] [SC-173083][SQL] Поддержка инструкций IF ELSE в скриптах SQL
• [SPARK-48338] [SC-173112][SQL] Улучшение исключений, создаваемых из средства синтаксического анализа или интерпретатора
• [SPARK-48658] [SC-169474][SQL] Ошибки кодирования и декодирования функций, а не mojibake для неуправляемых символов
• [SPARK-49071] [SC-172954][SQL] Удаление признака ArraySortLike
• [SPARK-49107] Вернуть значение "Revert"[SC-173103][SQL] ROUTINE_ALREADY_EXISTS поддерживает RoutineType""
• [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState перезаписывается неправильно, чтобы создать недопустимый план запроса
• [SPARK-49114] [SC-173217] Не удается загрузить ошибки хранилища состояний в подклассах
• [SPARK-49107] Возврат "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS поддерживает RoutineType"
• [SPARK-49048] [SC-173223][SS] Добавление поддержки чтения соответствующих метаданных оператора при заданном идентификаторе пакета
• [SPARK-49094] [SC-173049][SQL] Исправление ignoreCorruptFiles, не функционирующий для hive orc impl с помощью mergeSchema off
• [SPARK-49108] [SC-173102][ПРИМЕР] Пример добавления submit_pi.sh REST API
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS поддерживает RoutineType
• [SPARK-48997] [SC-172484][SS] Реализация отдельных выгрузок для сбоев потоков пула потоков обслуживания
• [SPARK-49063] [SC-173094][SQL] Исправление между скалярнымиSubqueries
• [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Добавление поддержки типов интервалов в спецификации variant
• [SPARK-49074] [ПОВЕДЕНИЕ-110][SC-172815][SQL] Исправление варианта с помощью df.cache()
• [SPARK-49003] [SC-172613][SQL] Исправлена хэширование хэширования пути, интерпретированного кода для параметров сортировки
• [SPARK-48740] [SC-172430][SQL] Перехват ошибки спецификации окна на ранней стадии
• [SPARK-48999] [SC-172245][SS] Деление PythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Реализация проверки для оператора TransformWithStateExec с помощью OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][PYTHON][ML] Создание вспомогательных функций сохранения и загрузки модели принимает сеанс Spark
• [SPARK-49032] [Backport][15.x][SS] Добавление пути схемы в запись таблицы метаданных, проверка ожидаемой версии и добавление связанного теста метаданных оператора для формата метаданных оператора версии 2
• [SPARK-49034] [SC-172306][CORE] Поддержка замены на стороне sparkProperties сервера в REST API отправки
• [SPARK-48931] [SC-171895][SS] Сокращение затрат на обслуживание хранилища состояний для api списка облачных магазинов
• [SPARK-48849] [SC-172068][SS]Создание operatorStateMetadataV2 для оператора TransformWithStateExec
• [SPARK-49013] [SC-172322] Изменение ключа в параметрах сортировки Map и Array типов в scala
• [SPARK-48414] [SC-171884][PYTHON] Исправление критического изменения в python fromJson
• [SPARK-48910] [SC-171001][SQL] Использование HashSet/HashMap для предотвращения линейного поиска в PreprocessTableCreation
• [SPARK-49007] [SC-172204][CORE] Улучшение MasterPage поддержки пользовательского заголовка
• [SPARK-49009] [SC-172263][SQL][PYTHON] Создание API-интерфейсов столбцов и функций принимает перечисления
• [SPARK-49033] [SC-172303][CORE] Поддержка замены на стороне environmentVariables сервера в REST API отправки
• [SPARK-48363] [SC-166470][SQL] Очистка некоторых избыточных кодов в from_xml
• [SPARK-46743] [SC-170867][SQL][ПОВЕДЕНИЕ-84] Число ошибок после свертывания ScalarSubqery, если он имеет пустое отношение
• [SPARK-49040] [SC-172351][SQL] Исправление документа sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Мета алгоритмы сохранения и загрузки модели с помощью SparkSession
• [SPARK-48959] [SC-171708][SQL] NoSuchNamespaceException Расширение NoSuchDatabaseException для восстановления обработки исключений
• [SPARK-48996] [SC-172130][SQL][PYTHON] Разрешить голые литералы для и илистолбца
• [SPARK-48990] [SC-171936] Дальнейшие действия для #101759 — исправление теста
• [SPARK-48338] [SC-171912][SQL] Проверка объявлений переменных
• [SPARK-48990] [SC-171936][SQL] Ключевые слова синтаксиса унифицированных переменных, связанных с SQL
• [SPARK-489888] [SC-171915][ML] Создание DefaultParamsReader/Writer метаданных дескриптора с помощью сеанса Spark
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Используйте SparkSession.implicits вместо SQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] Исправление CatalogV2Util.applyClusterByChanges
• [SPARK-48928] [SC-171956] Предупреждение журнала для вызова .unpersist() в локальных удаленных удаленных рабочих столах
• [SPARK-48760] [SC-170139][SQL] Введение ALTER TABLE ... CLUSTER BY синтаксис SQL для изменения кластерных столбцов
• [SPARK-48844] Возврат "[SC-170669][SQL] USE INVALID_EMPTY_LOCATION вместо UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, когда путь пуст".
• [SPARK-48833] [SC-171914][SQL][VARIANT] Вариант поддержки в InMemoryTableScan
• [SPARK-48975] [SC-171894][PROTOBUF] Удаление ненужных определений ScalaReflectionLock из protobuf
• [SPARK-48970] [SC-171800][PYTHON][ML] Избегайте использования SparkSession.getActiveSession в средстве чтения и записи машинного обучения Spark
• [SPARK-48844] [SC-170669][SQL] ИСПОЛЬЗОВАНИЕ INVALID_EMPTY_LOCATION вместо UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, если путь пуст
• [SPARK-48714] [SC-170136] Исправление сбоя тестов df.mergeInto в PySpark и UC
• [SPARK-48957] [SC-171797][SS] Возвращает класс ошибок с подклассами в хранилище состояний для поставщика hdfs и rocksdb
• [SPARK-48891] [Backport][15x][SC-171677][SS] Рефакторинг StateSchemaCompatibilityChecker для объединения всех форматов схемы состояния
• [SPARK-48972] [SC-171795][PYTHON] Объединение обработки строк литерала в функциях
• [SPARK-48388] [SC-1713337][SQL] Исправление поведения инструкций SET для скриптов SQL
• [SPARK-48743] [SC-170552][SQL][SS] ОбъединениеSessionIterator должно лучше обрабатывать, когда getStruct возвращает значение NULL
• [SPARK-48623] [15.x][SC-171322][CORE] Перенос журналов FileAppender в структурированное ведение журнала
• [SPARK-36680] [DBRRM-1123] Возврат "[SC-170640][SQL] поддерживает динамические параметры таблицы для Spark SQL"
• [SPARK-48841] [SC-170868][ПОВЕДЕНИЕ-83][SQL] collationName Включение sql()Collate
• [SPARK-48941] [SC-171703][PYTHON][ML] Замените вызов API чтения и записи RDD с помощью API чтения и записи данных
• [SPARK-48938] [SC-171577][PYTHON] Улучшение сообщений об ошибках при регистрации определяемых пользователем файлов Python
• [SPARK-48350] [SC-171040][SQL] Общие сведения о пользовательских исключениях для сценариев SQL
• [SPARK-48907] [SC-171158][SQL] Исправление значения explicitTypes в COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][PYTHON] Упрощение регулярных функций с помощью lit
• [SPARK-48944] [SC-171576][CONNECT] Объединение обработки схемы формата JSON в Connect Server
• [SPARK-48836] [SC-171569] Интеграция схемы SQL с схемой состояния и метаданными
• [SPARK-48946] [SC-171504][SQL] NPE в методе redact, если сеанс имеет значение NULL
• [SPARK-48921] [SC-171412][SQL] Кодировщики ScalaUDF в вложенных запросах должны быть разрешены для MergeInto
• [SPARK-45155] [SC-171048][CONNECT] Добавление документов API для клиента Spark Connect JVM/Scala
• [SPARK-48900] [SC-171319] Добавление reason поля для cancelJobGroup и cancelJobsWithTag
• [SPARK-48865] [SC-171154][SQL] Добавление функции try_url_decode
• [SPARK-48851] [SC-170767][SQL] Изменение значения SCHEMA_NOT_FOUND от namespacecatalog.namespace
• [SPARK-48510] [SC-170893][2/2] Поддержка API UDAF toColumn в Spark Connect
• [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Создание from_xml схемы StructType поддержки
• [SPARK-48930] [SC-171304][CORE] Redact awsAccessKeyId путем включения accesskey шаблона
• [SPARK-48909] [SC-171080][ML][MLLIB] Использование SparkSession по SparkContext при написании метаданных
• [SPARK-48883] [SC-171133][ML][R] Замените вызов API чтения и записи RDD с помощью API чтения и записи данных
• [SPARK-48924] [SC-171313][PS] Добавление вспомогательной функции pandas, например make_interval вспомогательной функции
• [SPARK-48884] [SC-171051][PYTHON] Удаление неиспользуемой вспомогательной функции PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Охотно выполняйте несколько команд объединения вместе
• [SPARK-48896] [SC-171079][ML][MLLIB] Избегайте повторения при написании метаданных
• [SPARK-48892] [SC-171127][ML] Избегайте чтения парам строк в Tokenizer
• [SPARK-48927] [SC-171227][CORE] Отображение количества кэшированных RDD в StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][SS] Добавление сведений о версии версии 2 для упрощения эволюции
• [SPARK-48903] [SC-171136][SS] Правильно задать последнюю версию моментального снимка RocksDB при удаленной загрузке
• [SPARK-48742] [SC-170538][SS] Семейство виртуальных столбцов для RocksDB
• [SPARK-48726] [15.x][SC-170753][SS] Создайте формат файла StateSchemaV3 и запишите его для оператора TransformWithStateExec
• [SPARK-48794] [SC-170882][CONNECT][15.x] поддержка df.mergeInto для Spark Connect (Scala и Python)
• [SPARK-48714] [SC-170136][PYTHON] Реализация DataFrame.mergeInto в PySpark
• [SPARK-48772] [SC-170642][SS][SQL] Режим чтения канала изменений источника данных состояния
• [SPARK-48666] [SC-170887][SQL] Не нажимайте фильтр, если он содержит PythonUDFs
• [SPARK-48845] [SC-170889][SQL] Исключения genericUDF catch от дочерних элементов
• [SPARK-48880] [SC-170974][CORE] Избегайте создания nullPointerException, если подключаемый модуль драйвера не может инициализировать
• [SPARK-488888] [Backport][15x][SC-170973][SS] Удаление создания моментального снимка на основе размера ops журнала изменений
• [SPARK-48871] [SC-170876] Исправление INVALID_NON_DETERMINISTIC_EXPRESSIONS проверки в...
• [SPARK-48883] [SC-170894][ML][R] Замените вызов API чтения и записи RDD с помощью API чтения и записи данных
• [SPARK-36680] [SC-170640][SQL] Поддерживает динамические параметры таблицы для Spark SQL
• [SPARK-48804] [SC-170558][SQL] Добавление classIsLoadable и OutputCommitter.isAssignableFrom check for outputcommer class configrations
• [SPARK-46738] [SC-170791][PYTHON] Повторное создание группы документов
• [SPARK-48858] [SC-170756][PYTHON] Удаление нерекомендуемого setDaemonThread вызова метода in log_communication.py
• [SPARK-48639] [SC-169801][CONNECT][PYTHON] Добавление источника в RelationCommon
• [SPARK-48863] [SC-170770][ES-1133940][SQL] Исправление ClassCastException при анализе JSON с включенным параметром "spark.sql.json.enablePartialResults"
• [SPARK-48343] [SC-170450][SQL] Введение интерпретатора скриптов SQL
• [SPARK-48529] [SC-170755][SQL] Введение меток в скрипты SQL
• [SPARK-45292] Возврат "[SC-151609][SQL][HIVE] Удалить Guava из общих классов из IsolatedClientLoader"
• [SPARK-48037] [SC-165330][CORE][3.5] Исправление SortShuffleWriter не содержит метрики, связанные с перетасовкой записи, что приводит к потенциально неточным данным
• [SPARK-48720] [SC-170551][SQL] Выравнивание команды ALTER TABLE ... UNSET TBLPROPERTIES ... в версии 1 и версии 2
• [SPARK-48485] [SC-167825][CONNECT][SS] Поддержка прерываний и прерыванийAll в потоковых запросах
• [SPARK-45292] [SC-151609][SQL][HIVE] Удаление Guava из общих классов из IsolatedClientLoader
• [SPARK-48668] [SC-169815][SQL] Поддержка ALTER NAMESPACE ... UNSET PROPERTIES в версии 2
• [SPARK-47914] [SC-165313][SQL] Не отображайте параметр разбиения в диапазоне
• [SPARK-48807] [SC-170643][SQL] Двоичная поддержка источника данных CSV
• [SPARK-48220] [SC-167592][PYTHON][15.X] Разрешить передачу таблицы PyArrow для создания ДанныхFrame()
• [SPARK-48545] [SC-169543][SQL] Создание to_avro и from_avro функций SQL для сопоставления эквивалентов dataFrame
• [SPARK-47577] [SC-168875][SPARK-47579] Правильное использование ключа журнала TASK_ID

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

• Операционная система: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
аннотированные типы	0.7.0	asttokens	2.0.5	astunparse	1.6.3
autocommand	2.2.2	azure-core	1.31.0	azure-storage-blob	12.23.0
azure-storage-file-datalake	12.17.0	backports.tarfile	1.2.0	black	24.4.2
blinker	1.7.0	boto3	1.34.69	botocore	1.34.69
cachetools	5.3.3	certifi	2024.6.2	cffi	1.16.0
chardet	4.0.0	charset-normalizer	2.0.4	щелчок	8.1.7
cloudpickle	2.2.1	comm	0.2.1	контурная диаграмма	1.2.0
криптография	42.0.5	cycler	0.11.0	Cython	3.0.11
databricks-sdk	0.30.0	dbus-python	1.3.2	debugpy	1.6.7
decorator	5.1.1	Устарело	1.2.14	distlib	0.3.8
docstring-to-markdown	0,11	entrypoints	0,4	executing	0.8.3
facets-overview	1.1.1	filelock	3.15.4	шрифтовые инструменты	4.51.0
gitdb	4.0.11	GitPython	3.1.37	google-api-core	2.20.0
google-auth	2.35.0	google-cloud-core	2.4.1	google-cloud-storage	2.18.2
google-crc32c	1.6.0	google-resumable-media	2.7.2	googleapis-common-protos	1.65.0
grpcio	1.60.0	grpcio-status	1.60.0	httplib2	0.20.4
idna	3,7	importlib-metadata	6.0.0	importlib_resources	6.4.0
гнуть	7.3.1	ipyflow-core	0.0.198	ipykernel	6.28.0
ipython	8.25.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
isodate	0.6.1	jaraco.context	5.3.0	jaraco.functools	4.0.1
jaraco.text	3.12.1	jedi	0.19.1	jmespath	1.0.1
joblib	1.4.2	jupyter_client	8.6.0	jupyter_core	5.7.2
kiwisolver	1.4.4	launchpadlib	1.11.0	lazr.restfulclient	0.14.6
lazr.uri	1.0.6	matplotlib	3.8.4	matplotlib-inline	0.1.6
Маккейб	0.7.0	mlflow-skinny	2.15.1	more-itertools	10.3.0
mypy	1.10.0	mypy-extensions	1.0.0	nest-asyncio	1.6.0
nodeenv	1.9.1	numpy	1.26.4	oauthlib	3.2.2
opentelemetry-api	1.27.0	opentelemetry-sdk	1.27.0	соглашения opentelemetry-semantic-conventions	0.48b0
во внешнем виде	24,1	pandas	1.5.3	parso	0.8.3
pathspec	0.10.3	patsy	0.5.6	pexpect	4.8.0
pillow	10.3.0	pip	24,2	platformdirs	3.10.0
график	5.22.0	pluggy	1.0.0	prompt-toolkit	3.0.43
proto-plus	1.24.0	protobuf	4.24.1	psutil	5.9.0
psycopg2	2.9.3	ptyprocess	0.7.0	pure-eval	0.2.2
pyarrow	15.0.2	pyasn1	0.4.8	pyasn1-modules	0.2.8
pyccolo	0.0.52	pycparser	2.21	pydantic	2.8.2
pydantic_core	2.20.1	pyflakes	3.2.0	Pygments	2.15.1
PyGObject	3.48.2	PyJWT	2.7.0	pyodbc	5.0.1
pyparsing	3.0.9	pyright	1.1.294	python-dateutil	2.9.0.post0
python-lsp-jsonrpc	1.1.2	python-lsp-server	1.10.0	pytoolconfig	1.2.6
pytz	2024.1	PyYAML	6.0.1	pyzmq	25.1.2
requests	2.32.2	верёвка	1.12.0	rsa	4,9
s3transfer	0.10.2	scikit-learn	1.4.2	scipy	1.13.1
мореборн	0.13.2	setuptools	74.0.0	six	1.16.0
smmap	5.0.0	sqlparse	0.5.1	ssh-import-id	5,11
stack-data	0.2.0	statsmodels	0.14.2	tenacity	8.2.2
threadpoolctl	2.2.0	tokenize-rt	4.2.1	tomli	2.0.1
tornado	6.4.1	traitlets	5.14.3	typeguard	4.3.0
types-protobuf	3.20.3	types-psutil	5.9.0	types-pytz	2023.3.1.1
types-PyYAML	6.0.0	типы-запросы	2.31.0.0	типы-setuptools	68.0.0.0
типы-шесть	1.16.0	types-urllib3	1.26.25.14	typing_extensions	4.11.0
ujson	5.10.0	unattended-upgrades	0,1	urllib3	1.26.16
virtualenv	20.26.2	wadllib	1.3.6	wcwidth	0.2.5
whatthepatch	1.0.2	wheel	0.43.0	wrapt	1.14.1
yapf	0.33.0	zipp	3.17.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
Стрелка	16.1.0	askpass	1.2.0	assertthat	0.2.1
внутренние порты	1.5.0	base	4.4.0	base64enc	0.1-3
bigD	0.2.0	bit	4.0.5	bit64	4.0.5
bitops	1,0–8	большой двоичный объект	1.2.4	загрузка	1.3-30
заваривать	1.0-10	brio	1.1.5	метла	1.0.6
bslib	0.8.0	cachem	1.1.0	вызывающий объект	3.7.6
крышка	6.0-94	cellranger	1.1.0	chron	2.3-61
class	7.3-22	cli	3.6.3	clipr	0.8.0
clock	0.7.1	cluster	2.1.6	codetools	0.2-20
colorspace	2.1-1	commonmark	1.9.1	компилятор	4.4.0
config	0.3.2	Противоречие	1.2.0	cpp11	0.4.7
карандаш	1.5.3	учетные данные	2.0.1	curl	5.2.1
data.table	1.15.4	наборы данных	4.4.0	DBI	1.2.3
dbplyr	2.5.0	desc	1.4.3	средства разработки	2.4.5
Схема	1.6.5	diffobj	0.3.5	digest	0.6.36
downlit	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-14	многоточие	0.3.2	evaluate	0.24.0
вентиляторы	1.0.6	Farver	2.1.2	fastmap	1.2.0
fontawesome	0.5.2	forcats	1.0.0	foreach	1.5.2
иностранный	0.8-86	forge	0.2.0	fs	1.6.4
будущее	1.34.0	future.apply	1.11.2	gargle	1.5.2
Универсальные шаблоны	0.1.3	gert	2.1.0	ggplot2	3.5.1
gh	1.4.1	git2r	0.33.0	gitcreds	0.1.2
glmnet	4.1-8	globals	0.16.3	клей	1.7.0
googledrive	2.1.1	googlesheets4	1.1.1	Говер	1.0.1
графика	4.4.0	grDevices	4.4.0	grid	4.4.0
gridExtra	2.3	gsubfn	0,7	gt	0.11.0
gtable	0.3.5	hardhat	1.4.0	haven	2.5.4
высокий	0,11	hms	1.1.3	htmltools	0.5.8.1
htmlwidgets	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.0.2	ids	1.0.1	ini	0.3.1
ipred	0.9-15	isoband	0.2.7	Итераторы	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	juicyjuice	0.1.0
KernSmooth	2.23-22	трикотажный	1,48	маркирование	0.4.3
later	1.3.2	решётка	0.22-5	Lava	1.8.0
жизненный цикл	1.0.4	listenv	0.9.1	lubridate	1.9.3
magrittr	2.0.3	Markdown	1,13	МАССАЧУСЕТС	7.3-60.0.1
«Матрица»	1.6-5	memoise	2.0.1	оплаты	4.4.0
mgcv	1.9-1	мим	0,12	miniUI	0.1.1.1
mlflow	2.14.1	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.1	nlme	3.1-165	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.2.0	parallel	4.4.0
parallelly	1.38.0	столб	1.9.0	pkgbuild	1.4.4
pkgconfig	2.0.3	pkgdown	2.1.0	pkgload	1.4.0
plogr	0.2.0	plyr	1.8.9	хвалить	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.4
prodlim	2024.06.25	profvis	0.3.8	Ход выполнения	1.2.3
progressr	0.14.0	promises	1.3.0	proto	1.0.0
proxy	0.4-27	ps	1.7.7	purrr	1.0.2
R6	2.5.1	ragg	1.3.2	randomForest	4.7-1.1
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.13	RcppEigen	0.3.4.0.0	reactable	0.4.4
ReactR	0.6.0	readr	2.1.5	readxl	1.4.3
Рецепты	1.1.0	реванш	2.0.0	rematch2	2.1.2
remotes	2.5.0	reprex	2.1.1	reshape2	1.4.4
rlang	1.1.4	rmarkdown	2.27	RODBC	1.3-23
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-13	RSQLite	2.3.7	rstudioapi	0.16.0
rversions	2.1.2	rvest	1.0.4	sass	0.4.9
весы	1.3.0	селектор	0.4-2	sessioninfo	1.2.2
форма	1.4.6.1	блестящий	1.9.1	sourcetools	0.1.7-1
sparklyr	1.8.6	пространственный	7.3-17	Сплайны	4.4.0
sqldf	0.4-11	SQUAREM	2021.1	stats	4.4.0
статистика4	4.4.0	stringi	1.8.4	stringr	1.5.1
выживание	3.6-4	swagger	5.17.14.1	sys	3.4.2
systemfonts	1.1.0	tcltk	4.4.0	testthat	3.2.1.1
textshaping	0.4.0	tibble	3.2.1	tidyr	1.3.1
tidyselect	1.2.1	tidyverse	2.0.0	timechange	0.3.0
TimeDate	4032.109	tinytex	0,52	средства	4.4.0
tzdb	0.4.0	urlchecker	1.0.1	usethis	3.0.0
utf8	1.2.4	служебные программы	4.4.0	uuid	1.2-1
V8	4.4.2	vctrs	0.6.5	viridisLite	0.4.2
vroom	1.6.5	waldo	0.5.2	усы	0.4.1
withr	3.0.1	xfun	0,46	xml2	1.3.6
xopen	1.0.1	xtable	1.8-4	yaml	2.3.10
zeallot	0.1.0	zip	2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы	Идентификатор артефакта	Версия
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	aws-java-sdk-cloudsearch	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importexport	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	aws-java-sdk-machinelearning	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	aws-java-sdk-support	1.12.638
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	потоковая передача	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.27.0
com.databricks	jets3t	0.7.1–0
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.dataformat	джексон-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.16.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	tink	1.9.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	23.5.26
com.google.guava	guava	15,0
com.google.protobuf	protobuf-java	3.25.1
com.helger	профилировщик	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0,27
io.delta	delta-sharing-client_2.12	1.2.0
io.dropwizard.metrics	метрики-заметки	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metrics-healthchecks	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metrics-servlets	4.2.19
io.netty	netty-all	4.1.108.Final
io.netty	netty-buffer	4.1.108.Final
io.netty	netty-codec	4.1.108.Final
io.netty	netty-codec-http	4.1.108.Final
io.netty	netty-codec-http2	4.1.108.Final
io.netty	netty-codec-socks	4.1.108.Final
io.netty	netty-common	4.1.108.Final
io.netty	netty-handler	4.1.108.Final
io.netty	netty-handler-proxy	4.1.108.Final
io.netty	netty-resolver	4.1.108.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty-transport	4.1.108.Final
io.netty	netty-transport-classes-epoll	4.1.108.Final
io.netty	netty-transport-classes-kqueue	4.1.108.Final
io.netty	netty-transport-native-epoll	4.1.108.Final
io.netty	netty-transport-native-epoll	4.1.108.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.108.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.108.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.108.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.108.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.108.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	коллектор	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1,3
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	arrow-format	15.0.0
org.apache.arrow	arrow-memory-core	15.0.0
org.apache.arrow	arrow-memory-netty	15.0.0
org.apache.arrow	arrow-vector	15.0.0
org.apache.avro	avro	1.11.3
org.apache.avro	avro-ipc	1.11.3
org.apache.avro	avro-mapred	1.11.3
org.apache.commons	commons-collections4	4.4.
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.2
org.apache.logging.log4j	log4j-1.2-api	2.22.1
org.apache.logging.log4j	log4j-api	2.22.1
org.apache.logging.log4j	log4j-core	2.22.1
org.apache.logging.log4j	log4j-layout-template-json	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	orc-core	1.9.2-шейд-protobuf
org.apache.orc	orc-mapreduce	1.9.2-шейд-protobuf
org.apache.orc	orc-shims	1.9.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4,23
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.9.2
org.apache.zookeeper	zookeeper-jute	3.9.2
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.collections	eclipse-collections	11.1.0
org.eclipse.collections	Eclipse-collections-api	11.1.0
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	jetty-continuation	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	jersey-container-servlet-core	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	jersey-common	2.40
org.glassfish.jersey.core	jersey-server	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mlflow	mlflow-spark_2.12	2.9.1
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	0.9.45-databricks
org.roaringbitmap	shims	0.9.45-databricks
org.rocksdb	rocksdbjni	9.2.1
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.11.0
org.scala-lang.modules	scala-java8-compat_2.12	0.9.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.16
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	Scalatest-compatible	3.2.16
org.scalatest	scalatest-core_2.12	3.2.16
org.scalatest	scalatest-diagrams_2.12	3.2.16
org.scalatest	scalatest-featurespec_2.12	3.2.16
org.scalatest	scalatest-flatspec_2.12	3.2.16
org.scalatest	scalatest-freespec_2.12	3.2.16
org.scalatest	scalatest-funspec_2.12	3.2.16
org.scalatest	scalatest-funsuite_2.12	3.2.16
org.scalatest	scalatest-matchers-core_2.12	3.2.16
org.scalatest	scalatest-mustmatchers_2.12	3.2.16
org.scalatest	scalatest-propspec_2.12	3.2.16
org.scalatest	scalatest-refspec_2.12	3.2.16
org.scalatest	scalatest-shouldmatchers_2.12	3.2.16
org.scalatest	scalatest-wordspec_2.12	3.2.16
org.scalatest	scalatest_2.12	3.2.16
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1,9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.2-linux-x86_64
stax	stax-api	1.0.1