Databricks Runtime 15.3 (EoS)

Заметка

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в версиях заметок о выпуске Databricks Runtime исовместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.3, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в июне 2024 года.

Совет

Чтобы просмотреть заметки о выпуске для версий среды выполнения Databricks, которые достигли окончания поддержки (EoS), см. заметки о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Новые функции и улучшения

PySpark DataSources теперь поддерживает потоковую чтение и запись

PySpark DataSources, который позволяет читать из пользовательских источников данных и записывать их в пользовательские приемники данных, теперь поддерживает потоковую чтение и запись. См. пользовательские источники данных PySpark.

Отключение сопоставления столбцов с функцией удаления

Теперь можно использовать DROP FEATURE для отключения сопоставления столбцов в таблицах Delta и понижения уровня протокола таблицы. См. Отключите сопоставление столбцов.

Синтаксис типа variant и функции в общедоступной предварительной версии

Встроенная поддержка Apache Spark для работы с полуструктурированными данными как с типом VARIANT теперь доступна в Spark DataFrames и SQL. См.вариантных данных запроса .

Поддержка типа variant для Delta Lake в общедоступной предварительной версии

Теперь можно использовать VARIANT для хранения полуструктурированных данных в таблицах, поддерживаемых Delta Lake. См. сведения о поддержке вариантов в Delta Lake.

Поддержка различных режимов эволюции схемы в представлениях

CREATE VIEW и ALTER VIEW теперь позволяют задать режим привязки схемы, улучшая обработку изменений схемы в базовых объектах. Эта функция позволяет представлениям терпеть или адаптироваться к изменениям схемы в базовых объектах. Он устраняет изменения в схеме запроса, вызванные изменениями определений объектов.

Поддержка методов observe(), добавленных в клиент Spark Connect Scala

Клиент Spark Connect Scala теперь поддерживает методы Dataset.observe(). Поддержка этих методов позволяет определять метрики для наблюдения за объектом Dataset с помощью методов ds.observe("name", metrics...) или ds.observe(observationObject, metrics...).

Улучшена задержка перезапуска потока для автозагрузчика

Этот выпуск включает изменение, которое улучшает задержку перезапуска потока для автозагрузчика. Улучшение реализовано путем асинхронной загрузки состояния в хранилище состояний RocksDB. Благодаря этому изменению, вы должны заметить улучшение времени запуска потоков с объемными состояниями, например, потоков с большим количеством уже загруженных файлов.

Вернуть DataFrame в виде pyarrow.Table

Для поддержки записи DataFrame непосредственно в объект Apache Arrow pyarrow.Table, эта версия включает функцию DataFrame.toArrow(). Дополнительные сведения об использовании Apache Arrow в PySpark см. в Apache Arrow в PySpark.

Улучшение производительности некоторых функций окна

Этот выпуск включает изменение, которое повышает производительность некоторых функций окна Spark, в частности функции, которые не включают предложение ORDER BY или параметр window_frame. В таких случаях система может перезаписать запрос, чтобы запустить его с помощью агрегатной функции. Это изменение позволяет запросу выполняться быстрее с помощью частичной агрегирования и предотвращения затрат на выполнение функций окна. Параметр конфигурации Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled управляет этой оптимизацией и по умолчанию имеет значение true. Чтобы отключить эту оптимизацию, задайте для spark.databricks.optimizer.replaceWindowsWithAggregates.enabled значение false.

Добавлена поддержка функции try_mod

Этот выпуск добавляет поддержку функции PySpark try_mod(). Эта функция обеспечивает вычисление целочисленного остатка, совместимого с ANSI SQL, от деления двух числовых значений. Если аргумент делителя равен 0, функция try_mod() возвращает значение NULL вместо того, чтобы вызвать исключение. Вы можете использовать функцию try_mod() вместо mod или %, что создает исключение, если аргумент делителя равен 0, а sql ANSI включен.

Поддержка необязательного параметра области в list_secrets()

Этот выпуск позволяет ограничить результаты функции таблицы list_secrets() до конкретной области.

Исправления ошибок

WriteIntoDeltaCommand метрики в интерфейсе Spark теперь отображаются корректно.

Этот выпуск включает исправление метрик, отображаемых на вкладке SQL пользовательского интерфейса Spark для узла Execute WriteIntoDeltaCommand. Ранее метрики, отображаемые для этого узла, были нулевыми.

Функция groupby() в API Pandas игнорирует аргумент as_index=False

Этот выпуск включает исправление проблемы с функцией groupby() в API Pandas в Spark. Перед этим исправлением groupby() с переименованием агрегатных столбцов и аргументом as_index=False не включали ключи группы в результирующем DataFrame.

Ошибка синтаксического анализа с несколькими функциями окна, ссылающимися на выходные данные других функций

Этот выпуск устраняет проблему, которая может возникать, когда запрос Spark содержит несколько последовательных оконных функций, где оконные функции ссылаются на результаты других оконных функций. В редких случаях система может удалить одну из ссылок, что приводит к ошибкам при оценке запроса. Это исправление проецирует эти ссылки, чтобы обеспечить корректную оценку запросов. Это изменение управляется параметром конфигурации Spark spark.databricks.optimizer.collapseWindows.projectReferences, который по умолчанию имеет значение true. Чтобы отключить это изменение, задайте для spark.databricks.optimizer.collapseWindows.projectReferences значение false.

Обновления библиотеки

• Обновленные библиотеки Python:
  • блокировка файлов с 3.13.1 до 3.13.4
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • org.rocksdb.rocksdbjni с 8.3.2 до 8.11.4

Apache Spark

Databricks Runtime 15.3 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-48211] [DBRRM-1041][15.x][15.3] Возврат "[SC-165552][SQL] DB2: чтение SMALLINT как Short..."
• [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409] Revert SPARK-47904: сохранение регистра в схеме Avro при использовании enableStableIdentifiersForUnionType
• [SPARK-48288] [SC-166141] Добавьте тип исходных данных для выражения приведения соединителя
• [SPARK-48175] [SC-166341][SQL][PYTHON] Хранить сведения о сортировке в метаданных, а не в типе для SER/DE
• [SPARK-48172] [SC-166078][SQL] Исправление проблем с экранированием в JDBCDialects
• [SPARK-48186] [SC-165544][SQL] Добавление поддержки AbstractMapType
• [SPARK-48031] [SC-166523] Устаревшие наследуемые представления для SCHEMA BINDING
• [SPARK-48369] [SC-1665666][SQL][PYTHON][CONNECT] Добавить функцию timestamp_add
• [SPARK-48330] [SC-166458][SS][PYTHON] Исправлена проблема с таймаутом источника потоковых данных Python для большого интервала триггера
• [SPARK-48369] Отменить изменения, связанные с "[SC-166494][SQL][PYTHON][CONNECT] Добавить функцию timestamp_add"
• [SPARK-48336] [SC-166495][PS][CONNECT] Реализация ps.sql в Spark Connect
• [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] Добавление функции timestamp_add
• [SPARK-47354] [SC-165546][SQL] Добавление поддержки сортировки для выражений вариантов
• [SPARK-48161] [SC-165325][SQL] Исправлено отклонение PR - добавлена поддержка сортировки для выражений JSON
• [SPARK-48031] [SC-166391] Разложите конфигурацию viewSchemaMode, добавьте поддержку SHOW CREATE TABLE
• [SPARK-48268] [SC-166217][CORE] Добавление конфигурации для SparkContext.setCheckpointDir
• [SPARK-48312] [ES-1076198][SQL] Улучшить производительность Alias.removeNonInheritableMetadata
• [SPARK-48294] [SC-166205][SQL] Обработка нижнего регистра в вложенных объектахTypeMissingElementTypeError
• [SPARK-47254] [SC-158847][SQL] Назначьте имена классам ошибок _LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [SC-158749][SQL] Назначьте имена классам ошибок _LEGACY_ERROR_TEMP_323[6-7] и _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [SC-166239][PYTHON][CONNECT] Кэшированные свойства должны возвращать копии
• [SPARK-48308] [SC-166152][Core] Унификация получения схемы данных без столбцов разделов в FileSourceStrategy
• [SPARK-48301] [SC-166143][SQL] Переименование CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE в CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [SC-166139][PS][CONNECT] Применить встроенный timestamp_diff метод
• [SPARK-47607] [SC-166129] Добавление документации по структурированной платформе ведения журнала
• [SPARK-48297] [SC-166136][SQL] Исправление регрессии оператора TRANSFORM с char/varchar
• [SPARK-47045] [SC-156808][SQL] Замените IllegalArgumentException на SparkIllegalArgumentException в sql/api
• [SPARK-46991] [SC-156399][SQL] Замените IllegalArgumentExceptionSparkIllegalArgumentException в catalyst
• [SPARK-48031] [SC-165805][SQL] Поддержка эволюции схемы представления
• [SPARK-48276] [SC-166116][PYTHON][CONNECT] Добавьте отсутствующий метод __repr__ для SQLExpression
• [SPARK-48278] [SC-166071][PYTHON][CONNECT] Уточнение строкового представления Cast
• [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] Добавление функции timestamp_diff
• [SPARK-47798] [SC-162492][SQL] Улучшение сообщения об ошибке при сбоях чтения десятичных значений
• [SPARK-47158] [SC-158078][SQL] Присвоить правильное имя и sqlState для _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient может вызвать FetchFailedException
• [SPARK-48277] [SC-166066] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
• [SPARK-47545] [SC-165444][CONNECT] observe поддержки клиента Scala
• [SPARK-48954] [SC-171672][SQL] Добавление функции try_mod
• [SPARK-43258] [SC-158151][SQL] Назначьте имена для ошибки _LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [SC-165903][SS] Регрессионный e2e тест с использованием SPARK-47305
• [SPARK-48263] [SC-165925] Функция сопоставления для строк с кодировкой, отличной от UTF8_BINARY
• [SPARK-48260] [SC-165883][SQL] Отключить координацию фиксации выходных данных в одном тесте ParquetIOSuite
• [SPARK-47834] [SC-165645][SQL][CONNECT] Пометить устаревшие функции с @deprecated в SQLImplicits
• [SPARK-48011] [SC-164061][Core] Сохранение имени LogKey как значения, чтобы избежать создания новых экземпляров строк
• [SPARK-48074] [SC-164647][Core] Улучшение удобочитаемости журналов JSON
• [SPARK-44953] [SC-165866][CORE] Внести предупреждение в журнал при включении отслеживания перетасовки вместе с другим поддерживаемым механизмом DA
• [SPARK-48266] [SC-165897][CONNECT] Перемещение объекта пакета org.apache.spark.sql.connect.dsl для тестирования каталога
• [SPARK-47847] [SC-165651][CORE] Нерекомендуемая spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178][CORE] Очистка устаревших конструкторов o.rocksdb.Logger
• [SPARK-48235] [SC-165669][SQL] Непосредственно передайте оператор соединения, а не все аргументы, в функции getBroadcastBuildSide и getShuffleHashJoinBuildSide.
• [SPARK-48224] [SC-165648][SQL] Запретить использование типа variant в качестве ключей карты
• [SPARK-48248] [SC-165791][PYTHON] Исправить вложенный массив для соблюдения устаревшей конфигурации inferArrayTypeFromFirstElement
• [SPARK-47409] [SC-165568][SQL] Добавьте поддержку упорядочения для типа функций/выражений StringTrim (для UTF8_BINARY & LCASE)
• [SPARK-48143] [ES-1095638][SQL] Использование упрощенных исключений для потока управления между UnivocityParser и FailureSafeParser
• [SPARK-48146] [SC-165668][SQL] Исправление агрегатной функции в подчинённом выражении With
• [SPARK-48161] Revert "[SC-165325][SQL] Добавление поддержки сортировки для выражений JSON"
• [SPARK-47963] [CORE] Дать возможность внешней экосистеме Spark использовать структурированные механизмы ведения журнала
• [SPARK-48180] [SC-165632][SQL] Улучшите сообщение об ошибке при вызове UDTF с TABLE аргументом, когда забыты круглые скобки вокруг нескольких PARTITION/ORDER BY выражений
• [SPARK-48002] [SC-164132][PYTHON][SS] Добавление теста для наблюдаемых метрик в PySpark StreamingQueryListener
• [SPARK-47421] [SC-165548][SQL] Добавление поддержки сортировки для выражений URL-адресов
• [SPARK-48161] [SC-165325][SQL] Добавьте поддержку сортировки для выражений JSON
• [SPARK-47359] [SC-164328][SQL] Поддержка функции TRANSLATE для работы со строками сортировки
• [SPARK-47365] [SC-165643][Python] Добавить метод toArrow() DataFrame в PySpark
• [SPARK-48228] [SC-165649][PYTHON][CONNECT] Реализуйте проверку отсутствующих функций в ApplyInXXXX
• [SPARK-47986] [SC-165549][CONNECT][PYTHON] Не удалось создать новый сеанс, когда сеанс по умолчанию закрыт сервером
• [SPARK-47963] Revert "[CORE] Сделать внешнюю экосистему Spark может использовать структурированные механизмы ведения журнала "
• [SPARK-47963] [CORE] Дать возможность внешней экосистеме Spark использовать структурированные механизмы ведения журнала
• [SPARK-48208] [SC-1655547][SS] Пропустить предоставление метрик использования памяти из RocksDB, если включена ограниченная загрузка памяти
• [SPARK-47566] [SC-164314][SQL] Поддержка функции SubstringIndex для работы со строками сортировки
• [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: миграция logError с переменными на структурированную систему журналирования
• [SPARK-48205] [SC-165501][PYTHON] Удаление модификатора private[sql] для источников данных Python
• [SPARK-48173] [SC-165181][SQL] CheckAnalysis должен видеть весь план запроса
• [SPARK-48197] [SC-165520][SQL] Избегайте ошибки утверждения для недопустимой лямбда-функции
• [SPARK-47318] [SC-162573][CORE] Добавляет этап HKDF к производной ключа AuthEngine для соответствия стандартным практикам KEX
• [SPARK-48184] [SC-165335][PYTHON][CONNECT] Всегда задавать начальное значение Dataframe.sample на стороне клиента
• [SPARK-48128] [SC-165004][SQL] Для выражения BitwiseCount / bit_count исправлена ошибка синтаксиса генератора кода для логических данных типа boolean
• [SPARK-48147] [SC-165144][SS][CONNECT] Удалите прослушиватели на стороне клиента при удалении локального сеанса Spark
• [SPARK-48045] [SC-165299][PYTHON] Pandas API groupby with multi-agg-relabel игнорирует as_index=False
• [SPARK-48191] [SC-165323][SQL] Поддержка UTF-32 для кодирования строк и декодирования
• [SPARK-45352] [SC-137627][SQL] Устранение свертываемых секций окон
• [SPARK-47297] [SC-165179][SQL] Добавление поддержки сортировки для выражений формата
• [SPARK-47267] [SC-165170][SQL] Добавление поддержки сортировки для хэш-выражений
• [SPARK-47965] [SC-163822][CORE] Избежать использования orNull в TypedConfigBuilder и OptionalConfigEntry
• [SPARK-48166] [SQL] Избегайте использования BadRecordException в качестве ошибки, видимой пользователю, в VariantExpressionEvalUtils
• [SPARK-48105] [SC-165132][SS] Исправьте состояние гонки между выгрузками и моментальными снимками хранилища состояний
• [SPARK-47922] [SC-163997][SQL] Реализация выражения try_parse_json
• [SPARK-47719] [SC-161909][SQL] Изменение spark.sql.legacy.timeParse...
• [SPARK-48035] [SC-165136][SQL] Исправление того, что try_add/try_multiply семантически равны add/multiply
• [SPARK-48107] [SC-164878][PYTHON] Исключить тесты из дистрибутива Python
• [SPARK-46894] [SC-1644447][PYTHON] Перемещение условий ошибок PySpark в автономный JSON-файл
• [SPARK-47583] [SC-163825][CORE] SQL Core: перенос logError с переменными в структурированную платформу ведения журнала
• [SPARK-48064] Отменить "[SC-164697][SQL] Обновление сообщений об ошибках для классов ошибок, связанных с процедурами"
• [SPARK-48048] [SC-164846][CONNECT][SS] Добавлена поддержка прослушивателя на стороне клиента для Scala
• [SPARK-48064] [SC-164697][SQL] Обновление сообщений об ошибках для стандартных классов ошибок
• [SPARK-48056] [SC-164715][CONNECT][PYTHON] Повторно выполните план, если возникает ошибка SESSION_NOT_FOUND и частичный ответ не был получен
• [SPARK-48124] [SC-165009][CORE] Отключить структурированное ведение журнала для Connect-Repl по умолчанию
• [SPARK-47922] Revert "[SC-163997][SQL] Реализация выражения try_parse_json"
• [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys является чрезмерно строгим
• [SPARK-48114] [SC-164956][CORE] Предварительная компиляция шаблона, чтобы избежать ненужных работ
• [SPARK-48067] [SC-164773][SQL] Исправление столбцов по умолчанию для вариантов
• [SPARK-47922] [SC-163997][SQL] Реализация выражения try_parse_json
• [SPARK-48075] [SC-164709] [SS] Добавить проверку типов для функций PySpark Avro
• [SPARK-47793] [SC-164324][SS][PYTHON] Реализация SimpleDataSourceStreamReader для потоковых источников данных на Python
• [SPARK-48081] [SC-164719] Исправление ClassCastException в NTile.checkInputDataTypes(), если аргумент не является несворачиваемым или имеет неправильный тип
• [SPARK-48102] [SC-164853][SS] Отслеживание продолжительности для получения метрик источника и приемника при отчетности о прогрессе потокового запроса
• [SPARK-47671] [SC-164854][Core] Включить структурированное ведение журнала в log4j2.properties.template и обновить документацию
• [SPARK-47904] [SC-163409][SQL] Сохранение регистра в схеме Avro при включении параметра enableStableIdentifiersForUnionType
• [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType синтаксический анализ строки DDL
• [SPARK-46922] [SC-156102][CORE][SQL] Не упаковывать ошибки, связанные с пользователем во время выполнения
• [SPARK-48047] [SC-164576][SQL] Уменьшите давление памяти пустых тегов TreeNode
• [SPARK-47934] [SC-164648] [CORE] Обеспечение завершающих слэшей в HistoryServer перенаправлениях URL-адресов
• [SPARK-47921] [SC-163826][CONNECT] Исправление процесса создания ExecuteJobTag в ExecuteHolder
• [SPARK-48014] [SC-164150][SQL] Изменение ошибки makeFromJava в EvaluatePython на отображаемую пользователю ошибку
• [SPARK-47903] [SC-163424][PYTHON] Добавьте поддержку оставшихся скалярных типов в библиотеке Вариантов PySpark
• [SPARK-48068] [SC-164579][PYTHON] mypy должен иметь параметр --python-executable
• [SPARK-47846] [SC-163074][SQL] Добавление поддержки типа Variant в выражении from_json
• [SPARK-48050] [SC-164322][SS] Логический план журнала при запуске запроса
• [SPARK-47810] [SC-163076][SQL] Замените эквивалентное выражение <=> в состоянии соединения
• [SPARK-47741] [SC-164290] Добавлена обработка переполнения стека в средстве синтаксического анализа
• [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame должен предупреждать о неподдерживаемых параметрах
• [SPARK-47939] [SC-164171][SQL] Реализуйте новое правило анализатора для перемещения ParameterizedQuery внутри ExplainCommand и DescribeQueryCommand
• [SPARK-48063] [SC-164432][CORE] Включить spark.stage.ignoreDecommissionFetchFailure по умолчанию
• [SPARK-48016] [SC-164280][SQL] Исправлена ошибка в функции try_divide при использовании десятичных разрядов
• [SPARK-48033] [SC-164291][SQL] Исправление выражений RuntimeReplaceable, используемых в столбцах по умолчанию
• [SPARK-48010] [SC-164051][SQL][ES-1109148] Избегайте повторных вызовов conf.resolver в resolveExpression
• [SPARK-48003] [SC-164323][SQL] Добавьте поддержку коллации для агрегирования HLL-эскиза
• [SPARK-47994] [SC-164175][SQL] Исправлена ошибка с фильтрацией столбцов CASE WHEN в SQL Server
• [SPARK-47984] [SC-163837][ML][SQL] Измените MetricsAggregate/V2Aggregator#serialize/deserialize для вызова SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [SC-164202][SQL] Использование метки времени с часовыми поясами на уровне класса вместо копирования на уровне метода
• [SPARK-47596] [SPARK-476000][SPARK-47604][SPARK-47804] Структурированные миграции журналов
• [SPARK-47594] [SPARK-47590][SPARK-475888][SPARK-47584] Структурированные миграции журналов
• [SPARK-47567] [SC-164172][SQL] Поддержка функции LOCATE для работы со строками сортировки
• [SPARK-47764] [SC-163820][CORE][SQL] Очистка зависимостей на основе ShuffleCleanupMode
• [SPARK-48039] [SC-164174][PYTHON][CONNECT] Обновите класс ошибок для group.apply
• [SPARK-47414] [SC-163831][SQL] Поддержка коллации в нижнем регистре для выражений regexp
• [SPARK-47418] [SC-163818][SQL] Добавление ручных реализаций для функций contains, startsWith и endsWith с учетом регистра и юникода, а также улучшение UTF8_BINARY_LCASE.
• [SPARK-47580] [SC-163834][SQL] Катализатор SQL: устранение неименованных переменных в журналах ошибок
• [SPARK-47351] [SC-164008][SQL] Добавление поддержки сортировки для строковых выражений StringToMap & Mask
• [SPARK-47292] [SC-164151][SS] safeMapToJValue следует учитывать значения типа null
• [SPARK-47476] [SC-164014][SQL] Поддержка функции REPLACE для работы со строками сортировки
• [SPARK-47408] [SC-164104][SQL] Исправлены математические выражения, использующие StringType
• [SPARK-47350] [SC-164006][SQL] Добавление поддержки сортировки для выражения строки SplitPart
• [SPARK-47692] [SC-163819][SQL] Исправление значения StringType по умолчанию при неявном приведении
• [SPARK-47094] [SC-161957][SQL] SPJ: динамическое перебалансирование количества контейнеров, если они не равны
• [SPARK-48001] [SC-164000][CORE] Удалить неиспользуемые private implicit def arrayToArrayWritable из SparkContext
• [SPARK-47986] [SC-163999][CONNECT][PYTHON] Не удалось создать новый сеанс, когда сеанс по умолчанию закрыт сервером
• [SPARK-48019] [SC-164121] Исправьте неправильное поведение в ColumnVector/ColumnarArray с помощью словаря и значений NULL
• [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Структурированные миграции журналов
• [SPARK-47999] [SC-163998][SS] Повышение качества ведения журнала в процессе создания моментальных снимков и вноса/удаления записей в структуру кэша состояния в поставщике хранилища состояний на базе HDFS.
• [SPARK-47417] [SC-162872][SQL] Поддержка колляций: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Предложения
• [SPARK-47712] [SC-161871][CONNECT] Разрешить подключать подключаемые модули для создания и обработки наборов данных
• [SPARK-47411] [SC-163351][SQL] Поддержка функций StringInstr & FindInSet для работы со строками сортировки
• [SPARK-47360] [SC-163014][SQL] Поддержка сортировки: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323][SQL] — добавьте поддержку для функций substr/left/right с учётом коллаций
• [SPARK-47983] [SC-163835][SQL] Сделать параметр spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled внутренним
• [SPARK-47964] [SC-163816][PYTHON][CONNECT] Скрыть SQLContext и HiveContext в pyspark-connect
• [SPARK-47985] [SC-163841][PYTHON] Упрощение функций с помощью lit
• [SPARK-47633] [SC-163453][SQL] Включить выходные данные плана правой стороны в LateralJoin#allAttributes для более согласованной канонизации
• [SPARK-47909] Отмена “[PYTHON][CONNECT] Родительский класс DataFrame f…
• [SPARK-47767] [SC-163096][SQL] Показать значение смещения в TakeOrderedAndProjectExec
• [SPARK-47822] [SC-162968][SQL] Запретить использование хэш-выражений для хэширования типа данных Variant
• [SPARK-47490] [SC-160494][SS] Исправление конструктора ведения журнала RocksDB, чтобы избежать предупреждения об отказе
• [SPARK-47417] отменить "[SC-162872][SQL] Поддержка сортировки: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences".
• [SPARK-47352] [SC-163460][SQL] Исправление учёта коллации в функциях Upper, Lower, InitCap
• [SPARK-47909] [PYTHON][CONNECT] Родительский класс DataFrame для Spark Connect и Spark Classic
• [SPARK-47417] [SC-162872][SQL] Поддержка колляций: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Предложения

Поддержка драйверов ODBC и JDBC в Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

См. обновления поддержки Databricks Runtime 15.3.

Системная среда

• операционная система: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
asttokens	2.0.5	astunparse	1.6.3	azure-core	1.30.1
хранилище Azure Blob	12.19.1	azure-storage-file-datalake	12.14.0	обратный вызов	0.2.0
чёрный	23.3.0	поворотник	1.4	boto3	1.34.39
botocore	1.34.39	cachetools	5.3.3	сертификат	2023.7.22
cffi	1.15.1	chardet	4.0.0	charset-normalizer	2.0.4
щелчок	8.0.4	cloudpickle	2.2.1	comm	0.1.2
контурная диаграмма	1.0.5	криптография	41.0.3	циклер	0.11.0
Cython	0.29.32	databricks-sdk	0.20.0	dbus-python	1.2.18
debugpy	1.6.7	декоратор	5.1.1	distlib	0.3.8
точки входа	0.4	Выполнение	0.8.3	обзор аспектов	1.1.1
блокировка файлов	3.13.4	шрифтовые инструменты	4.25.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.18.0	google-auth	2.29.0
google-cloud-core	2.4.1	google-cloud-storage	2.16.0	google-crc32c	1.5.0
google-resumable-media	2.7.0	googleapis-common-protos	1.63.0	grpcio	1.60.0
grpcio-status	1.60.0	httplib2	0.20.2	idna	3.4
importlib-metadata	6.0.0	ipyflow-core	0.0.198	ipykernel	6.25.1
ipython	8.15.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
isodate	0.6.1	джедаи	0.18.1	jeepney	0.7.1
jmespath	0.10.0	joblib	1.2.0	jupyter_client	7.4.9
jupyter_core	5.3.0	нажатие клавиш	23.5.0	kiwisolver	1.4.4
launchpadlib	1.10.16	lazr.restfulclient	0.14.4	lazr.uri	1.0.6
matplotlib	3.7.2	matplotlib-inline	0.1.6	mlflow-skinny	2.11.3
more-itertools	8.10.0	mypy-extensions	0.4.3	nest-asyncio	1.5.6
numpy	1.23.5	Оаутхлиб	3.2.0	упаковка	23.2
Панды	1.5.3	Parso	0.8.3	pathspec	0.10.3
пострадавший	0.5.3	pexpect	4.8.0	pickleshare	0.7.5
Подушка	9.4.0	косточка	23.2.1	platformdirs	3.10.0
Плотли	5.9.0	prompt-toolkit	3.0.36	proto-plus	1.23.0
protobuf	4.24.1	psutil	5.9.0	psycopg2	2.9.3
ptyprocess	0.7.0	pure-eval	0.2.2	pyarrow	14.0.1
pyasn1	0.4.8	pyasn1-modules	0.2.8	pyccolo	0.0.52
pycparser	2.21	pydantic	1.10.6	Pygments	2.15.1
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.38
pyparsing	3.0.9	python-dateutil	2.8.2	python-lsp-jsonrpc	1.1.1
pytz	2022.7	PyYAML	6.0	pyzmq	23.2.0
Запросы	2.31.0	rsa	4.9	s3transfer	0.10.1
scikit-learn	1.3.0	scipy	1.11.1	мореборн	0.12.2
SecretStorage	3.3.1	setuptools	68.0.0	Шесть	1.16.0
smmap	5.0.1	sqlparse	0.5.0	ssh-import-id	5.11
stack-data	0.2.0	statsmodels	0.14.0	упорство	8.2.2
Threadpoolctl	2.2.0	tokenize-rt	4.2.1	торнадо	6.3.2
трейлетс	5.7.1	typing_extensions	4.10.0	tzdata	2022.1
ujson	5.4.0	автоматические обновления без участия пользователя	0.1	urllib3	1.26.16
virtualenv	20.24.2	wadllib	1.3.6	wcwidth	0.2.5
колесо	0.38.4	ZIPP	3.11.0

установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN диспетчера пакетов Posit версии.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
стрела	14.0.0.2	askpass	1.2.0	assertthat	0.2.1
обратное портирование	1.4.1	основа	4.3.2	base64enc	0.1-3
bigD	0.2.0	бит	4.0.5	bit64	4.0.5
bitops	1.0-7	комок	1.2.4	ботинок	1.3-28
варить	1.0-10	живость	1.1.4	метла	1.0.5
bslib	0.6.1	кашемир	1.0.8	коллер	3.7.3
курсор	6.0-94	cellranger	1.1.0	хрон	2.3-61
класс	7.3-22	cli	3.6.2	клипера	0.8.0
часы	0.7.0	кластер	2.1.4	codetools	0.2-19
цветовое пространство	2.1-0	commonmark	1.9.1	составитель	4.3.2
Конфигурация	0.3.2	Раздвоенный	1.2.0	cpp11	0.4.7
карандаш	1.5.2	верительные грамоты	2.0.1	curl	5.2.0
data.table	1.15.0	Наборы данных	4.3.2	DBI	1.2.1
dbplyr	2.4.0	описание	1.4.3	средства разработки	2.4.5
диаграмма	1.6.5	diffobj	0.3.5	дайджест	0.6.34
освещённый сверху	0.4.3	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-14	многоточие	0.3.2	оценивать	0.23
фанаты	1.0.6	Farver	2.1.1	фастмап	1.1.1
fontawesome	0.5.2	форкатс	1.0.0	foreach	1.5.2
иностранный	0.8-85	кузница	0.2.0	fs	1.6.3
будущее	1.33.1	future.apply	1.11.1	полоскать	1.5.2
Обобщения	0.1.3	Герт	2.0.1	ggplot2	3.4.4
gh	1.4.0	git2r	0.33.0	gitcreds	0.1.2
glmnet	4.1-8	глобальные переменные	0.16.2	клей	1.7.0
googledrive	2.1.1	googlesheets4	1.1.1	Говер	1.0.1
графика	4.3.2	grDevices	4.3.2	сетка	4.3.2
gridExtra	2.3	gsubfn	0.7	gt;	0.10.1
gtable	0.3.4	каска	1.3.1	гавань	2.5.4
высокий	0.10	hms	1.1.3	htmltools	0.5.7
HTML-виджеты	1.6.4	httpuv	1.6.14	httr	1.4.7
httr2	1.0.0	Идентификаторы	1.0.1	ini	0.3.1
ipred	0.9-14	isoband	0.2.7	Итераторы	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	juicyjuice	0.1.0
KernSmooth	2.23-21	knitr (пакет для динамической генерации отчетов в языке программирования R)	1,45	маркирование	0.4.3
позже	1.3.2	решётка	0.21-8	лава	1.7.3
жизненный цикл	1.0.4	прослушиватель	0.9.1	lubridate	1.9.3
magrittr	2.0.3	Markdown	1.12	МАССА	7.3-60
Матрица	1.5-4.1	memoise	2.0.1	методика	4.3.2
mgcv	1.8-42	мим	0.12	miniUI	0.1.1.1
mlflow	2.10.0	ModelMetrics	1.2.2.2	моделер	0.1.11
munsell	0.5.0	nlme	3.1-163	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.1.1	параллельный	4.3.2
параллельно	1.36.0	столб	1.9.0	pkgbuild	1.4.3
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.4
plogr	0.2.0	plyr	1.8.9	хвалить	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.3
prodlim	2023.08.28	profvis	0.3.8	прогресс	1.2.3
progressr	0.14.0	Обещания	1.2.1	прото	1.0.0
доверенность	0.4-27	ps	1.7.6	purrr	1.0.2
R6	2.5.1	ragg	1.2.7	randomForest (случайный лес)	4.7-1.1
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.12	RcppEigen	0.3.3.9.4	реактивный (if applicable, based on context and intended meaning in the target usage)	0.4.4
ReactR	0.5.0	readr	2.1.5	readxl	1.4.3
Рецепты	1.0.9	реванш	2.0.0	rematch2	2.1.2
Пульты	2.4.2.1	воспроизводимый пример	2.1.0	reshape2	1.4.4
rlang	1.1.3	rmarkdown	2.25	RODBC	1.3-23
roxygen2	7.3.1	rpart	4.1.21	rprojroot	2.0.4
Rserve	1.8-13	RSQLite	2.3.5	rstudioapi	0.15.0
rversions	2.1.2	rvest	1.0.3	дерзость	0.4.8
весы	1.3.0	селектор	0.4-2	информация о сеансе	1.2.2
форма	1.4.6	блестящий	1.8.0	sourcetools	0.1.7-1
Sparklyr	1.8.4	пространственный	7.3-15	Сплайны	4.3.2
sqldf	0.4-11	SQUAREM	январь 2021	Статистика	4.3.2
статистика4	4.3.2	stringi	1.8.3	stringr	1.5.1
выживание	3.5-5	уверенность	3.33.1	sys	3.4.2
systemfonts	1.0.5	tcltk	4.3.2	testthat	3.2.1
формирование текста	0.3.7	tibble	3.2.1	tidyr	1.3.1
tidyselect	1.2.0	tidyverse	2.0.0	изменение времени	0.3.0
времяДата	4032.109	tinytex	0.49	инструменты	4.3.2
tzdb	0.4.0	urlchecker	1.0.1	usethis	2.2.2
utf8	1.2.4	утилиты	4.3.2	уникальный универсальный идентификатор (UUID)	1.2-0
V8	4.4.1	vctrs	0.6.5	viridisLite	0.4.2
vroom	1.6.5	Уолдо	0.5.2	усы	0.4.1
withr	3.0.0	xfun	0.41	xml2	1.3.6
xopen	1.0.0	xtable	1.8-4	yaml	2.3.8
zeallot	0.1.0	молния	2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

Идентификатор группы	Идентификатор артефакта	Версия
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.610
com.amazonaws	aws-java-sdk-cloudformation	1.12.610
com.amazonaws	aws-java-sdk-cloudfront	1.12.610
com.amazonaws	aws-java-sdk-cloudhsm	1.12.610
com.amazonaws	aws-java-sdk-cloudsearch	1.12.610
com.amazonaws	aws-java-sdk-cloudtrail	1.12.610
com.amazonaws	aws-java-sdk-cloudwatch	1.12.610
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.610
com.amazonaws	aws-java-sdk-codedeploy	1.12.610
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.610
com.amazonaws	aws-java-sdk-cognitosync	1.12.610
com.amazonaws	aws-java-sdk-config	1.12.610
com.amazonaws	aws-java-sdk-core	1.12.610
com.amazonaws	aws-java-sdk-datapipeline	1.12.610
com.amazonaws	aws-java-sdk-directconnect	1.12.610
com.amazonaws	aws-java-sdk-directory	1.12.610
com.amazonaws	aws-java-sdk-dynamodb	1.12.610
com.amazonaws	aws-java-sdk-ec2	1.12.610
com.amazonaws	aws-java-sdk-ecs	1.12.610
com.amazonaws	aws-java-sdk-efs	1.12.610
com.amazonaws	aws-java-sdk-elasticache	1.12.610
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.610
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.610
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.610
com.amazonaws	aws-java-sdk-emr	1.12.610
com.amazonaws	aws-java-sdk-glacier	1.12.610
com.amazonaws	aws-java-sdk-glue	1.12.610
com.amazonaws	aws-java-sdk-iam	1.12.610
com.amazonaws	aws-java-sdk-importexport	1.12.610
com.amazonaws	aws-java-sdk-kinesis	1.12.610
com.amazonaws	aws-java-sdk-kms	1.12.610
com.amazonaws	aws-java-sdk-lambda	1.12.610
com.amazonaws	aws-java-sdk-logs	1.12.610
com.amazonaws	aws-java-sdk-machinelearning	1.12.610
com.amazonaws	aws-java-sdk-opsworks	1.12.610
com.amazonaws	aws-java-sdk-rds	1.12.610
com.amazonaws	aws-java-sdk-redshift	1.12.610
com.amazonaws	aws-java-sdk-route53	1.12.610
com.amazonaws	aws-java-sdk-s3	1.12.610
com.amazonaws	aws-java-sdk-ses	1.12.610
com.amazonaws	aws-java-sdk-simpledb	1.12.610
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.610
com.amazonaws	aws-java-sdk-sns	1.12.610
com.amazonaws	aws-java-sdk-sqs	1.12.610
com.amazonaws	aws-java-sdk-ssm	1.12.610
com.amazonaws	aws-java-sdk-storagegateway	1.12.610
com.amazonaws	aws-java-sdk-sts	1.12.610
com.amazonaws	aws-java-sdk-поддержка	1.12.610
com.amazonaws	aws-java-sdk-swf-библиотеки	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.610
com.amazonaws	jmespath-java	1.12.610
com.clearspring.analytics	поток	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.17.1
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	крио-затенённый	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	одноклассник	1.3.4
com.fasterxml.jackson.core	джексон-аннотации	2.15.2
com.fasterxml.jackson.core	джексон-ядро	2.15.2
com.fasterxml.jackson.core	джексон-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.16.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.caffeine	кофеин	2.9.3
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-коренные жители
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1-коренные жители
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-коренные жители
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-коренные жители
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	оттенок	1.9.0
com.google.errorprone	ошибкоопасные аннотации	2.10.0
com.google.flatbuffers	flatbuffers-java	23.05.2026
com.google.guava	гуава	15.0
com.google.protobuf	protobuf-java	2.6.1
com.helger	Профилировщик	1.1.1
com.ibm.icu	icu4j	72.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	линзы_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	Конфигурация	1.4.3
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	ХикариCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
загрузчик файлов в общедоступное хранилище	загрузчик файлов в общедоступное хранилище	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
Commons-logging	Commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Блас	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	воздушный компрессор	0.25
io.delta	delta-sharing-client_2.12	1.0.5
io.dropwizard.metrics	метрики-аннотация	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	Проверки работоспособности метрик	4.2.19
io.dropwizard.metrics	Метрики-Jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	метрики-сервлеты	4.2.19
io.netty	netty-all	4.1.96.Final
io.netty	netty-buffer	4.1.96.Final
io.netty	netty-codec	4.1.96.Final
io.netty	netty-codec-http	4.1.96.Final
io.netty	netty-codec-http2	4.1.96.Final
io.netty	netty-codec-socks	4.1.96.Final
io.netty	netty-common	4.1.96.Final
io.netty	netty-handler	4.1.96.Final
io.netty	netty-handler-proxy	4.1.96.Final
io.netty	netty-resolver	4.1.96.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty-transport	4.1.96.Final
io.netty	netty-transport-classes-epoll	4.1.96.Final
io.netty	netty-transport-classes-kqueue	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.96.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	коллектор	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	активация	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	api транзакций	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	рассол	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	муравей	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	Формат со стрелками	15.0.0
org.apache.arrow	стрелка-память-ядро	15.0.0
org.apache.arrow	стрелка-память-Netty	15.0.0
org.apache.arrow	стрелка-вектор	15.0.0
org.apache.avro	Авро	1.11.3
org.apache.avro	avro-ipc	1.11.3
org.apache.avro	avro-mapred	1.11.3
org.apache.commons	commons-collections4	4.4
org.apache.commons	Commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	куратор-клиент	2.13.0
org.apache.curator	куратор-фреймворк	2.13.0
org.apache.curator	рецепты куратора	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	дерби	10.14.2.0
org.apache.hadoop	hadoop-клиент-рантайм	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	хив-шимс	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	плющ	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.22.1
org.apache.logging.log4j	log4j-api	2.22.1
org.apache.logging.log4j	log4j-core	2.22.1
org.apache.logging.log4j	log4j-layout-template-json	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	orc-core	1.9.2-шейд-protobuf
org.apache.orc	orc-mapreduce	1.9.2-шейд-protobuf
org.apache.orc	orc-shims	1.9.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4.23
org.apache.yetus	аннотации для аудитории	0.13.0
org.apache.zookeeper	смотритель зоопарка	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	джексон-core-asl	1.9.13
org.codehaus.jackson	джексон-маппер-ASL	1.9.13
org.codehaus.janino	commons-компилятор	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.collections	eclipse-collections	11.1.0
org.eclipse.collections	Eclipse-collections-api	11.1.0
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	Jetty-продолжение	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	сервер на базе Jetty	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	сервер веб-сокетов	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-локатор	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-перепакетированный	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	джерси-контейнер-сервлет-кор	2.40
org.glassfish.jersey.core	Jersey-сlient	2.40
org.glassfish.jersey.core	джерси-common	2.40
org.glassfish.jersey.core	Джерси-сервер	2.40
org.glassfish.jersey.inject	джерси-hk2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	Аннотации	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mlflow	mlflow-spark_2.12	2.9.1
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	0.9.45-databricks
org.roaringbitmap	Прокладки	0.9.45-databricks
org.rocksdb	rocksdbjni	8.11.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.11.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	тестовый интерфейс	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	Совместимый с Scalatest	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.slf4j	slf4j-simple	1.7.25
org.threeten	тритен-экстра	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1