Databricks Runtime 15.2 (EoS)
Заметка
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в журнале завершения поддержки. Для получения информации обо всех поддерживаемых версиях среды выполнения Databricks, см. заметки о версиях выпуска Databricks Runtime иинформацию о совместимости.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.2, на базе Apache Spark 3.5.0.
Databricks выпустила эту версию в мае 2024 года.
Совет
Чтобы просмотреть заметки о выпуске версий среды выполнения Databricks, достигших окончания поддержки (EoS), см. заметки о выпуске Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.
Изменения поведения
Вакуум очищает файлы метаданных COPY INTO
Запуск VACUUM в таблице, созданной с использованием COPY INTO
, теперь удаляет неассоциированные метаданные, связанные с отслеживанием приема файлов. Никакого влияния на операционную семантику COPY INTO
нет.
Федерация Lakehouse общедоступна (GA)
В Databricks Runtime 15.2 и более поздних версиях соединители федерации Lakehouse в следующих типах баз данных общедоступны (GA):
- MySQL
- PostgreSQL
- Amazon Redshift
- Снежинка
- Microsoft SQL Server
- Azure Synapse (хранилище данных SQL)
- Databricks
В этом выпуске также представлены следующие улучшения:
Поддержка аутентификации с помощью единого входа (SSO) в коннекторах Snowflake и Microsoft SQL Server.
Поддержка Azure Private Link для соединителя SQL Server в средах бессерверных вычислений. См. шаг 3: Создание правил частной конечной точки.
Поддержка дополнительных операций pushdown (строковых, математических и прочих функций).
Улучшена скорость успешного выполнения pushdown в разных формах запросов.
Дополнительные возможности отладки pushdown:
- В выходных данных
EXPLAIN FORMATTED
отображается отложенный текст запроса. - Пользовательский интерфейс профиля запроса отображает переданный текст запроса, идентификаторы федеративного узла и время выполнения запроса JDBC (в деталированном режиме). См. просмотр системных федеративных запросов.
- В выходных данных
BY POSITION
для сопоставления столбцов с помощью COPY INTO
с файлами CSV без заголовков
В Databricks Runtime 15.2 и более поздних версиях можно использовать ключевые слова BY POSITION
(или альтернативный синтаксис ( col_name [ , <col_name> ... ] )
) с COPY INTO
для файлов CSV без заголовков, чтобы упростить сопоставление исходных столбцов с целевыми столбцами таблицы. См. параметры .
Уменьшение потребления памяти при сбое задач Spark с ошибкой Resubmitted
В Databricks Runtime 15.2 и более поздних версиях возвращаемое значение метода Spark TaskInfo.accumulables()
пусто, если задачи завершаются ошибкой Resubmitted
. Ранее метод вернул значения предыдущей успешной попытки задачи. Это изменение поведения влияет на следующих потребителей:
- Задачи Spark, использующие класс
EventLoggingListener
. - Пользовательские прослушиватели Spark.
Чтобы восстановить предыдущее поведение, задайте для spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled
значение false
.
Просмотр версий плана адаптивного выполнения запросов отключен
Чтобы уменьшить потребление памяти, версии плана адаптивного выполнения запросов (AQE) теперь отключены по умолчанию в пользовательском интерфейсе Spark. Чтобы включить просмотр версий плана AQE в пользовательском интерфейсе Spark, задайте для spark.databricks.sql.aqe.showPlanChangesInUI.enabled
значение true
.
Ограничение на сохраненные запросы снижается, чтобы уменьшить использование памяти пользовательского интерфейса Spark.
В Databricks Runtime 15.2 и более поздних версиях, чтобы уменьшить объем памяти, потребляемой пользовательским интерфейсом Spark в вычислениях Azure Databricks, ограничение на количество запросов, видимых в пользовательском интерфейсе, снижается с 1000 до 100. Чтобы изменить ограничение, задайте новое значение с помощью конфигурации spark.sql.ui.retainedExecutions
Spark.
DESCRIBE HISTORY
теперь отображаются столбцы кластеризации для таблиц, использующих жидкую кластеризацию
При выполнении запроса DESCRIBE HISTORY
столбец operationParameters
по умолчанию отображает поле clusterBy
для операций CREATE OR REPLACE
и OPTIMIZE
. Для разностной таблицы, использующей кластеризацию жидкости, поле clusterBy
заполняется столбцами кластеризации таблицы. Если таблица не использует кластеризацию жидкости, поле пусто.
Новые функции и улучшения
Поддержка первичных и внешних ключей — общедоступная версия
Общедоступна поддержка первичных и внешних ключей в Databricks Runtime. Выпуск общедоступной версии включает следующие изменения привилегий, необходимых для использования первичных и внешних ключей:
- Чтобы определить внешний ключ, необходимо иметь права
SELECT
в таблице с первичным ключом, на который ссылается внешний ключ. Вам не нужно владеть таблицей с первичным ключом, который ранее требовался. - Удаление первичного ключа с помощью предложения
CASCADE
не требует привилегий для таблиц, определяющих внешние ключи, ссылающиеся на первичный ключ. Ранее необходимо было владеть таблицами ссылок. - Для удаления таблицы, включающей ограничения, теперь требуются те же привилегии, что и для удаления таблиц, которые не включают ограничения.
Сведения об использовании первичных и внешних ключей с таблицами или представлениями см. в
Жидкостная кластеризация находится в стадии общей доступности
Поддержка кластеризации жидкости теперь общедоступна с помощью Databricks Runtime 15.2 и более поздних версий. См. Использование кластеризации жидкости для таблиц Delta.
Расширение типов в общедоступной предварительной версии
Теперь можно включить расширение типов в таблицах, поддерживаемых Delta Lake. Таблицы с включенным расширением типов позволяют изменять тип столбцов на более широкий тип данных без перезаписи базовых файлов данных. См. расширение типа.
Предложение эволюции схемы, добавленное в синтаксис слияния SQL
Теперь можно добавить условие WITH SCHEMA EVOLUTION
в оператор слияния SQL, чтобы включить эволюцию схемы для этой операции. См. синтаксис эволюции схемы для слияния.
Пользовательские источники данных PySpark доступны в общедоступной предварительной версии
Источник данных PySpark можно создать с помощью API источника данных Python (PySpark), который позволяет читать из пользовательских источников данных и записывать их в пользовательские приемники данных в Apache Spark с помощью Python. См. пользовательские источники данных PySpark
applyInPandas и mapInPandas теперь доступны в вычислительных ресурсах каталога Unity с общим доступом
В рамках обслуживания версии Databricks Runtime 14.3 LTS теперь поддерживаются типы UDF applyInPandas
и mapInPandas
для общедоступных вычислений, работающих под управлением Databricks Runtime 14.3 и более поздних версий.
Используйте dbutils.widgets.getAll(), чтобы получить все виджеты в записной книжке.
Используйте dbutils.widgets.getAll()
, чтобы получить все значения виджетов в записной книжке. Это особенно полезно при передаче нескольких значений мини-приложений в sql-запрос Spark.
Поддержка инвентаризации вакуумной техники
Теперь можно указать инвентаризацию файлов, которые следует учитывать при выполнении команды VACUUM
в таблице Delta. См. документы OSS Delta .
Поддержка функций сжатия Zstandard
Теперь можно использовать функции zst_compress, zstd_decompressи try_zstd_decompress для сжатия и распаковки BINARY
данных.
Исправления ошибок
Планы запросов в пользовательском интерфейсе SQL теперь правильно отображаются PhotonWriteStage
При отображении в пользовательском интерфейсе SQL команды write
в планах запросов неправильно отображались PhotonWriteStage
в качестве оператора. В этом выпуске пользовательский интерфейс обновляется, чтобы отобразить PhotonWriteStage
в качестве этапа. Это изменение пользовательского интерфейса только и не влияет на выполнение запросов.
Ray обновляется, чтобы устранить проблемы с запуском кластеров Ray
Этот выпуск включает исправленную версию Ray, которая устраняет критическое изменение, которое предотвращает запуск кластеров Ray с Databricks Runtime для машинного обучения. Это изменение гарантирует, что функциональность Ray идентична версиям Databricks Runtime до 15.2.
Исправлен класс ошибок для функций DataFrame.sort()
и DataFrame.sortWithinPartitions()
Этот выпуск включает обновление функций DataFrame.sort()
и DataFrame.sortWithinPartitions()
в PySpark, чтобы гарантировать, что при передаче ZERO_INDEX
как аргумента индекса возникает класс ошибки 0
. Ранее была выброшена ошибка класса INDEX_NOT_POSITIVE
.
ipywidgets понижен с 8.0.4 до 7.7.2
Чтобы устранить ошибки, введенные обновлением ipywidgets до версии 8.0.4 в Databricks Runtime 15.0, ipywidgets понижен до 7.7.2 в Databricks Runtime 15.2. Это та же версия, что и в предыдущих версиях Databricks Runtime.
Обновления библиотеки
- Обновленные библиотеки Python:
- GitPython от 3.1.42 до 3.1.43
- google-api-core от 2.17.1 до 2.18.0
- google-auth от 2.28.1 до 2.29.0
- google-cloud-storage с 2.15.0 до 2.16.0
- googleapis-common-protos с 1.62.0 до 1.63.0
- ipywidgets от 8.0.4 до 7.7.2
- mlflow-skinny с 2.11.1 до 2.11.3
- s3transfer от 0.10.0 до 0.10.1
- sqlparse от 0.4.4 до 0.5.0
- typing_extensions от 4.7.1 до 4.10.0
- Обновленные библиотеки R:
- Обновленные библиотеки Java:
- com.amazonaws.aws-java-sdk-autoscaling от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-cloudformation с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-cloudfront от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-cloudhsm с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-cloudsearch с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-cloudtrail с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatch с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-codedeploy с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-cognitosync с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-config с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-core от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-datapipeline с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-directconnect с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-directory с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-dynamodb с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-ec2 с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-ecs от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-efs с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-elasticache с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-emr от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-glacier с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-glue с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-iam с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-importexport с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-kinesis с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-kms от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-lambda с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-logs от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-machinelearning с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-opsworks с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-rds с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-redshift с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-route53 с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-s3 от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-ses с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-simpledb с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-sns от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-sqs с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-ssm с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-storagegateway с 1.12.390 по 1.12.610
- com.amazonaws.aws-java-sdk-sts от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-support от 1.12.390 до 1.12.610
- com.amazonaws.aws-java-sdk-workspaces от 1.12.390 до 1.12.610
- com.amazonaws.jmespath-java с 1.12.390 до 1.12.610
Apache Spark
Databricks Runtime 15.2 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-47941] [SC-163568] [SS] [Connect] Распространение ошибок инициализации рабочей роли ForeachBatch пользователям для PySpark
- [SPARK-47412] [SC-163455][SQL] Добавьте поддержку сортировки для LPad/RPad.
- [SPARK-47907] [SC-163408][SQL] Внести значительные изменения в конфигурацию
-
[SPARK-46820] [SC-157093][PYTHON] Исправление регрессии сообщения об ошибке путем восстановления
new_msg
- [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Менеджеры ресурсов: структурированная миграция журналов
- [SPARK-47890] [SC-163324][CONNECT][PYTHON] Добавление вариантных функций в Scala и Python.
-
[SPARK-47894] [SC-163086][CORE][WEBUI] Добавление страницы
Environment
в главный пользовательский интерфейс - [SPARK-47805] [SC-163459][SS] Реализация TTL для MapState
- [SPARK-47900] [SC-163326] Исправление проверки неявного сравнения (UTF8_BINARY)
- [SPARK-47902] [SC-163316][SQL]Сделать выражения вычисления текущего времени* свертываемыми
- [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Поддержка типа столбца в функции разделения для scala и python
- [SPARK-47754] [SC-162144][SQL] Postgres: поддержка чтения многомерных массивов
- [SPARK-47416] [SC-163001][SQL] Добавление новых функций в CollationBenchmark #90339
- [SPARK-47839] [SC-163075][SQL] Исправлена агрегатная ошибка в RewriteWithExpression
- [SPARK-47821] [SC-162967][SQL] Реализация выражения is_variant_null
-
[SPARK-47883] [SC-163184][SQL] Сделайте
CollectTailExec.doExecute
ленивым с помощью RowQueue - [SPARK-47390] [SC-163306][SQL] PostgresDialect отличает TIMESTAMP от TIMESTAMP_TZ
-
[SPARK-47924] [SC-163282][CORE] Добавить журнал отладки в
DiskStore.moveFileToBlock
- [SPARK-47897] [SC-163183][SQL][3.5] Исправление регрессии производительности ExpressionSet в scala 2.12
- [SPARK-47565] [SC-161786][PYTHON] Устойчивость рабочего пула PySpark при сбоях
- [SPARK-47885] [SC-162989][PYTHON][CONNECT] Сделать pyspark.resource совместимым с pyspark-connect
-
[SPARK-47887] [SC-163122][CONNECT] Удаление неиспользуемого импорта
spark/connect/common.proto
изspark/connect/relations.proto
- [SPARK-47751] [SC-161991][PYTHON][CONNECT] Сделать pyspark.worker_utils совместимым с pyspark-connect
- [SPARK-47691] [SC-161760][SQL] Postgres: поддержка многомерного массива на стороне записи
- [SPARK-47617] [SC-162513][SQL] Добавление инфраструктуры тестирования TPC-DS для колляций
- [SPARK-47356] [SC-162858][SQL] Добавлена поддержка ConcatWs & Elt (все параметры сортировки)
-
[SPARK-47543] [SC-161234][CONNECT][PYTHON] Вывод
dict
какMapType
из кадра данных Pandas для возможности создания кадра данных - [SPARK-47863] [SC-162974][SQL] Исправление запускается & заканчивает реализацию с поддержкой сортировкиWith для ICU
- [SPARK-47867] [SC-162966][SQL] Вариант поддержки в сканировании JSON.
- [SPARK-47366] [SC-162475][SQL][PYTHON] Добавить VariantVal для PySpark
- [SPARK-47803] [SC-162726][SQL] Поддержка приведения к типу "variant".
- [SPARK-47769] [SC-162841][SQL] Добавить выражение schema_of_variant_agg.
- [SPARK-47420] [SC-162842][SQL] Исправление выходных данных теста
- [SPARK-47430] [SC-161178][SQL] Поддержка GROUP BY для MapType
- [SPARK-47357] [SC-162751][SQL] Добавьте поддержку верхнего, нижнего, initCap (все параметры сортировки)
- [SPARK-47788] [SC-162729][SS] Обеспечение того же хэш-секционирования для операций с отслеживанием состояния потоковой передачи
- [SPARK-47776] [SC-162291][SS] Запретить использование двоичной коллации неравенства в схеме ключей оператора с отслеживанием состояния
- [SPARK-47673] [SC-162824][SS] Реализация TTL для ListState
- [SPARK-47818] [SC-162845][CONNECT] Введение кэша планов в SparkConnectPlanner для повышения производительности запросов анализа
- [SPARK-47694] [SC-162783][CONNECT] Настройка максимального размера сообщения на стороне клиента
- [SPARK-47274] Revert "[SC-162479][PYTHON][SQL] Укажите больше использования...
- [SPARK-47616] [SC-161193][SQL] Добавление пользовательского документа для сопоставления типов данных SQL Spark из MySQL
- [SPARK-47862] [SC-162837][PYTHON][CONNECT]Исправление генерации proto-файлов
- [SPARK-47849] [SC-162724][PYTHON][CONNECT] Изменили скрипт выпуска для выпуска pyspark-connect
- [SPARK-47410] [SC-162518][SQL] Рефакторинг UTF8String и CollationFactory
- [SPARK-47807] [SC-162505][PYTHON][ML] Сделать pyspark.ml совместимым с pyspark-connect
- [SPARK-47707] [SC-161768][SQL] Специальная обработка типа JSON для соединителя MySQL/J 5.x
- [SPARK-47765] Revert "[SC-162636][SQL] Добавление SET СОРТИРОВКИ для синтаксического анализа...
- [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Улучшение удобства использования обработчика хода выполнения
- [SPARK-47289] [SC-161877][SQL] Разрешить расширениям регистрировать расширенные сведения в плане объяснения
- [SPARK-47274] [SC-162479][PYTHON][SQL] Обеспечить более полезный контекст для ошибок API PySpark DataFrame
- [SPARK-47765] [SC-162636][SQL] Добавить SET СОРТИРОВКУ в правила синтаксического анализа
-
[SPARK-47828] [SC-162722][CONNECT][PYTHON]
DataFrameWriterV2.overwrite
завершается сбоем из-за недопустимого плана - [SPARK-47812] [SC-162696][CONNECT] Поддержка сериализации SparkSession для рабочей роли ForEachBatch
- [SPARK-47253] [SC-162698][CORE] Позволить LiveEventBus остановиться без полного опустошения очереди событий
- [SPARK-47827] [SC-162625][PYTHON] Отсутствующие предупреждения для устаревших функций
- [SPARK-47733] [SC-162628][SS] Добавление пользовательских метрик для оператора transformWithState в рамках прогресса выполнения запроса
- [SPARK-47784] [SC-162623][SS] Слияние TTLMode и TimeoutMode в единый TimeMode.
- [SPARK-47775] [SC-162319][SQL] Поддержка оставшихся скалярных типов в спецификации вариантов.
- [SPARK-47736] [SC-162503][SQL] Добавление поддержки AbstractArrayType
- [SPARK-47081] [SC-161758][CONNECT] Поддержка прогресса выполнения запросов
- [SPARK-47682] [SC-162138][SQL] Поддержка преобразования из варианта.
- [SPARK-47802] [SC-162478][SQL] Revert () от значения структуры () обратно к значению *
- [SPARK-47680] [SC-162318][SQL] Добавление выражения variant_explode.
-
[SPARK-47809] [SC-162511][SQL]
checkExceptionInExpression
должен проверять наличие ошибок для каждого режима кодогенерации -
[SPARK-41811] [SC-162470][PYTHON][CONNECT] Реализовать
SQLStringFormatter
сWithRelations
- [SPARK-47693] [SC-162326][SQL] Провести оптимизацию для сравнения строк в нижнем регистре UTF8String, используемых в сортировке UTF8_BINARY_LCASE
- [SPARK-47541] [SC-162006][SQL] Сортировка строк в сложных типах, поддерживающих операции обратной, array_join, сцепка, карта
- [SPARK-46812] [SC-161535][CONNECT][PYTHON] Сделать поддержку ResourceProfile в функциях mapInPandas / mapInArrow
- [SPARK-47727] [SC-161982][PYTHON] Установить SparkConf на корневой уровень для SparkSession и SparkContext.
- [SPARK-47406] [SC-159376][SQL] Обработка TIMESTAMP и DATETIME в MYSQLDialect
- [SPARK-47081] Отмена “[SC-161758][CONNECT] Поддержка выполнения запросов…
- [SPARK-47681] [SC-162043][SQL] Добавить выражение schema_of_variant.
- [SPARK-47783] [SC-162222] Добавьте недостающие SQLSTATEs и очистите Y000, чтобы использовать…
- [SPARK-47634] [SC-161558][SQL] Добавить устаревшую поддержку для отключения нормализации ключей карты
- [SPARK-47746] [SC-162022] Реализация порядково-ориентированной кодировки диапазонов в RocksDBStateEncoder
- [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec всегда должен использовать context.session.
- [SPARK-47643] [SC-161534][SS][PYTHON] Добавление теста pyspark для источника потоковой передачи Python
- [SPARK-47582] [SC-161943][SQL] Миграция logInfo с переменными в структурированную систему журналирования
- [SPARK-47558] [SC-162007][SS] Поддержка TTL состояния для ValueState
- [SPARK-47358] [SC-160912][SQL][COLLATION] Улучшение поддержки повторяемых выражений для возврата правильного типа данных
- [SPARK-47504] [SC-162044][SQL] Разрешение simpleStrings для AbstractDataType в StringTypeCollated
- [SPARK-47719] Revert "[SC-161909][SQL] Изменение spark.sql.legacy.t...
- [SPARK-47657] [SC-162010][SQL] Реализация поддержки спуска фильтрации по правилам сортировки для каждого источника файла
- [SPARK-47081] [SC-161758][CONNECT] Поддержка прогресса выполнения запросов
- [SPARK-47744] [SC-161999] Добавьте поддержку отрицательных байтов в кодировщике диапазона
- [SPARK-47713] [SC-162009][SQL][CONNECT] Исправлена ошибка самостоятельного соединения
- [SPARK-47310] [SC-161930][SS] Добавьте микро-бенчмарк для операций слияния для нескольких значений в части состояния хранилища
- [SPARK-47700] [SC-161774][SQL] Исправление форматирования сообщений об ошибках с помощью treeNode
- [SPARK-47752] [SC-161993][PS][CONNECT] Make pyspark.pandas совместим с pyspark-connect
- [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Реализация API logWarning/logInfo в структурированной платформе ведения журнала
- [SPARK-47107] [SC-161201][SS][PYTHON] Реализация средства чтения секций для источника данных потоковой передачи Python
- [SPARK-47553] [SC-161772][SS] Добавление поддержки Java для API-интерфейсов операторов transformWithState
- [SPARK-47719] [SC-161909][SQL] Изменение значения по умолчанию spark.sql.legacy.timeParserPolicy на ИСПРАВЛЕНО
- [SPARK-47655] [SC-161761][SS] Интеграция таймера с обработкой начального состояния для state-v2
- [SPARK-47665] [SC-161550][SQL] Использование SMALLINT для записи ShortType в MYSQL
- [SPARK-47210] [SC-161777][SQL] Добавление неявного приведения без неопределенной поддержки
- [SPARK-47653] [SC-161767][SS] Добавление поддержки отрицательных числовых типов и кодировщика ключей сканирования диапазона
- [SPARK-46743] [SC-160777][SQL] Ошибка в подсчёте в результате константного свертывания
- [SPARK-47525] [SC-154568][SQL] Поддержка корреляции подзапросов при объединении по атрибутам карты
- [SPARK-46366] [SC-151277][SQL] Используйте выражение WITH в BETWEEN, чтобы избежать повторяющихся выражений
- [SPARK-47563] [SC-161183][SQL] Добавление нормализации карты при создании
- [SPARK-42040] [SC-161171][SQL] SPJ: введение нового API для входного раздела версии V2 для предоставления статистики разделов
-
[SPARK-47679] [SC-161549][SQL] Используйте
HiveConf.getConfVars
или названия настроек Hive напрямую -
[SPARK-47685] [SC-161566][SQL] Восстановите поддержку типа
Stream
вDataset#groupBy
- [SPARK-47646] [SC-161352][SQL] Сделайте try_to_number возвращать значение NULL для неправильно сформированных входных данных
- [SPARK-47366] [SC-161324][PYTHON] Добавить псевдонимы для pyspark и DataFrame parse_json
-
[SPARK-47491] [SC-161176][CORE] Добавьте
slf4j-api
jar-файл в путь к классу в первую очередь относительно других файлов директорииjars
. - [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty проецирует CommandResults локально
-
[SPARK-47364] [SC-158927][CORE] Сделайте
PluginEndpoint
предупреждать, когда подключаемые модули отвечают на одностороннее сообщение - [SPARK-47280] [SC-158350][SQL] Удаление ограничения часового пояса для ORACLE TIMESTAMP WITH TIMEZONE
- [SPARK-47551] [SC-161542][SQL] Добавление выражения variant_get.
-
[SPARK-47559] [SC-161255][SQL] Codegen Support for variant
parse_json
- [SPARK-47572] [SC-161351][SQL] Требовать, чтобы спецификации партиций Window были упорядочиваемыми.
- [SPARK-47546] [SC-161241][SQL] Улучшить проверку при чтении Variant из Parquet
-
[SPARK-47543] [SC-161234][CONNECT][PYTHON] Вывод
dict
какMapType
из кадра данных Pandas для возможности создания кадра данных - [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Создание столбца с коллатурами в API DataFrame
-
[SPARK-47641] [SC-161376][SQL] Повышение производительности
UnaryMinus
иAbs
-
[SPARK-47631] [SC-161325][SQL] Удалить неиспользуемый метод
SQLConf.parquetOutputCommitterClass
-
[SPARK-47674] [SC-161504][CORE] Включить
spark.metrics.appStatusSource.enabled
по умолчанию - [SPARK-47273] [SC-161162][SS][PYTHON] реализует интерфейс записи потоков данных Python.
- [SPARK-47637] [SC-161408][SQL] Используйте errorCapturingIdentifier в большем количестве мест
- [SPARK-47497] Отменить “Отменить “[SC-160724][SQL] Сделать поддержку to_csv для вывода массива/структур/карт/бинарных данных в виде читабельных строк””
- [SPARK-47492] [SC-161316][SQL] Расширение правил пробелов в лексере
- [SPARK-47664] [SC-161475][PYTHON][CONNECT] Проверка имени столбца с кэшированной схемой
- [SPARK-47638] [SC-161339][PS][CONNECT] Пропустить проверку имени столбца в PS
- [SPARK-47363] [SC-161247][SS] Начальное состояние без реализации средства чтения состояний для API состояния версии 2.
- [SPARK-47447] [SC-160448][SQL] Разрешить чтение Parquet TimestampLTZ как TimestampNTZ
-
[SPARK-47497] Отменить «[SC-160724][SQL] Сделать так, чтобы
to_csv
поддерживал выводarray/struct/map/binary
как красивые строки». -
[SPARK-47434] [SC-160122][WEBUI] Исправление
statistics
ссылки наStreamingQueryPage
- [SPARK-46761] [SC-159045][SQL] Строки в кавычках в пути JSON должны поддерживать ? символы
-
[SPARK-46915] [SC-155729][SQL] Упростить
UnaryMinus
Abs
и выровнять класс ошибок - [SPARK-47431] [SC-160919][SQL] Добавление параметров сортировки по умолчанию на уровне сеанса
- [SPARK-47620] [SC-161242][PYTHON][CONNECT] Добавление вспомогательной функции для сортировки столбцов
- [SPARK-47570] [SC-161165][SS] Интеграция изменений кодировщика диапазона с реализацией таймера
-
[SPARK-47497] [SC-160724][SQL] Сделать так, чтобы
to_csv
поддерживал выводarray/struct/map/binary
как красивых строк. -
[SPARK-47562] [SC-161166][CONNECT] Обработка литерала вне
plan.py
- [SPARK-47509] [SC-160902][SQL] Блокировать выражения вложенных запросов в лямбда-функции и функции более высокого порядка
-
[SPARK-47539] [SC-160750][SQL] Сделайте возвращаемое значение метода
castToString
Any => UTF8String
- [SPARK-47372] [SC-160905][SS] Добавьте поддержку кодировщика состояния ключа на основе сканирования диапазона для использования с поставщиком хранилища состояний.
- [SPARK-47517] [SC-160642][CORE][SQL] Предпочитать Utils.bytesToString для отображения размера
-
[SPARK-47243] [SC-158059][SS] Исправьте имя пакета
StateMetadataSource.scala
- [SPARK-47367] [SC-160913][PYTHON][CONNECT] Поддержка источников данных Python с помощью Spark Connect
-
[SPARK-47521] [SC-160666][CORE] Использовать
Utils.tryWithResource
при чтении данных шффла из внешнего хранилища - [SPARK-47474] [SC-160522][CORE] Revert SPARK-47461 и добавить комментарии
- [SPARK-47560] [SC-160914][PYTHON][CONNECT] Избегайте использования RPC для проверки имени столбца при наличии кэшированной схемы
- [SPARK-47451] [SC-160749][SQL] Поддержка to_json(variant).
- [SPARK-47528] [SC-160727][SQL] Добавление поддержки UserDefinedType в DataTypeUtils.canWrite
- [SPARK-44708] Revert "[SC-160734][PYTHON] Миграция test_reset_index assert_eq для использования assertDataFrameEqual"
- [SPARK-47506] [SC-160740][SQL] Добавьте поддержку для всех форматов источников файлов для параметров с сортировкой
- [SPARK-47256] [SC-160784][SQL] Назначьте имена классам ошибок _LEGACY_ERROR_TEMP_102[4-7]
- [SPARK-47495] [SC-160720][CORE] Исправьте первичный jar-файл ресурса, добавленный в spark.jars дважды в режиме кластера k8s
- [SPARK-47398] [SC-160572][SQL] Извлечение признака для InMemoryTableScanExec для расширения функциональных возможностей
- [SPARK-47479] [SC-160623][SQL] Оптимизация не удается записать данные в отношения с несколькими путями доступа в журнал ошибок
- [SPARK-47483] [SC-160629][SQL] Добавление поддержки операций агрегирования и объединения для массивов из сортированных строк.
- [SPARK-47458] [SC-160237][CORE] Исправлена проблема с вычислением максимальной параллельной задачи для этапа барьера
-
[SPARK-47534] [SC-160737][SQL] Перемещение
o.a.s.variant
вo.a.s.types.variant
- [SPARK-47396] [SC-159312][SQL] Добавление общего сопоставления для TIME WITHOUT TIME ZONE с TimestampNTZType
- [SPARK-44708] [SC-160734][PYTHON] Миграция test_reset_index assert_eq на использование assertDataFrameEqual
- [SPARK-47309] [SC-1577333][SC-160398][SQL] XML: добавление тестов вывода схемы для тегов значений
-
[SPARK-47007] [SC-160630][SQL] Добавьте выражение
MapSort
-
[SPARK-47523] [SC-160645][SQL] Замените устаревшие
JsonParser#getCurrentName
наJsonParser#currentName
- [SPARK-47440] [SC-160635][SQL] Исправление отправки неподдерживаемого синтаксиса в MsSqlServer
- [SPARK-47512] [SC-160617][SS] Тип операции, связанный с тегом, при использовании с блокировкой/разблокировкой экземпляра хранилища состояний RocksDB
- [SPARK-47346] [SC-159425][PYTHON] Сделать демон-режим настраиваемым при создании рабочих планировщиков Python
-
[SPARK-47446] [SC-160163][CORE] Убедитесь, что
BlockManager
предупреждает заранееremoveBlockInternal
- [SPARK-46526] [SC-156099][SQL] Поддержка LIMIT по сопоставленным вложенным запросам, где предикаты ссылаются только на внешнюю таблицу
-
[SPARK-47461] [SC-160297][CORE] Удаление частной функции
totalRunningTasksPerResourceProfile
изExecutorAllocationManager
- [SPARK-47422] [SC-160219][SQL] Поддержка упорядоченных строк в операциях с массивами
-
[SPARK-47500] [SC-160627][PYTHON][CONNECT] Выделение обработки имен столбцов из
plan.py
-
[SPARK-47383] [SC-160144][CORE] Поддержка
spark.shutdown.timeout
конфигурации - [SPARK-47342] [SC-159049]Revert "[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE"
-
[SPARK-47486] [SC-160491][CONNECT] Удалить неиспользуемый закрытый
ArrowDeserializers.getString
метод - [SPARK-47233] [SC-154486][CONNECT][SS][SS][2/2] Логика сервера & сервера для прослушивателя запросов потоковой передачи на стороне клиента
- [SPARK-47487] [SC-160534][SQL] Упрощение кода в AnsiTypeCoercion
- [SPARK-47443] [SC-160459][SQL] Поддержка агрегирования окон для параметров сортировки
- [SPARK-47296] [SC-160457][SQL][COLLATION] Сбой неподдерживаемых функций для не двоичных сортировок
- [SPARK-47380] [SC-160164][CONNECT] Обеспечьте на стороне сервера, чтобы SparkSession оставался неизменным.
- [SPARK-47327] [SC-160069][SQL] Перемещение проверки параллелизма ключей сортировки в CollationFactorySuite
- [SPARK-47494] [SC-160495][Doc] Добавить документацию по миграции для изменения поведения инференса меток времени Parquet начиная с версии Spark 3.3
- [SPARK-47449] [SC-160372][SS] Рефакторинг и разделение модульных тестов списка и таймера
-
[SPARK-46473] [SC-155663][SQL] Повторно использовать метод
getPartitionedFile
- [SPARK-47423] [SC-160068][SQL] Параметры сортировки — настройка поддержки операций для строк с параметрами сортировки
- [SPARK-47439] [SC-160115][PYTHON] Документировать API источника данных Python на странице справочника API
-
[SPARK-47457] [SC-160234][SQL] Исправление
IsolatedClientLoader.supportsHadoopShadedClient
для обработки Hadoop 3.4+ - [SPARK-47366] [SC-159348][SQL] Реализация parse_json.
- [SPARK-46331] [SC-152982][SQL] Удаление CodegenFallback из подмножества выражений DateTime и выражений version()
- [SPARK-47395] [SC-159404] Добавьте упорядочение и колляцию в другие API
-
[SPARK-47437] [SC-160117][PYTHON][CONNECT] Исправьте класс ошибок для
DataFrame.sort*
- [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Серверная часть SparkConnectListenerBusListener для слушателя потоковых запросов на клиентской стороне
- [SPARK-47324] [SC-158720][SQL] Добавить недостающую конвертацию меток времени для вложенных типов JDBC
- [SPARK-46962] [SC-158834][SS][PYTHON] Добавление интерфейса для API источника потоковых данных на Python и реализация рабочего модуля на Python для запуска источника потоковых данных на Python
- [SPARK-45827] [SC-158498][SQL] Перемещение проверок типов данных в CreatableRelationProvider
- [SPARK-47342] [SC-158874][SQL] Поддержка TimestampNTZ для DB2 TIMESTAMP С ЧАСОВЫМ ПОЯСОМ
- [SPARK-47399] [SC-159378][SQL] Отключить созданные столбцы для выражений с колляциями
- [SPARK-47146] [SC-158247][CORE] Возможная утечка потоков при объединении слиянием и сортировкой
- [SPARK-46913] [SC-159149][SS] Добавьте поддержку таймеров на основе времени обработки и времени событий с оператором transformWithState
-
[SPARK-47375] [SC-159063][SQL] Добавление рекомендаций по сопоставлению меток времени в
JdbcDialect#getCatalystType
- [SPARK-47394] [SC-159282][SQL] Поддержка TIMESTAMP WITH TIME ZONE для H2Dialect
- [SPARK-45827] Отмена изменения "[SC-158498][SQL] Переместить проверки типов данных в ...
- [SPARK-47208] [SC-159279][CORE] Разрешить переопределение базовой памяти
- [SPARK-42627] [SC-158021][SPARK-26494][SQL] Поддержка Oracle TIMESTAMP С локальным часовыми поясами
- [SPARK-47055] [SC-156916][PYTHON] Обновление MyPy 1.8.0
- [SPARK-46906] [SC-157205][SS] Добавить проверку изменения оператора с сохранением состояния для потоковой передачи
- [SPARK-47391] [SC-159283][SQL] Удалите обходное решение для JDK 8
- [SPARK-47272] [SC-158960][SS] Добавление реализации MapState для API состояния версии 2.
- [SPARK-47375] [SC-159278][Документация][Дальнейшие действия] Исправлена ошибка в документации по параметру JDBC preferTimestampNTZ
- [SPARK-42328] [SC-157363][SQL] Удаление _LEGACY_ERROR_TEMP_1175 из классов ошибок
- [SPARK-47375] [SC-159261][Doc][FollowUp] Исправьте описание параметра preferTimestampNTZ в документе JDBC
- [SPARK-47344] [SC-159146] Расширение ошибки INVALID_IDENTIFIER за пределами перехвата "-" в неквотируемый идентификатор и исправление "IS! NULL" et al.
- [SPARK-47340] [SC-159039][SQL] Измените "collate" в типе данных StringType на нижний регистр
- [SPARK-47087] [SC-157077][SQL] Генерация исключения Spark с использованием класса ошибки при проверке значения конфигурации
- [SPARK-47327] [SC-158824][SQL] Исправлена проблема безопасности потоков в ICU Collator
- [SPARK-47082] [SC-157058][SQL] Исправление состояния ошибки вне границ
- [SPARK-47331] [SC-158719][SS] Сериализация с помощью классов регистров/примитивов/POJO на основе кодировщика SQL для API произвольного состояния версии 2.
- [SPARK-47250] [SC-158840][SS] Добавление дополнительных проверок и изменений NERF для поставщика состояний RocksDB и использования семейств столбцов
- [SPARK-47328] [SC-158745][SQL] Переименуйте параметры сортировки UCS_BASIC на UTF8_BINARY
-
[SPARK-47207] [SC-157845][CORE] Поддержка
spark.driver.timeout
иDriverTimeoutPlugin
- [SPARK-47370] [SC-158956][Документация] Добавление документации по миграции: вывод типа TimestampNTZ в файлах Parquet
- [SPARK-47309] [SC-158827][SQL][XML] Добавление модульных тестов вывода схемы
-
[SPARK-47295] [SC-158850][SQL] Добавлен ICU StringSearch для функций
startsWith
иendsWith
-
[SPARK-47343] [SC-158851][SQL] Исправление NPE, если значение переменной
sqlString
равно null строке при немедленном выполнении -
[SPARK-46293] [SC-150117][CONNECT][PYTHON] Использовать транзитивную зависимость
protobuf
-
[SPARK-46795] [SC-154143][SQL] Замените
UnsupportedOperationException
наSparkUnsupportedOperationException
вsql/core
- [SPARK-46087] [SC-149023][PYTHON] Синхронизация зависимостей PySpark в документации и требованиях к разработке
- [SPARK-47169] [SC-158848][SQL] Отключить разбиение на сегменты в коллатированных столбцах
- [SPARK-42332] [SC-153996][SQL] Изменение требования к SparkException в ComplexTypeMergingExpression
- [SPARK-45827] [SC-158498][SQL] Перемещение проверок типов данных в CreatableRelationProvider
- [SPARK-47341] [SC-158825][Connect] Замените команды связями в нескольких тестах в SparkConnectClientSuite
- [SPARK-43255] [SC-158026][SQL] Замените класс ошибок _LEGACY_ERROR_TEMP_2020 внутренней ошибкой
- [SPARK-47248] [SC-158494][SQL][COLLATION] Улучшена поддержка строковых функций: содержит
-
[SPARK-47334] [SC-158716][SQL] Сделайте
withColumnRenamed
повторно использовать реализациюwithColumnsRenamed
- [SPARK-46442] [SC-153168][SQL] DS V2 поддерживает отправку PERCENTILE_CONT и PERCENTILE_DISC
- [SPARK-47313] [SC-158747][SQL] Добавлена обработка scala.MatchError внутри QueryExecution.toInternalError
- [SPARK-45827] [SC-158732][SQL] Добавление одного типа варианта для Java
- [SPARK-47337] [SC-158743][SQL][DOCKER] Обновление версии образа docker DB2 до версии 11.5.8.0
- [SPARK-47302] [SC-158609][SQL] Использование ключевого слова Collate как идентификатора
-
[SPARK-46817] [SC-154196][CORE] Исправьте использование
spark-daemon.sh
, добавив командуdecommission
-
[SPARK-46739] [SC-153553][SQL] Добавьте класс ошибок
UNSUPPORTED_CALL
-
[SPARK-47102] [SC-158253][SQL] Добавьте флаг конфигурации
COLLATION_ENABLED
- [SPARK-46774] [SC-153925][SQL][AVRO] Используйте mapreduce.output.fileoutputformat.compress вместо устаревшего mapred.output.compress в заданиях на запись Avro
- [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: таймаут, если работник не подключается обратно.
- [SPARK-46835] [SC-158355][SQL][Параметры сортировки] Поддержка соединения для небинарных параметров сортировки
- [SPARK-47131] [SC-158154][SQL][COLLATION] Поддержка строковой функции: contains, startswith, endswith
- [SPARK-46077] [SC-157839][SQL] Рассмотрим тип, созданный timestampNTZConverter в JdbcDialect.compileValue.
- [SPARK-47311] [SC-158465][SQL][PYTHON] Подавление исключений Python, в которых PySpark не находится в пути Python
- [SPARK-47319] [SC-158599][SQL] Улучшение расчета отсутствующего ввода inputs
- [SPARK-47316] [SC-158606][SQL] Исправление TimestampNTZ в массиве Postgres
- [SPARK-47268] [SC-158158][SQL][Параметры сортировки] Поддержка повторного разбиения с параметрами сортировки
- [SPARK-47191] [SC-157831][SQL] Избежание ненужного поиска отношений при очистке кэша таблицы или представления
- [SPARK-47168] [SC-158257][SQL] Отключить pushdown фильтра parquet при работе со строками с нестандартной сортировкой
-
[SPARK-47236] [SC-158015][CORE] Исправление
deleteRecursivelyUsingJavaIO
для пропуска ввода несуществующих файлов - [SPARK-47238] [SC-158466][SQL] Сокращение памяти, используемой исполнителем, путем превращения сгенерированного кода в WSCG в широковещательную переменную
- [SPARK-47249] [SC-158133][CONNECT] Исправлена ошибка, из-за которой все выполнения операций подключения рассматриваются как заброшенные независимо от их фактического состояния
- [SPARK-47202] [SC-157828][PYTHON] Исправление опечатки, мешающей обработке даты и времени с tzinfo
- [SPARK-46834] [SC-158139][SQL][Параметры сортировки] Поддержка агрегатов
- [SPARK-47277] [SC-158351][3.5] PySpark util function assertDataFrameEqual не должен поддерживать потоковую передачу DF
- [SPARK-47155] [SC-158473][PYTHON] Исправлена проблема с классом ошибок
- [SPARK-47245] [SC-158163][SQL] Улучшить код ошибки для INVALID_PARTITION_COLUMN_DATA_TYPE
-
[SPARK-39771] [SC-158425][CORE] Добавление сообщения-предупреждения в
Dependency
при создании слишком большого количества блоков перетасовки. - [SPARK-47277] [SC-158329] Утилита PySpark функция assertDataFrameEqual не должна поддерживать потоковую передачу данных.
- [SPARK-47293] [SC-158356][CORE] Build batchSchema с sparkSchema вместо постепенного добавления
- [SPARK-46732] [SC-153517][CONNECT] Настроить поток подкзапроса/трансляции для работы с управлением артефактами Connect.
- [SPARK-44746] [SC-1583332][PYTHON] Добавление дополнительной документации по Python UDTF для функций, которые принимают входные таблицы
- [SPARK-47120] [SC-157517][SQL] Перенос фильтра данных с сравнением значений NULL из подзапроса вызывает NPE в фильтре Parquet
-
[SPARK-47251] [SC-158291][PYTHON] Блокировать недопустимые типы из аргумента
args
для командыsql
-
[SPARK-47251] Отменить "[SC-158121][PYTHON] Блокировать недопустимые типы из аргумента
args
для командыsql
". - [SPARK-47015] [SC-157900][SQL] Отключить секционирование на столбцах с учетом правила сортировки
-
[SPARK-46846] [SC-154308][CORE] Сделать
WorkerResourceInfo
расширяющимSerializable
явно - [SPARK-46641] [SC-156314][SS] Добавление порогового значения maxBytesPerTrigger
-
[SPARK-47244] [SC-158122][CONNECT]
SparkConnectPlanner
сделать внутренние функции закрытыми -
[SPARK-47266] [SC-158146][CONNECT] Сделать
ProtoUtils.abbreviate
возвращать тот же тип, что и входные данные. - [SPARK-46961] [SC-158183][SS] Использование ProcessorContext для хранения и извлечения дескриптора
- [SPARK-46862] [SC-154548][SQL] Отключить очистку столбцов CSV в многострочный режиме
-
[SPARK-46950] [SC-155803][CORE][SQL] Выравнивание
not available codec
класса ошибок -
[SPARK-46368] [SC-153236][CORE] Поддержка
readyz
в API отправки REST - [SPARK-46806] [SC-154108][PYTHON] Улучшение сообщения об ошибке для spark.table при неправильном типе аргумента
- [SPARK-47211] [SC-158008][CONNECT][PYTHON] Исправить игнорируемую сортировку строк в PySpark Connect
-
[SPARK-46552] [SC-151366][SQL] Замените
UnsupportedOperationException
наSparkUnsupportedOperationException
вcatalyst
- [SPARK-47147] [SC-157842][PYTHON][SQL] Исправлена ошибка преобразования упорядоченных строк PySpark
- [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Исправлена ошибка сортировки Spark Connect, добавив поле collateId protobuf
- [SPARK-46575] [SC-153200][SQL][HIVE] Сделать HiveThriftServer2.startWithContext DevelopApi повторяемым и исправить нестабильность ThriftServerWithSparkContextInHttpSuite
- [SPARK-46696] [SC-1538332][CORE] В ResourceProfileManager вызовы функций должны возникать после объявления переменных
- [SPARK-47214] [SC-157862][Python] Создание API UDTF для метода «анализ», чтобы различать аргументы, являющиеся константами NULL, и другие типы аргументов.
- [SPARK-46766] [SC-153909][SQL][AVRO] Поддержка буферного пула ZSTD для источника данных AVRO
- [SPARK-47192] [SC-157819] Преобразование некоторых ошибок _LEGACY_ERROR_TEMP_0035
- [SPARK-46928] [SC-157341][SS] Добавьте поддержку ListState в API произвольного состояния версии 2.
-
[SPARK-46881] [SC-154612][CORE] Поддержка
spark.deploy.workerSelectionPolicy
-
[SPARK-46800] [SC-154107][CORE] Поддержка
spark.deploy.spreadOutDrivers
- [SPARK-45484] [SC-146014][SQL] Исправлена ошибка, использующая неправильный кодек сжатия parquet lz4raw
- [SPARK-46791] [SC-154018][SQL] Поддержка Java Set в JavaTypeInference
-
[SPARK-46332] [SC-150224][SQL] Миграция
CatalogNotFoundException
в класс ошибокCATALOG_NOT_FOUND
- [SPARK-47164] [SC-157616][SQL] Обеспечить, чтобы значение по умолчанию, полученное из более широкого типа и суженное до литерала в v2, вело себя так же, как и в v1.
-
[SPARK-46664] [SC-153181][CORE] Улучшение
Master
для быстрого восстановления в случае отсутствия рабочих и приложений - [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz и zstandard поддерживают уровень сжатия для avro-файлов
Поддержка драйвера ODBC/JDBC Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).
См. Databricks Runtime 15.2 обновления обслуживания.
Системная среда
- операционная система: Ubuntu 22.04.4 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.11.0
- R: 4.3.2
- Delta Lake: 3.2.0
Установленные библиотеки Python
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | бэкколл | 0.2.0 |
чёрный | 23.3.0 | поворотник | 1.4 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | сертификат | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
щелчок | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
контурная диаграмма | 1.0.5 | криптография | 41.0.3 | циклер | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | декоратор | 5.1.1 | distlib | 0.3.8 |
точки входа | 0.4 | Выполнение | 0.8.3 | обзор аспектов | 1.1.1 |
блокировка файлов | 3.13.1 | шрифтовые инструменты | 4.25.0 | gitdb | 4.0.11 |
GitPython | 3.1.43 | google-api-core | 2.18.0 | аутентификация Google | 2.29.0 |
google-cloud-core | 2.4.1 | хранилище Google Cloud | 2.16.0 | google-crc32c | 1.5.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | джедаи | 0.18.1 | джипни (популярный общественный транспорт на Филиппинах) | 0.7.1 |
jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | нажатие клавиш | 23.5.0 | kiwisolver | 1.4.4 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | Оаутхлиб | 3.2.0 | упаковка | 23.2 |
Панды | 1.5.3 | синтаксический анализ | 0.8.3 | pathspec | 0.10.3 |
простофиля | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Подушка | 9.4.0 | зерно | 23.2.1 | platformdirs | 3.10.0 |
график | 5.9.0 | Prompt Toolkit | 3.0.36 | proto-plus | 1.23.0 |
protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc — библиотека Python для работы с базами данных через ODBC | 4.0.38 |
pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
Запросы | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.1 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | мореборн | 0.12.2 |
SecretStorage | 3.3.1 | setuptools | 68.0.0 | Шесть | 1.16.0 |
smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
стековых данных | 0.2.0 | statsmodels | 0.14.0 | цепкость | 8.2.2 |
Threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | торнадо | 6.3.2 |
трейлеты | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | автоматическое обновление без участия пользователя | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
колесо | 0.38.4 | ZIPP | 3.11.0 |
установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка CRAN диспетчера пакетов Posit
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
стрела | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
внутренние порты | 1.4.1 | основа | 4.3.2 | base64enc | 0.1-3 |
bigD | 0.2.0 | бит | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-7 | сгусток | 1.2.4 | сапог | 1.3-28 |
заваривать | 1.0-10 | живость | 1.1.4 | метла | 1.0.5 |
bslib | 0.6.1 | cachem | 1.0.8 | вызывающий объект | 3.7.3 |
кареточный знак | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
класс | 7.3-22 | cli | 3.6.2 | Clipr | 0.8.0 |
часы | 0.7.0 | кластер | 2.1.4 | codetools | 0.2-19 |
цветовое пространство | 2.1-0 | commonmark | 1.9.1 | составитель | 4.3.2 |
конфиг | 0.3.2 | В состоянии внутреннего конфликта | 1.2.0 | cpp11 | 0.4.7 |
карандаш | 1.5.2 | верительные грамоты | 2.0.1 | локон | 5.2.0 |
data.table | 1.15.0 | Наборы данных | 4.3.2 | DBI | 1.2.1 |
dbplyr | 2.4.0 | описание | 1.4.3 | средства разработки | 2.4.5 |
диаграмма | 1.6.5 | diffobj | 0.3.5 | дайджест | 0.6.34 |
направленный вниз свет | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | многоточие | 0.3.2 | оценивать | 0.23 |
фанаты | 1.0.6 | Цвета | 2.1.1 | fastmap | 1.1.1 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
иностранный | 0.8-85 | кузница | 0.2.0 | fs | 1.6.3 |
будущее | 1.33.1 | future.apply | 1.11.1 | полоскать | 1.5.2 |
Дженерики | 0.1.3 | Герт | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | глобальные | 0.16.2 | клей | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Говер | 1.0.1 |
графика | 4.3.2 | grDevices | 4.3.2 | сетка | 4.3.2 |
gridExtra | 2.3 | gsubfn | 0,7 | gt; | 0.10.1 |
gtable | 0.3.4 | каска | 1.3.1 | гавань | 2.5.4 |
выше | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | Идентификаторы | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-14 | isoband | 0.2.7 | Итераторы | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | сочный сок | 0.1.0 |
KernSmooth | 2.23-21 | knitr | 1.45 | маркирование | 0.4.3 |
позже | 1.3.2 | решётка | 0.21-8 | лава | 1.7.3 |
жизненный цикл | 1.0.4 | прослушиватель | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | Markdown | 1.12 | МАССА | 7.3-60 |
Матрица | 1.5-4.1 | memoise | 2.0.1 | методика | 4.3.2 |
mgcv | 1.8-42 | мим | 0.12 | miniUI | 0.1.1.1 |
mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.1.1 | параллельный | 4.3.2 |
параллельно | 1.36.0 | столб | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | хвалить | 1.0.0 |
prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
prodlim | 2023.08.28 | profvis | 0.3.8 | прогресс | 1.2.3 |
progressr | 0.14.0 | Обещания | 1.2.1 | прото | 1.0.0 |
доверенность | 0.4-27 | P.S. | 1.7.6 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | реактивный стол | 0.4.4 |
ReactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
Рецепты | 1.0.9 | реванш | 2.0.0 | Реванш 2 | 2.1.2 |
Пульты | 2.4.2.1 | репрекс | 2.1.0 | reshape2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
rversions | 2.1.2 | rvest | 1.0.3 | дерзость | 0.4.8 |
весы | 1.3.0 | селектор | 0.4-2 | информация о сеансе | 1.2.2 |
форма | 1.4.6 | блестящий | 1.8.0 | sourcetools | 0.1.7-1 |
Sparklyr | 1.8.4 | пространственный | 7.3-15 | Сплайны | 4.3.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | Статистика | 4.3.2 |
статистика4 | 4.3.2 | стринги | 1.8.3 | stringr | 1.5.1 |
выживание | 3.5-5 | самоуверенность | 3.33.1 | sys | 3.4.2 |
systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
формирование текста | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.0 | tidyverse | 2.0.0 | смена времени | 0.3.0 |
ВремяДата | 4032.109 | tinytex | 0.49 | инструменты | 4.3.2 |
tzdb | 0.4.0 | проверщик URL | 1.0.1 | используйэто | 2.2.2 |
utf8 | 1.2.4 | утилиты | 4.3.2 | uuid (универсальный уникальный идентификатор) | 1.2-0 |
V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
vroom | 1.6.5 | Уолдо | 0.5.2 | усы | 0.4.1 |
withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
zeallot | 0.1.0 | молния | 2.3.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
Идентификатор группы | Идентификатор артефакта | Версия |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
com.amazonaws | aws-java-sdk-config | 1.12.610 |
com.amazonaws | aws-java-sdk-core | 1.12.610 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
com.amazonaws | aws-java-sdk-directory | 1.12.610 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
com.amazonaws | aws-java-sdk-efs | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
com.amazonaws | aws-java-sdk-emr | 1.12.610 |
com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
com.amazonaws | aws-java-sdk-glue | 1.12.610 |
com.amazonaws | aws-java-sdk-iam | 1.12.610 |
com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
com.amazonaws | aws-java-sdk-kms | 1.12.610 |
com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
com.amazonaws | aws-java-sdk-logs | 1.12.610 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
com.amazonaws | aws-java-sdk-rds | 1.12.610 |
com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
com.amazonaws | aws-java-sdk-ses | 1.12.610 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
com.amazonaws | aws-java-sdk-sns | 1.12.610 |
com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
com.amazonaws | aws-java-sdk-sts | 1.12.610 |
com.amazonaws | aws-java-sdk-support | 1.12.610 |
com.amazonaws | aws-java-sdk-swf-библиотеки | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
com.amazonaws | jmespath-java | 1.12.610 |
com.clearspring.analytics | поток | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.17.1 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | крио-затенённый | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | одноклассник | 1.3.4 |
com.fasterxml.jackson.core | аннотации Джексона | 2.15.2 |
com.fasterxml.jackson.core | джексон-ядро | 2.15.2 |
com.fasterxml.jackson.core | джексон-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | джексон-модуль-паранэймер | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | кофеин | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | нативная_система-Java | 1.1 |
com.github.fommil.netlib | нативная_система-Java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | оттенок | 1.9.0 |
com.google.errorprone | аннотации_с_ошибками | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | гуава | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | Профилировщик | 1.1.1 |
com.ibm.icu | icu4j | 72.1 |
com.jcraft | JSch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | конфиг | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | ХикариCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
Commons-logging | Commons-logging | 1.1.3 |
коммонс-пул | коммонс-пул | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | Блас | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | воздушный компрессор | 0.25 |
io.delta | delta-sharing-client_2.12 | 1.0.5 |
io.dropwizard.metrics | метрики-аннотация | 4.2.19 |
io.dropwizard.metrics | метрики ядра | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | Проверка метрик на работоспособность | 4.2.19 |
io.dropwizard.metrics | метрики-Jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | метрики-сервлеты | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | нетти-общий | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-прокси | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | коллекционер | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | активация | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | api транзакций | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | рассол | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | муравей | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | Формат со стрелками | 15.0.0 |
org.apache.arrow | стрелка-память-ядро | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | стрелка-вектор | 15.0.0 |
org.apache.avro | Авро | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | куратор-клиент | 2.13.0 |
org.apache.curator | куратор-фреймворк | 2.13.0 |
org.apache.curator | рецепты куратора | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | дерби | 10.14.2.0 |
org.apache.hadoop | hadoop-клиент-рантайм | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | хив-шимы | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | плющ | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-шейд-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-шейд-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | аннотации для аудитории | 0.13.0 |
org.apache.zookeeper | смотритель зоопарка | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | джексон-core-asl | 1.9.13 |
org.codehaus.jackson | Джексон-маппер-ASL | 1.9.13 |
org.codehaus.janino | commons-компилятор | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | Eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-продолжение | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | джетти-плюс | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | система безопасности причала | 9.4.52.v20230823 |
org.eclipse.jetty | Jetty-сервер | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | сервер WebSocket | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-локатор ресурсов | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | Jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | джерси-клиент | 2.40 |
org.glassfish.jersey.core | джерси-common | 2.40 |
org.glassfish.jersey.core | Jersey-сервер | 2.40 |
org.glassfish.jersey.inject | джерси-hk2 | 2.40 |
org.hibernate.validator | хибернация-валидатор | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Окончательно |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Аннотации | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | Прокладки | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | тестовый интерфейс | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | совместимый с Scalatest | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | тритен-экстра | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |