Поделиться через

Databricks Runtime 15.2 (EoS)

  • Статья

Заметка

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в журнале завершения поддержки. Для получения информации обо всех поддерживаемых версиях среды выполнения Databricks, см. заметки о версиях выпуска Databricks Runtime иинформацию о совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.2, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в мае 2024 года.

Совет

Чтобы просмотреть заметки о выпуске версий среды выполнения Databricks, достигших окончания поддержки (EoS), см. заметки о выпуске Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Изменения поведения

Вакуум очищает файлы метаданных COPY INTO

Запуск VACUUM в таблице, созданной с использованием COPY INTO, теперь удаляет неассоциированные метаданные, связанные с отслеживанием приема файлов. Никакого влияния на операционную семантику COPY INTOнет.

Федерация Lakehouse общедоступна (GA)

В Databricks Runtime 15.2 и более поздних версиях соединители федерации Lakehouse в следующих типах баз данных общедоступны (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Снежинка
  • Microsoft SQL Server
  • Azure Synapse (хранилище данных SQL)
  • Databricks

В этом выпуске также представлены следующие улучшения:

  • Поддержка аутентификации с помощью единого входа (SSO) в коннекторах Snowflake и Microsoft SQL Server.

  • Поддержка Azure Private Link для соединителя SQL Server в средах бессерверных вычислений. См. шаг 3: Создание правил частной конечной точки.

  • Поддержка дополнительных операций pushdown (строковых, математических и прочих функций).

  • Улучшена скорость успешного выполнения pushdown в разных формах запросов.

  • Дополнительные возможности отладки pushdown:

    • В выходных данных EXPLAIN FORMATTED отображается отложенный текст запроса.
    • Пользовательский интерфейс профиля запроса отображает переданный текст запроса, идентификаторы федеративного узла и время выполнения запроса JDBC (в деталированном режиме). См. просмотр системных федеративных запросов.

BY POSITION для сопоставления столбцов с помощью COPY INTO с файлами CSV без заголовков

В Databricks Runtime 15.2 и более поздних версиях можно использовать ключевые слова BY POSITION (или альтернативный синтаксис ( col_name [ , <col_name> ... ] )) с COPY INTO для файлов CSV без заголовков, чтобы упростить сопоставление исходных столбцов с целевыми столбцами таблицы. См. параметры .

Уменьшение потребления памяти при сбое задач Spark с ошибкой Resubmitted

В Databricks Runtime 15.2 и более поздних версиях возвращаемое значение метода Spark TaskInfo.accumulables() пусто, если задачи завершаются ошибкой Resubmitted. Ранее метод вернул значения предыдущей успешной попытки задачи. Это изменение поведения влияет на следующих потребителей:

  • Задачи Spark, использующие класс EventLoggingListener.
  • Пользовательские прослушиватели Spark.

Чтобы восстановить предыдущее поведение, задайте для spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled значение false.

Просмотр версий плана адаптивного выполнения запросов отключен

Чтобы уменьшить потребление памяти, версии плана адаптивного выполнения запросов (AQE) теперь отключены по умолчанию в пользовательском интерфейсе Spark. Чтобы включить просмотр версий плана AQE в пользовательском интерфейсе Spark, задайте для spark.databricks.sql.aqe.showPlanChangesInUI.enabled значение true.

Ограничение на сохраненные запросы снижается, чтобы уменьшить использование памяти пользовательского интерфейса Spark.

В Databricks Runtime 15.2 и более поздних версиях, чтобы уменьшить объем памяти, потребляемой пользовательским интерфейсом Spark в вычислениях Azure Databricks, ограничение на количество запросов, видимых в пользовательском интерфейсе, снижается с 1000 до 100. Чтобы изменить ограничение, задайте новое значение с помощью конфигурации spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY теперь отображаются столбцы кластеризации для таблиц, использующих жидкую кластеризацию

При выполнении запроса DESCRIBE HISTORY столбец operationParameters по умолчанию отображает поле clusterBy для операций CREATE OR REPLACE и OPTIMIZE. Для разностной таблицы, использующей кластеризацию жидкости, поле clusterBy заполняется столбцами кластеризации таблицы. Если таблица не использует кластеризацию жидкости, поле пусто.

Новые функции и улучшения

Поддержка первичных и внешних ключей — общедоступная версия

Общедоступна поддержка первичных и внешних ключей в Databricks Runtime. Выпуск общедоступной версии включает следующие изменения привилегий, необходимых для использования первичных и внешних ключей:

  • Чтобы определить внешний ключ, необходимо иметь права SELECT в таблице с первичным ключом, на который ссылается внешний ключ. Вам не нужно владеть таблицей с первичным ключом, который ранее требовался.
  • Удаление первичного ключа с помощью предложения CASCADE не требует привилегий для таблиц, определяющих внешние ключи, ссылающиеся на первичный ключ. Ранее необходимо было владеть таблицами ссылок.
  • Для удаления таблицы, включающей ограничения, теперь требуются те же привилегии, что и для удаления таблиц, которые не включают ограничения.

Сведения об использовании первичных и внешних ключей с таблицами или представлениями см. в предложении, предложении и предложении.

Жидкостная кластеризация находится в стадии общей доступности

Поддержка кластеризации жидкости теперь общедоступна с помощью Databricks Runtime 15.2 и более поздних версий. См. Использование кластеризации жидкости для таблиц Delta.

Расширение типов в общедоступной предварительной версии

Теперь можно включить расширение типов в таблицах, поддерживаемых Delta Lake. Таблицы с включенным расширением типов позволяют изменять тип столбцов на более широкий тип данных без перезаписи базовых файлов данных. См. расширение типа.

Предложение эволюции схемы, добавленное в синтаксис слияния SQL

Теперь можно добавить условие WITH SCHEMA EVOLUTION в оператор слияния SQL, чтобы включить эволюцию схемы для этой операции. См. синтаксис эволюции схемы для слияния.

Пользовательские источники данных PySpark доступны в общедоступной предварительной версии

Источник данных PySpark можно создать с помощью API источника данных Python (PySpark), который позволяет читать из пользовательских источников данных и записывать их в пользовательские приемники данных в Apache Spark с помощью Python. См. пользовательские источники данных PySpark

applyInPandas и mapInPandas теперь доступны в вычислительных ресурсах каталога Unity с общим доступом

В рамках обслуживания версии Databricks Runtime 14.3 LTS теперь поддерживаются типы UDF applyInPandas и mapInPandas для общедоступных вычислений, работающих под управлением Databricks Runtime 14.3 и более поздних версий.

Используйте dbutils.widgets.getAll(), чтобы получить все виджеты в записной книжке.

Используйте dbutils.widgets.getAll(), чтобы получить все значения виджетов в записной книжке. Это особенно полезно при передаче нескольких значений мини-приложений в sql-запрос Spark.

Поддержка инвентаризации вакуумной техники

Теперь можно указать инвентаризацию файлов, которые следует учитывать при выполнении команды VACUUM в таблице Delta. См. документы OSS Delta .

Поддержка функций сжатия Zstandard

Теперь можно использовать функции zst_compress, zstd_decompressи try_zstd_decompress для сжатия и распаковки BINARY данных.

Исправления ошибок

Планы запросов в пользовательском интерфейсе SQL теперь правильно отображаются PhotonWriteStage

При отображении в пользовательском интерфейсе SQL команды write в планах запросов неправильно отображались PhotonWriteStage в качестве оператора. В этом выпуске пользовательский интерфейс обновляется, чтобы отобразить PhotonWriteStage в качестве этапа. Это изменение пользовательского интерфейса только и не влияет на выполнение запросов.

Ray обновляется, чтобы устранить проблемы с запуском кластеров Ray

Этот выпуск включает исправленную версию Ray, которая устраняет критическое изменение, которое предотвращает запуск кластеров Ray с Databricks Runtime для машинного обучения. Это изменение гарантирует, что функциональность Ray идентична версиям Databricks Runtime до 15.2.

Исправлен класс ошибок для функций DataFrame.sort() и DataFrame.sortWithinPartitions()

Этот выпуск включает обновление функций DataFrame.sort() и DataFrame.sortWithinPartitions() в PySpark, чтобы гарантировать, что при передаче ZERO_INDEX как аргумента индекса возникает класс ошибки 0. Ранее была выброшена ошибка класса INDEX_NOT_POSITIVE.

ipywidgets понижен с 8.0.4 до 7.7.2

Чтобы устранить ошибки, введенные обновлением ipywidgets до версии 8.0.4 в Databricks Runtime 15.0, ipywidgets понижен до 7.7.2 в Databricks Runtime 15.2. Это та же версия, что и в предыдущих версиях Databricks Runtime.

Обновления библиотеки

  • Обновленные библиотеки Python:
    • GitPython от 3.1.42 до 3.1.43
    • google-api-core от 2.17.1 до 2.18.0
    • google-auth от 2.28.1 до 2.29.0
    • google-cloud-storage с 2.15.0 до 2.16.0
    • googleapis-common-protos с 1.62.0 до 1.63.0
    • ipywidgets от 8.0.4 до 7.7.2
    • mlflow-skinny с 2.11.1 до 2.11.3
    • s3transfer от 0.10.0 до 0.10.1
    • sqlparse от 0.4.4 до 0.5.0
    • typing_extensions от 4.7.1 до 4.10.0
  • Обновленные библиотеки R:
  • Обновленные библиотеки Java:
    • com.amazonaws.aws-java-sdk-autoscaling от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-config с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-core от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-directory с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-ecs от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-efs с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-emr от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-glacier с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-glue с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-iam с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-importexport с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-kms от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-lambda с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-logs от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-rds с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-redshift с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-route53 с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-s3 от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-ses с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-sns от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-sqs с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-ssm с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-sts от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-support от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces от 1.12.390 до 1.12.610
    • com.amazonaws.jmespath-java с 1.12.390 до 1.12.610

Apache Spark

Databricks Runtime 15.2 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Распространение ошибок инициализации рабочей роли ForeachBatch пользователям для PySpark
  • [SPARK-47412] [SC-163455][SQL] Добавьте поддержку сортировки для LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Внести значительные изменения в конфигурацию
  • [SPARK-46820] [SC-157093][PYTHON] Исправление регрессии сообщения об ошибке путем восстановления new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Менеджеры ресурсов: структурированная миграция журналов
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Добавление вариантных функций в Scala и Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Добавление страницы Environment в главный пользовательский интерфейс
  • [SPARK-47805] [SC-163459][SS] Реализация TTL для MapState
  • [SPARK-47900] [SC-163326] Исправление проверки неявного сравнения (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Сделать выражения вычисления текущего времени* свертываемыми
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Поддержка типа столбца в функции разделения для scala и python
  • [SPARK-47754] [SC-162144][SQL] Postgres: поддержка чтения многомерных массивов
  • [SPARK-47416] [SC-163001][SQL] Добавление новых функций в CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Исправлена агрегатная ошибка в RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Реализация выражения is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Сделайте CollectTailExec.doExecute ленивым с помощью RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect отличает TIMESTAMP от TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Добавить журнал отладки в DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Исправление регрессии производительности ExpressionSet в scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Устойчивость рабочего пула PySpark при сбоях
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Сделать pyspark.resource совместимым с pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Удаление неиспользуемого импорта spark/connect/common.proto из spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Сделать pyspark.worker_utils совместимым с pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: поддержка многомерного массива на стороне записи
  • [SPARK-47617] [SC-162513][SQL] Добавление инфраструктуры тестирования TPC-DS для колляций
  • [SPARK-47356] [SC-162858][SQL] Добавлена поддержка ConcatWs & Elt (все параметры сортировки)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Вывод dict как MapType из кадра данных Pandas для возможности создания кадра данных
  • [SPARK-47863] [SC-162974][SQL] Исправление запускается & заканчивает реализацию с поддержкой сортировкиWith для ICU
  • [SPARK-47867] [SC-162966][SQL] Вариант поддержки в сканировании JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Добавить VariantVal для PySpark
  • [SPARK-47803] [SC-162726][SQL] Поддержка приведения к типу "variant".
  • [SPARK-47769] [SC-162841][SQL] Добавить выражение schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Исправление выходных данных теста
  • [SPARK-47430] [SC-161178][SQL] Поддержка GROUP BY для MapType
  • [SPARK-47357] [SC-162751][SQL] Добавьте поддержку верхнего, нижнего, initCap (все параметры сортировки)
  • [SPARK-47788] [SC-162729][SS] Обеспечение того же хэш-секционирования для операций с отслеживанием состояния потоковой передачи
  • [SPARK-47776] [SC-162291][SS] Запретить использование двоичной коллации неравенства в схеме ключей оператора с отслеживанием состояния
  • [SPARK-47673] [SC-162824][SS] Реализация TTL для ListState
  • [SPARK-47818] [SC-162845][CONNECT] Введение кэша планов в SparkConnectPlanner для повышения производительности запросов анализа
  • [SPARK-47694] [SC-162783][CONNECT] Настройка максимального размера сообщения на стороне клиента
  • [SPARK-47274] Revert "[SC-162479][PYTHON][SQL] Укажите больше использования...
  • [SPARK-47616] [SC-161193][SQL] Добавление пользовательского документа для сопоставления типов данных SQL Spark из MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Исправление генерации proto-файлов
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Изменили скрипт выпуска для выпуска pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Рефакторинг UTF8String и CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Сделать pyspark.ml совместимым с pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Специальная обработка типа JSON для соединителя MySQL/J 5.x
  • [SPARK-47765] Revert "[SC-162636][SQL] Добавление SET СОРТИРОВКИ для синтаксического анализа...
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Улучшение удобства использования обработчика хода выполнения
  • [SPARK-47289] [SC-161877][SQL] Разрешить расширениям регистрировать расширенные сведения в плане объяснения
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Обеспечить более полезный контекст для ошибок API PySpark DataFrame
  • [SPARK-47765] [SC-162636][SQL] Добавить SET СОРТИРОВКУ в правила синтаксического анализа
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite завершается сбоем из-за недопустимого плана
  • [SPARK-47812] [SC-162696][CONNECT] Поддержка сериализации SparkSession для рабочей роли ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Позволить LiveEventBus остановиться без полного опустошения очереди событий
  • [SPARK-47827] [SC-162625][PYTHON] Отсутствующие предупреждения для устаревших функций
  • [SPARK-47733] [SC-162628][SS] Добавление пользовательских метрик для оператора transformWithState в рамках прогресса выполнения запроса
  • [SPARK-47784] [SC-162623][SS] Слияние TTLMode и TimeoutMode в единый TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Поддержка оставшихся скалярных типов в спецификации вариантов.
  • [SPARK-47736] [SC-162503][SQL] Добавление поддержки AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Поддержка прогресса выполнения запросов
  • [SPARK-47682] [SC-162138][SQL] Поддержка преобразования из варианта.
  • [SPARK-47802] [SC-162478][SQL] Revert () от значения структуры () обратно к значению *
  • [SPARK-47680] [SC-162318][SQL] Добавление выражения variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression должен проверять наличие ошибок для каждого режима кодогенерации
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Реализовать SQLStringFormatter с WithRelations
  • [SPARK-47693] [SC-162326][SQL] Провести оптимизацию для сравнения строк в нижнем регистре UTF8String, используемых в сортировке UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Сортировка строк в сложных типах, поддерживающих операции обратной, array_join, сцепка, карта
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Сделать поддержку ResourceProfile в функциях mapInPandas / mapInArrow
  • [SPARK-47727] [SC-161982][PYTHON] Установить SparkConf на корневой уровень для SparkSession и SparkContext.
  • [SPARK-47406] [SC-159376][SQL] Обработка TIMESTAMP и DATETIME в MYSQLDialect
  • [SPARK-47081] Отмена “[SC-161758][CONNECT] Поддержка выполнения запросов…
  • [SPARK-47681] [SC-162043][SQL] Добавить выражение schema_of_variant.
  • [SPARK-47783] [SC-162222] Добавьте недостающие SQLSTATEs и очистите Y000, чтобы использовать…
  • [SPARK-47634] [SC-161558][SQL] Добавить устаревшую поддержку для отключения нормализации ключей карты
  • [SPARK-47746] [SC-162022] Реализация порядково-ориентированной кодировки диапазонов в RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec всегда должен использовать context.session.
  • [SPARK-47643] [SC-161534][SS][PYTHON] Добавление теста pyspark для источника потоковой передачи Python
  • [SPARK-47582] [SC-161943][SQL] Миграция logInfo с переменными в структурированную систему журналирования
  • [SPARK-47558] [SC-162007][SS] Поддержка TTL состояния для ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Улучшение поддержки повторяемых выражений для возврата правильного типа данных
  • [SPARK-47504] [SC-162044][SQL] Разрешение simpleStrings для AbstractDataType в StringTypeCollated
  • [SPARK-47719] Revert "[SC-161909][SQL] Изменение spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Реализация поддержки спуска фильтрации по правилам сортировки для каждого источника файла
  • [SPARK-47081] [SC-161758][CONNECT] Поддержка прогресса выполнения запросов
  • [SPARK-47744] [SC-161999] Добавьте поддержку отрицательных байтов в кодировщике диапазона
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Исправлена ошибка самостоятельного соединения
  • [SPARK-47310] [SC-161930][SS] Добавьте микро-бенчмарк для операций слияния для нескольких значений в части состояния хранилища
  • [SPARK-47700] [SC-161774][SQL] Исправление форматирования сообщений об ошибках с помощью treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Make pyspark.pandas совместим с pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Реализация API logWarning/logInfo в структурированной платформе ведения журнала
  • [SPARK-47107] [SC-161201][SS][PYTHON] Реализация средства чтения секций для источника данных потоковой передачи Python
  • [SPARK-47553] [SC-161772][SS] Добавление поддержки Java для API-интерфейсов операторов transformWithState
  • [SPARK-47719] [SC-161909][SQL] Изменение значения по умолчанию spark.sql.legacy.timeParserPolicy на ИСПРАВЛЕНО
  • [SPARK-47655] [SC-161761][SS] Интеграция таймера с обработкой начального состояния для state-v2
  • [SPARK-47665] [SC-161550][SQL] Использование SMALLINT для записи ShortType в MYSQL
  • [SPARK-47210] [SC-161777][SQL] Добавление неявного приведения без неопределенной поддержки
  • [SPARK-47653] [SC-161767][SS] Добавление поддержки отрицательных числовых типов и кодировщика ключей сканирования диапазона
  • [SPARK-46743] [SC-160777][SQL] Ошибка в подсчёте в результате константного свертывания
  • [SPARK-47525] [SC-154568][SQL] Поддержка корреляции подзапросов при объединении по атрибутам карты
  • [SPARK-46366] [SC-151277][SQL] Используйте выражение WITH в BETWEEN, чтобы избежать повторяющихся выражений
  • [SPARK-47563] [SC-161183][SQL] Добавление нормализации карты при создании
  • [SPARK-42040] [SC-161171][SQL] SPJ: введение нового API для входного раздела версии V2 для предоставления статистики разделов
  • [SPARK-47679] [SC-161549][SQL] Используйте HiveConf.getConfVars или названия настроек Hive напрямую
  • [SPARK-47685] [SC-161566][SQL] Восстановите поддержку типа Stream в Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Сделайте try_to_number возвращать значение NULL для неправильно сформированных входных данных
  • [SPARK-47366] [SC-161324][PYTHON] Добавить псевдонимы для pyspark и DataFrame parse_json
  • [SPARK-47491] [SC-161176][CORE] Добавьте slf4j-api jar-файл в путь к классу в первую очередь относительно других файлов директории jars.
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty проецирует CommandResults локально
  • [SPARK-47364] [SC-158927][CORE] Сделайте PluginEndpoint предупреждать, когда подключаемые модули отвечают на одностороннее сообщение
  • [SPARK-47280] [SC-158350][SQL] Удаление ограничения часового пояса для ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Добавление выражения variant_get.
  • [SPARK-47559] [SC-161255][SQL] Codegen Support for variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Требовать, чтобы спецификации партиций Window были упорядочиваемыми.
  • [SPARK-47546] [SC-161241][SQL] Улучшить проверку при чтении Variant из Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Вывод dict как MapType из кадра данных Pandas для возможности создания кадра данных
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Создание столбца с коллатурами в API DataFrame
  • [SPARK-47641] [SC-161376][SQL] Повышение производительности UnaryMinus и Abs
  • [SPARK-47631] [SC-161325][SQL] Удалить неиспользуемый метод SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][CORE] Включить spark.metrics.appStatusSource.enabled по умолчанию
  • [SPARK-47273] [SC-161162][SS][PYTHON] реализует интерфейс записи потоков данных Python.
  • [SPARK-47637] [SC-161408][SQL] Используйте errorCapturingIdentifier в большем количестве мест
  • [SPARK-47497] Отменить “Отменить “[SC-160724][SQL] Сделать поддержку to_csv для вывода массива/структур/карт/бинарных данных в виде читабельных строк””
  • [SPARK-47492] [SC-161316][SQL] Расширение правил пробелов в лексере
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Проверка имени столбца с кэшированной схемой
  • [SPARK-47638] [SC-161339][PS][CONNECT] Пропустить проверку имени столбца в PS
  • [SPARK-47363] [SC-161247][SS] Начальное состояние без реализации средства чтения состояний для API состояния версии 2.
  • [SPARK-47447] [SC-160448][SQL] Разрешить чтение Parquet TimestampLTZ как TimestampNTZ
  • [SPARK-47497] Отменить «[SC-160724][SQL] Сделать так, чтобы to_csv поддерживал вывод array/struct/map/binary как красивые строки».
  • [SPARK-47434] [SC-160122][WEBUI] Исправление statistics ссылки на StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Строки в кавычках в пути JSON должны поддерживать ? символы
  • [SPARK-46915] [SC-155729][SQL] Упростить UnaryMinusAbs и выровнять класс ошибок
  • [SPARK-47431] [SC-160919][SQL] Добавление параметров сортировки по умолчанию на уровне сеанса
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Добавление вспомогательной функции для сортировки столбцов
  • [SPARK-47570] [SC-161165][SS] Интеграция изменений кодировщика диапазона с реализацией таймера
  • [SPARK-47497] [SC-160724][SQL] Сделать так, чтобы to_csv поддерживал вывод array/struct/map/binary как красивых строк.
  • [SPARK-47562] [SC-161166][CONNECT] Обработка литерала вне plan.py
  • [SPARK-47509] [SC-160902][SQL] Блокировать выражения вложенных запросов в лямбда-функции и функции более высокого порядка
  • [SPARK-47539] [SC-160750][SQL] Сделайте возвращаемое значение метода castToStringAny => UTF8String
  • [SPARK-47372] [SC-160905][SS] Добавьте поддержку кодировщика состояния ключа на основе сканирования диапазона для использования с поставщиком хранилища состояний.
  • [SPARK-47517] [SC-160642][CORE][SQL] Предпочитать Utils.bytesToString для отображения размера
  • [SPARK-47243] [SC-158059][SS] Исправьте имя пакета StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Поддержка источников данных Python с помощью Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Использовать Utils.tryWithResource при чтении данных шффла из внешнего хранилища
  • [SPARK-47474] [SC-160522][CORE] Revert SPARK-47461 и добавить комментарии
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Избегайте использования RPC для проверки имени столбца при наличии кэшированной схемы
  • [SPARK-47451] [SC-160749][SQL] Поддержка to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Добавление поддержки UserDefinedType в DataTypeUtils.canWrite
  • [SPARK-44708] Revert "[SC-160734][PYTHON] Миграция test_reset_index assert_eq для использования assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][SQL] Добавьте поддержку для всех форматов источников файлов для параметров с сортировкой
  • [SPARK-47256] [SC-160784][SQL] Назначьте имена классам ошибок _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Исправьте первичный jar-файл ресурса, добавленный в spark.jars дважды в режиме кластера k8s
  • [SPARK-47398] [SC-160572][SQL] Извлечение признака для InMemoryTableScanExec для расширения функциональных возможностей
  • [SPARK-47479] [SC-160623][SQL] Оптимизация не удается записать данные в отношения с несколькими путями доступа в журнал ошибок
  • [SPARK-47483] [SC-160629][SQL] Добавление поддержки операций агрегирования и объединения для массивов из сортированных строк.
  • [SPARK-47458] [SC-160237][CORE] Исправлена проблема с вычислением максимальной параллельной задачи для этапа барьера
  • [SPARK-47534] [SC-160737][SQL] Перемещение o.a.s.variant в o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Добавление общего сопоставления для TIME WITHOUT TIME ZONE с TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Миграция test_reset_index assert_eq на использование assertDataFrameEqual
  • [SPARK-47309] [SC-1577333][SC-160398][SQL] XML: добавление тестов вывода схемы для тегов значений
  • [SPARK-47007] [SC-160630][SQL] Добавьте выражение MapSort
  • [SPARK-47523] [SC-160645][SQL] Замените устаревшие JsonParser#getCurrentName на JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Исправление отправки неподдерживаемого синтаксиса в MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Тип операции, связанный с тегом, при использовании с блокировкой/разблокировкой экземпляра хранилища состояний RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Сделать демон-режим настраиваемым при создании рабочих планировщиков Python
  • [SPARK-47446] [SC-160163][CORE] Убедитесь, что BlockManager предупреждает заранее removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Поддержка LIMIT по сопоставленным вложенным запросам, где предикаты ссылаются только на внешнюю таблицу
  • [SPARK-47461] [SC-160297][CORE] Удаление частной функции totalRunningTasksPerResourceProfile из ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Поддержка упорядоченных строк в операциях с массивами
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Выделение обработки имен столбцов из plan.py
  • [SPARK-47383] [SC-160144][CORE] Поддержка spark.shutdown.timeout конфигурации
  • [SPARK-47342] [SC-159049]Revert "[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE"
  • [SPARK-47486] [SC-160491][CONNECT] Удалить неиспользуемый закрытый ArrowDeserializers.getString метод
  • [SPARK-47233] [SC-154486][CONNECT][SS][SS][2/2] Логика сервера & сервера для прослушивателя запросов потоковой передачи на стороне клиента
  • [SPARK-47487] [SC-160534][SQL] Упрощение кода в AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Поддержка агрегирования окон для параметров сортировки
  • [SPARK-47296] [SC-160457][SQL][COLLATION] Сбой неподдерживаемых функций для не двоичных сортировок
  • [SPARK-47380] [SC-160164][CONNECT] Обеспечьте на стороне сервера, чтобы SparkSession оставался неизменным.
  • [SPARK-47327] [SC-160069][SQL] Перемещение проверки параллелизма ключей сортировки в CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Добавить документацию по миграции для изменения поведения инференса меток времени Parquet начиная с версии Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Рефакторинг и разделение модульных тестов списка и таймера
  • [SPARK-46473] [SC-155663][SQL] Повторно использовать метод getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Параметры сортировки — настройка поддержки операций для строк с параметрами сортировки
  • [SPARK-47439] [SC-160115][PYTHON] Документировать API источника данных Python на странице справочника API
  • [SPARK-47457] [SC-160234][SQL] Исправление IsolatedClientLoader.supportsHadoopShadedClient для обработки Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Реализация parse_json.
  • [SPARK-46331] [SC-152982][SQL] Удаление CodegenFallback из подмножества выражений DateTime и выражений version()
  • [SPARK-47395] [SC-159404] Добавьте упорядочение и колляцию в другие API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Исправьте класс ошибок для DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Серверная часть SparkConnectListenerBusListener для слушателя потоковых запросов на клиентской стороне
  • [SPARK-47324] [SC-158720][SQL] Добавить недостающую конвертацию меток времени для вложенных типов JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Добавление интерфейса для API источника потоковых данных на Python и реализация рабочего модуля на Python для запуска источника потоковых данных на Python
  • [SPARK-45827] [SC-158498][SQL] Перемещение проверок типов данных в CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Поддержка TimestampNTZ для DB2 TIMESTAMP С ЧАСОВЫМ ПОЯСОМ
  • [SPARK-47399] [SC-159378][SQL] Отключить созданные столбцы для выражений с колляциями
  • [SPARK-47146] [SC-158247][CORE] Возможная утечка потоков при объединении слиянием и сортировкой
  • [SPARK-46913] [SC-159149][SS] Добавьте поддержку таймеров на основе времени обработки и времени событий с оператором transformWithState
  • [SPARK-47375] [SC-159063][SQL] Добавление рекомендаций по сопоставлению меток времени в JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Поддержка TIMESTAMP WITH TIME ZONE для H2Dialect
  • [SPARK-45827] Отмена изменения "[SC-158498][SQL] Переместить проверки типов данных в ...
  • [SPARK-47208] [SC-159279][CORE] Разрешить переопределение базовой памяти
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Поддержка Oracle TIMESTAMP С локальным часовыми поясами
  • [SPARK-47055] [SC-156916][PYTHON] Обновление MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Добавить проверку изменения оператора с сохранением состояния для потоковой передачи
  • [SPARK-47391] [SC-159283][SQL] Удалите обходное решение для JDK 8
  • [SPARK-47272] [SC-158960][SS] Добавление реализации MapState для API состояния версии 2.
  • [SPARK-47375] [SC-159278][Документация][Дальнейшие действия] Исправлена ошибка в документации по параметру JDBC preferTimestampNTZ
  • [SPARK-42328] [SC-157363][SQL] Удаление _LEGACY_ERROR_TEMP_1175 из классов ошибок
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Исправьте описание параметра preferTimestampNTZ в документе JDBC
  • [SPARK-47344] [SC-159146] Расширение ошибки INVALID_IDENTIFIER за пределами перехвата "-" в неквотируемый идентификатор и исправление "IS! NULL" et al.
  • [SPARK-47340] [SC-159039][SQL] Измените "collate" в типе данных StringType на нижний регистр
  • [SPARK-47087] [SC-157077][SQL] Генерация исключения Spark с использованием класса ошибки при проверке значения конфигурации
  • [SPARK-47327] [SC-158824][SQL] Исправлена проблема безопасности потоков в ICU Collator
  • [SPARK-47082] [SC-157058][SQL] Исправление состояния ошибки вне границ
  • [SPARK-47331] [SC-158719][SS] Сериализация с помощью классов регистров/примитивов/POJO на основе кодировщика SQL для API произвольного состояния версии 2.
  • [SPARK-47250] [SC-158840][SS] Добавление дополнительных проверок и изменений NERF для поставщика состояний RocksDB и использования семейств столбцов
  • [SPARK-47328] [SC-158745][SQL] Переименуйте параметры сортировки UCS_BASIC на UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Поддержка spark.driver.timeout и DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Документация] Добавление документации по миграции: вывод типа TimestampNTZ в файлах Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Добавление модульных тестов вывода схемы
  • [SPARK-47295] [SC-158850][SQL] Добавлен ICU StringSearch для функций startsWith и endsWith
  • [SPARK-47343] [SC-158851][SQL] Исправление NPE, если значение переменной sqlString равно null строке при немедленном выполнении
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Использовать транзитивную зависимость protobuf
  • [SPARK-46795] [SC-154143][SQL] Замените UnsupportedOperationException на SparkUnsupportedOperationException в sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Синхронизация зависимостей PySpark в документации и требованиях к разработке
  • [SPARK-47169] [SC-158848][SQL] Отключить разбиение на сегменты в коллатированных столбцах
  • [SPARK-42332] [SC-153996][SQL] Изменение требования к SparkException в ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Перемещение проверок типов данных в CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Замените команды связями в нескольких тестах в SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Замените класс ошибок _LEGACY_ERROR_TEMP_2020 внутренней ошибкой
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Улучшена поддержка строковых функций: содержит
  • [SPARK-47334] [SC-158716][SQL] Сделайте withColumnRenamed повторно использовать реализацию withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 поддерживает отправку PERCENTILE_CONT и PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Добавлена обработка scala.MatchError внутри QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Добавление одного типа варианта для Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Обновление версии образа docker DB2 до версии 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Использование ключевого слова Collate как идентификатора
  • [SPARK-46817] [SC-154196][CORE] Исправьте использование spark-daemon.sh, добавив команду decommission
  • [SPARK-46739] [SC-153553][SQL] Добавьте класс ошибок UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Добавьте флаг конфигурации COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Используйте mapreduce.output.fileoutputformat.compress вместо устаревшего mapred.output.compress в заданиях на запись Avro
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: таймаут, если работник не подключается обратно.
  • [SPARK-46835] [SC-158355][SQL][Параметры сортировки] Поддержка соединения для небинарных параметров сортировки
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Поддержка строковой функции: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Рассмотрим тип, созданный timestampNTZConverter в JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Подавление исключений Python, в которых PySpark не находится в пути Python
  • [SPARK-47319] [SC-158599][SQL] Улучшение расчета отсутствующего ввода inputs
  • [SPARK-47316] [SC-158606][SQL] Исправление TimestampNTZ в массиве Postgres
  • [SPARK-47268] [SC-158158][SQL][Параметры сортировки] Поддержка повторного разбиения с параметрами сортировки
  • [SPARK-47191] [SC-157831][SQL] Избежание ненужного поиска отношений при очистке кэша таблицы или представления
  • [SPARK-47168] [SC-158257][SQL] Отключить pushdown фильтра parquet при работе со строками с нестандартной сортировкой
  • [SPARK-47236] [SC-158015][CORE] Исправление deleteRecursivelyUsingJavaIO для пропуска ввода несуществующих файлов
  • [SPARK-47238] [SC-158466][SQL] Сокращение памяти, используемой исполнителем, путем превращения сгенерированного кода в WSCG в широковещательную переменную
  • [SPARK-47249] [SC-158133][CONNECT] Исправлена ошибка, из-за которой все выполнения операций подключения рассматриваются как заброшенные независимо от их фактического состояния
  • [SPARK-47202] [SC-157828][PYTHON] Исправление опечатки, мешающей обработке даты и времени с tzinfo
  • [SPARK-46834] [SC-158139][SQL][Параметры сортировки] Поддержка агрегатов
  • [SPARK-47277] [SC-158351][3.5] PySpark util function assertDataFrameEqual не должен поддерживать потоковую передачу DF
  • [SPARK-47155] [SC-158473][PYTHON] Исправлена проблема с классом ошибок
  • [SPARK-47245] [SC-158163][SQL] Улучшить код ошибки для INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Добавление сообщения-предупреждения в Dependency при создании слишком большого количества блоков перетасовки.
  • [SPARK-47277] [SC-158329] Утилита PySpark функция assertDataFrameEqual не должна поддерживать потоковую передачу данных.
  • [SPARK-47293] [SC-158356][CORE] Build batchSchema с sparkSchema вместо постепенного добавления
  • [SPARK-46732] [SC-153517][CONNECT] Настроить поток подкзапроса/трансляции для работы с управлением артефактами Connect.
  • [SPARK-44746] [SC-1583332][PYTHON] Добавление дополнительной документации по Python UDTF для функций, которые принимают входные таблицы
  • [SPARK-47120] [SC-157517][SQL] Перенос фильтра данных с сравнением значений NULL из подзапроса вызывает NPE в фильтре Parquet
  • [SPARK-47251] [SC-158291][PYTHON] Блокировать недопустимые типы из аргумента args для команды sql
  • [SPARK-47251] Отменить "[SC-158121][PYTHON] Блокировать недопустимые типы из аргумента args для команды sql".
  • [SPARK-47015] [SC-157900][SQL] Отключить секционирование на столбцах с учетом правила сортировки
  • [SPARK-46846] [SC-154308][CORE] Сделать WorkerResourceInfo расширяющим Serializable явно
  • [SPARK-46641] [SC-156314][SS] Добавление порогового значения maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner сделать внутренние функции закрытыми
  • [SPARK-47266] [SC-158146][CONNECT] Сделать ProtoUtils.abbreviate возвращать тот же тип, что и входные данные.
  • [SPARK-46961] [SC-158183][SS] Использование ProcessorContext для хранения и извлечения дескриптора
  • [SPARK-46862] [SC-154548][SQL] Отключить очистку столбцов CSV в многострочный режиме
  • [SPARK-46950] [SC-155803][CORE][SQL] Выравнивание not available codec класса ошибок
  • [SPARK-46368] [SC-153236][CORE] Поддержка readyz в API отправки REST
  • [SPARK-46806] [SC-154108][PYTHON] Улучшение сообщения об ошибке для spark.table при неправильном типе аргумента
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Исправить игнорируемую сортировку строк в PySpark Connect
  • [SPARK-46552] [SC-151366][SQL] Замените UnsupportedOperationException на SparkUnsupportedOperationException в catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Исправлена ошибка преобразования упорядоченных строк PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Исправлена ошибка сортировки Spark Connect, добавив поле collateId protobuf
  • [SPARK-46575] [SC-153200][SQL][HIVE] Сделать HiveThriftServer2.startWithContext DevelopApi повторяемым и исправить нестабильность ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-1538332][CORE] В ResourceProfileManager вызовы функций должны возникать после объявления переменных
  • [SPARK-47214] [SC-157862][Python] Создание API UDTF для метода «анализ», чтобы различать аргументы, являющиеся константами NULL, и другие типы аргументов.
  • [SPARK-46766] [SC-153909][SQL][AVRO] Поддержка буферного пула ZSTD для источника данных AVRO
  • [SPARK-47192] [SC-157819] Преобразование некоторых ошибок _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Добавьте поддержку ListState в API произвольного состояния версии 2.
  • [SPARK-46881] [SC-154612][CORE] Поддержка spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Поддержка spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Исправлена ошибка, использующая неправильный кодек сжатия parquet lz4raw
  • [SPARK-46791] [SC-154018][SQL] Поддержка Java Set в JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Миграция CatalogNotFoundException в класс ошибок CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Обеспечить, чтобы значение по умолчанию, полученное из более широкого типа и суженное до литерала в v2, вело себя так же, как и в v1.
  • [SPARK-46664] [SC-153181][CORE] Улучшение Master для быстрого восстановления в случае отсутствия рабочих и приложений
  • [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz и zstandard поддерживают уровень сжатия для avro-файлов

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

См. Databricks Runtime 15.2 обновления обслуживания.

Системная среда

  • операционная система: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 бэкколл 0.2.0
чёрный 23.3.0 поворотник 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 сертификат 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 cloudpickle 2.2.1 comm 0.1.2
контурная диаграмма 1.0.5 криптография 41.0.3 циклер 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 декоратор 5.1.1 distlib 0.3.8
точки входа 0.4 Выполнение 0.8.3 обзор аспектов 1.1.1
блокировка файлов 3.13.1 шрифтовые инструменты 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 аутентификация Google 2.29.0
google-cloud-core 2.4.1 хранилище Google Cloud 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 джедаи 0.18.1 джипни (популярный общественный транспорт на Филиппинах) 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 нажатие клавиш 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 Оаутхлиб 3.2.0 упаковка 23.2
Панды 1.5.3 синтаксический анализ 0.8.3 pathspec 0.10.3
простофиля 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Подушка 9.4.0 зерно 23.2.1 platformdirs 3.10.0
график 5.9.0 Prompt Toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc — библиотека Python для работы с базами данных через ODBC 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
Запросы 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 мореборн 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Шесть 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
стековых данных 0.2.0 statsmodels 0.14.0 цепкость 8.2.2
Threadpoolctl 2.2.0 tokenize-rt 4.2.1 торнадо 6.3.2
трейлеты 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 автоматическое обновление без участия пользователя 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
колесо 0.38.4 ZIPP 3.11.0

установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN диспетчера пакетов Posit.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
внутренние порты 1.4.1 основа 4.3.2 base64enc 0.1-3
bigD 0.2.0 бит 4.0.5 bit64 4.0.5
bitops 1.0-7 сгусток 1.2.4 сапог 1.3-28
заваривать 1.0-10 живость 1.1.4 метла 1.0.5
bslib 0.6.1 cachem 1.0.8 вызывающий объект 3.7.3
кареточный знак 6.0-94 cellranger 1.1.0 chron 2.3-61
класс 7.3-22 cli 3.6.2 Clipr 0.8.0
часы 0.7.0 кластер 2.1.4 codetools 0.2-19
цветовое пространство 2.1-0 commonmark 1.9.1 составитель 4.3.2
конфиг 0.3.2 В состоянии внутреннего конфликта 1.2.0 cpp11 0.4.7
карандаш 1.5.2 верительные грамоты 2.0.1 локон 5.2.0
data.table 1.15.0 Наборы данных 4.3.2 DBI 1.2.1
dbplyr 2.4.0 описание 1.4.3 средства разработки 2.4.5
диаграмма 1.6.5 diffobj 0.3.5 дайджест 0.6.34
направленный вниз свет 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 оценивать 0.23
фанаты 1.0.6 Цвета 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
иностранный 0.8-85 кузница 0.2.0 fs 1.6.3
будущее 1.33.1 future.apply 1.11.1 полоскать 1.5.2
Дженерики 0.1.3 Герт 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные 0.16.2 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.2 grDevices 4.3.2 сетка 4.3.2
gridExtra 2.3 gsubfn 0,7 gt; 0.10.1
gtable 0.3.4 каска 1.3.1 гавань 2.5.4
выше 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Идентификаторы 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 сочный сок 0.1.0
KernSmooth 2.23-21 knitr 1.45 маркирование 0.4.3
позже 1.3.2 решётка 0.21-8 лава 1.7.3
жизненный цикл 1.0.4 прослушиватель 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 МАССА 7.3-60
Матрица 1.5-4.1 memoise 2.0.1 методика 4.3.2
mgcv 1.8-42 мим 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 параллельный 4.3.2
параллельно 1.36.0 столб 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 хвалить 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 прогресс 1.2.3
progressr 0.14.0 Обещания 1.2.1 прото 1.0.0
доверенность 0.4-27 P.S. 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 реактивный стол 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
Рецепты 1.0.9 реванш 2.0.0 Реванш 2 2.1.2
Пульты 2.4.2.1 репрекс 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 дерзость 0.4.8
весы 1.3.0 селектор 0.4-2 информация о сеансе 1.2.2
форма 1.4.6 блестящий 1.8.0 sourcetools 0.1.7-1
Sparklyr 1.8.4 пространственный 7.3-15 Сплайны 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Статистика 4.3.2
статистика4 4.3.2 стринги 1.8.3 stringr 1.5.1
выживание 3.5-5 самоуверенность 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
формирование текста 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 смена времени 0.3.0
ВремяДата 4032.109 tinytex 0.49 инструменты 4.3.2
tzdb 0.4.0 проверщик URL 1.0.1 используйэто 2.2.2
utf8 1.2.4 утилиты 4.3.2 uuid (универсальный уникальный идентификатор) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Уолдо 0.5.2 усы 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 молния 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics поток 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware крио-затенённый 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core аннотации Джексона 2.15.2
com.fasterxml.jackson.core джексон-ядро 2.15.2
com.fasterxml.jackson.core джексон-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib нативная_система-Java 1.1
com.github.fommil.netlib нативная_система-Java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink оттенок 1.9.0
com.google.errorprone аннотации_с_ошибками 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava гуава 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft JSch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe конфиг 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer ХикариCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
Commons-logging Commons-logging 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift воздушный компрессор 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics метрики-аннотация 4.2.19
io.dropwizard.metrics метрики ядра 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics Проверка метрик на работоспособность 4.2.19
io.dropwizard.metrics метрики-Jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics метрики-сервлеты 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty нетти-общий 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-прокси 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллекционер 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction api транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine рассол 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow Формат со стрелками 15.0.0
org.apache.arrow стрелка-память-ядро 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow стрелка-вектор 15.0.0
org.apache.avro Авро 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator куратор-клиент 2.13.0
org.apache.curator куратор-фреймворк 2.13.0
org.apache.curator рецепты куратора 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop hadoop-клиент-рантайм 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive хив-шимы 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson джексон-core-asl 1.9.13
org.codehaus.jackson Джексон-маппер-ASL 1.9.13
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-продолжение 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty джетти-плюс 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty система безопасности причала 9.4.52.v20230823
org.eclipse.jetty Jetty-сервер 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket сервер WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-локатор ресурсов 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers Jersey-container-servlet-core 2.40
org.glassfish.jersey.core джерси-клиент 2.40
org.glassfish.jersey.core джерси-common 2.40
org.glassfish.jersey.core Jersey-сервер 2.40
org.glassfish.jersey.inject джерси-hk2 2.40
org.hibernate.validator хибернация-валидатор 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Окончательно
org.jdbi jdbi 2.63.1
org.jetbrains Аннотации 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Прокладки 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest совместимый с Scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten тритен-экстра 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1