Поделиться через

Databricks Runtime 16.1

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 16.1, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в декабре 2024 года.

Совет

Чтобы просмотреть заметки о выпуске для версий среды выполнения Databricks Runtime, достигших окончания поддержки (EoS), см. заметки о выпуске для версий Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Изменения поведения

Критические изменения: обработка регулярных выражений Photon теперь согласована с Apache Spark

В Databricks Runtime 15.4 и более поздних версиях обработка регулярных выражений в Photon обновляется, чтобы соответствовать поведению обработки регулярных выражений Apache Spark. Ранее функции регулярного выражения, выполняемые Photon, такие как split() и regexp_extract(), приняли некоторые регулярные выражения, отклоненные средством синтаксического анализа Spark. Чтобы обеспечить согласованность с Apache Spark, запросы Photon теперь завершаются ошибкой для регулярных выражений, которые Spark считает недопустимыми.

Из-за этого изменения могут возникнуть ошибки, если код Spark содержит недопустимые регулярные выражения. Например, выражение split(str_col, '{'), содержащее незакрытую фигурную скобку и ранее принимавшееся Фотоном, теперь вызывает ошибку. Чтобы исправить это выражение, можно экранировать символ фигурной скобки: split(str_col, '\\{').

Поведение фотона и Spark также отличается для некоторых регулярных выражений, соответствующих символам, отличным от ASCII. Это также обновляется так, чтобы Фотон соответствовал поведению Apache Spark.

Тип данных VARIANT больше не может использоваться с операциями, требующими сравнения

В Databricks Runtime 16.1 и более поздних версиях нельзя использовать следующие предложения или операторы в запросах, включающих тип данных VARIANT:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

Кроме того, эти функции DataFrame нельзя использовать:

  • df.dropDuplicates()
  • df.repartition()

Эти операции выполняют сравнения и сравнения, использующие тип данных VARIANT, создают неопределенные результаты и не поддерживаются в Databricks. Если вы используете тип VARIANT в рабочих нагрузках или таблицах Azure Databricks, Databricks рекомендует следующие изменения:

  • Обновите запросы или выражения для явного приведения значений VARIANT к типам данных, отличным отVARIANT.
  • Если у вас есть поля, которые должны использоваться с любой из указанных выше операций, извлеките эти поля из типа данных VARIANT и сохраните их с помощью типов данных, отличных отVARIANT.

Дополнительные сведения см. в разделе данных варианта запроса.

Новые функции и улучшения

Поддержка колляций в Apache Spark доступна в публичной предварительной версии.

Теперь вы можете назначать сортировки с учетом языка и нечувствительные к регистру и доступу для столбцов и выражений STRING. Эти сортировки используются для сравнения строк, сортировки, операций группировки и многих строковых функций. См. сортировки.

Поддержка параметров сортировки в Delta Lake доступна в общедоступной предварительной версии

Теперь можно определить параметры сортировки для столбцов при создании или изменении таблицы Delta. См. поддержку сортировки для Delta Lake.

режим LITE для вакуума находится в общедоступной предварительной версии

Теперь вы можете использовать VACUUM table_name LITE для выполнения более легкой вакуумной операции, которая использует метаданные в журнале транзакций Delta. См. полный и легкий режим и VACUUM.

Поддержка параметризации предложения USE CATALOG with IDENTIFIER

В Databricks Runtime 16.1 и более поздних версиях IDENTIFIER предложение поддерживается для инструкции USE CATALOG. С помощью этой поддержки можно параметризовать текущий каталог на основе строковой переменной или маркера параметров.

поддержка таблиц и представлений COMMENT ONCOLUMN

В Databricks Runtime 16.1 и более поздних версиях инструкция COMMENT ON поддерживает изменение комментариев для столбцов представлений и таблиц.

Новые функции SQL

В Databricks Runtime 16.1 и более поздних версиях доступны следующие новые встроенные функции SQL:

  • dayname(expr) возвращает трехбуквенный английский акроним для дня недели для указанной даты.
  • uniform(expr1, expr2 [,seed]) возвращает случайное значение с независимыми и идентичными распределенными значениями в указанном диапазоне чисел.
  • randstr(length) возвращает случайную строку length буквенно-числовых символов.

Вызов именованных параметров для дополнительных функций

В Databricks Runtime 16.1 и более поздних версиях следующие функции поддерживают вызов именованных параметров:

Параметр SYNC METADATA команды REPAIR TABLE поддерживается в хранилище метаданных Hive

В Databricks Runtime 16.1 и более поздних версиях можно использовать параметр SYNC METADATA с командой REPAIR TABLE для обновления метаданных управляемой таблицы хранилища метаданных Hive. См. REPAIR TABLE.

Улучшенная целостность данных для сжатых пакетов Apache Arrow

В Databricks Runtime 16.1 и более поздних версиях, чтобы усилить защиту от повреждения данных, каждый пакет, сжатый в формате LZ4, теперь включает в себя содержимое и контрольные суммы блоков LZ4. См. описание формата кадров LZ4.

Добавлена поддержка методов Scala в вычислительном режиме общего доступа каталога Unity

В Databricks Runtime 16.1 и более поздних версиях для вычислительных ресурсов в режиме общего доступа каталога Unity добавлена поддержка следующих методов Scala: Dataset.flatMapGroups(), Dataset.mapGroups()и DataStreamWriter.foreach().

Встроенный драйвер JDBC Teradata

В Databricks Runtime 16.1 и более поздних версий драйвер Teradata JDBC встроен в Azure Databricks. Если вы используете JAR-файл драйвера JDBC, отправленный клиентом, через DriverManager, необходимо переписать скрипты для явного использования пользовательского JAR-файла. В противном случае используется встроенный драйвер. Этот драйвер поддерживает только Федерацию Lakehouse. Для других вариантов использования необходимо указать собственный драйвер.

Поддержка StreamingQueryListener для Scala

Теперь вы можете использовать StreamingQueryListener в Scala для вычислений, настроенных в режиме общего доступа.

Встроенный драйвер Oracle JDBC

В Databricks Runtime 16.1 и выше драйвер Oracle JDBC встроен в Azure Databricks. Если вы используете JAR-файл драйвера JDBC, отправленный клиентом, через DriverManager, необходимо переписать скрипты для явного использования пользовательского JAR-файла. В противном случае используется встроенный драйвер. Этот драйвер поддерживает только Федерацию Lakehouse. Для других вариантов использования необходимо указать собственный драйвер.

Более подробные ошибки для таблиц Delta, доступ к которым осуществляется по путям

Теперь доступен новый формат сообщения об ошибке для таблиц Delta, к которым осуществляется доступ через пути. Теперь все исключения перенаправляются пользователю. Исключение DELTA_MISSING_DELTA_TABLE теперь зарезервировано для случая, когда базовые файлы не могут быть прочитаны как Delta-таблица.

Другие изменения

Переименованы коды ошибок для источника структурированной потоковой передачи cloudFiles

В этом выпуске содержится изменение для переименования следующих кодов ошибок:

  • _LEGACY_ERROR_TEMP_DBR_0143 переименован в CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 переименован в CF_INCORRECT_BATCH_USAGE .

Исправления ошибок

Вложенные типы теперь правильно принимают ограничения NULL

В этом выпуске исправлена ошибка, затрагивающая некоторые генерируемые Delta столбцы вложенных типов, например STRUCT. Иногда эти столбцы ошибочно отклоняют выражения на основании ограничений NULL или NOT NULL вложенных полей. Исправлено.

Обновления библиотеки

  • Обновленные библиотеки Python:
    • ipyflow-core от 0.0.198 до 0.0.201
    • pyccolo от 0.0.52 до 0.0.65
  • Обновленные библиотеки R:
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.2.1 до 1.2.2
    • org.lz4.lz4-java от 1.8.0 до 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 1.6.2-linux-x86_64 до 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 16.0, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-50482] [SC-182879][CORE] Устаревшая конфигурация no-op spark.shuffle.spill
  • [SPARK-50032] [SC-182706][SQL][16.x] Разрешить использование полного имени сортировки
  • [SPARK-50467] [SC-182823][PYTHON] Добавить __all__ для встроенных функций
  • [SPARK-48898] [SC-182828][SQL] Исправлена ошибка с перемешиванием вариантов
  • [SPARK-50441] [SC-182668][SQL] Исправлены параметризованные идентификаторы, не работающие при ссылке на CTEs
  • [SPARK-50446] [SC-182639][PYTHON] Уровень параллелизма в UDF с оптимизацией Arrow в Python
  • [SPARK-50430] [SC-182536][CORE] Используйте стандартные Properties.clone вместо клонирования вручную
  • [SPARK-50471] [SC-182790][PYTHON] Поддержка средства записи источников данных Python на основе стрелок
  • [SPARK-50466] [SC-182791][PYTHON] Уточнение докстринга для строковых функций — часть 1
  • [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Интеграция НОВОГО API таймера и API начального состояния с Таймером
  • [SPARK-50437] [SC-182586][SS] Сокращение затрат на создание десериализаторов в TransformWithStateExec
  • [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Добавить поддержку последовательного выполнения операций...
  • [SPARK-49294] [SC-182730][UI] Добавьте атрибут ширины для флажка "перетасовка времени записи".
  • [SPARK-50426] [SC-182540][PYTHON] Избегание поиска статических источников данных Python при использовании встроенных средств или источников данных Java
  • [SPARK-48356] [SC-182603][SQL] Поддержка инструкции FOR
  • [SPARK-50333] [SC-182136][SQL] Codegen Support for CsvToStructs (by Invoke & RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Метрики для коммитов в экземплярах StagedTable
  • [SPARK-50081] [SC-182344][SQL] Поддержка Codegen для XPath*(с помощью вызова & RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] Refactor AttributeSeq.resolveCandidates
  • [SPARK-50067] [SC-179648][SQL] Codegen Support for SchemaOfCsv(by Invoke & RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][SQL] исправьте ошибку после слияния при тестировании ошибок
  • [SPARK-50118] [SC-181259][CONNET] Сброс изолированного кэша состояния при выполнении задач
  • [SPARK-49873] [SC-178577][SQL] Назначьте правильный класс ошибок для _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][CORE] Поддержка spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][SQL] Добавление функции DAYNAME
  • [SPARK-50270] [SC-181179][SS][PYTHON] Добавлены пользовательские метрики состояния для TransformWithStateInPandas
  • [SPARK-50118] Revert "[SC-181259][CONNET] Сброс изолированного кэша состояния при выполнении задач"
  • [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Добавление API кадра данных для табличных функций
  • [SPARK-49470] [SC-175736][UI] Обновление таблиц стилей и JavaScript-файлов от 1.13.5 до 1.13.11
  • [SPARK-50235] Revert "[SC-180786][SQL] Очистка ресурса ColumnVector после обработки всех строк в ColumnarToRowExec"
  • [SPARK-50324] [SC-182278][PYTHON][CONNECT] Сделать так, чтобы триггер createDataFrameConfig RPC выполнялся не более чем один раз
  • [SPARK-50387] [SC-182441][SS] Условие обновления для истечения срока действия таймера и соответствующего теста
  • [SPARK-50287] [SC-182400][SQL] Слияние параметров таблицы и отношений при создании WriteBuilder в FileTable
  • [SPARK-50066] [SC-181484][SQL] Codegen Support for SchemaOfXml (by Invoke & RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][SQL] Исправлено поведение соединителя PostgreSQL для многомерных массивов
  • [SPARK-50318] [SC-181641][SQL] Добавление IntervalUtils.makeYearMonthInterval для устранения дублирования кода между интерпретируемым и кодогенерацией
  • [SPARK-50312] [SC-181646][SQL] Ошибка передачи параметра в SparkThriftServer createServer, когда kerberos истинно
  • [SPARK-50246] [SC-181468][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][SQL] Из json/xml не следует изменять параметры сортировки в данной схеме
  • [SPARK-50250] [SC-181466][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][CONNET] Сброс изолированного кэша состояния при выполнении задач
  • [SPARK-50235] [SC-180786][SQL] Очистка ресурса ColumnVector после обработки всех строк в ColumnarToRowExec
  • [SPARK-50156] [SC-180781][SQL] Интеграция _LEGACY_ERROR_TEMP_2113 в UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][SQL] Интеграция _LEGACY_ERROR_TEMP_0028 в UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][SQL] Поддержка Codegen для StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][SQL] Добавление альтернативы TryMakeInterval
  • [SPARK-50397] [SC-182367][CORE] Удаление устаревших --ip и -i аргументов из Master/Worker
  • [SPARK-50238] [SC-181434][PYTHON] Добавление поддержки вариантов в PySpark UDFs/UDTFs/UDAFs и Python UC UDFs
  • [SPARK-50079] [SC-179830][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][ПРИМЕР] Добавление примера REST API submit-sql.sh
  • [SPARK-49966] [SC-179501][SQL] Использование Invoke для реализации JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][SS] Обеспечение того, чтобы размеры вторичных индексов были равны размерам основных индексов для переменных TransformWithState с отслеживанием состояния и TTL
  • [SPARK-50301] [SC-182241][SS][16.x] Сделать так, чтобы метрики TransformWithState отражали их интуитивно понятные значения
  • [SPARK-50175] [SC-182140][SQL] Изменение расчёта приоритета сортировки
  • [SPARK-50148] [SC-180292][SQL] Сделать StaticInvoke совместимым с методом, который выбрасывает исключение
  • [SPARK-50280] [SC-181214][PYTHON] Сортировка результатов рефакторинга и заполнение пустого контейнера в compute_hist
  • [SPARK-50190] [SC-182458][PYTHON] Удаление прямой зависимости Numpy из гистограммы
  • [SPARK-50382] [SC-182368][CONNECT] Добавьте документацию по общей информации о разработке приложений с помощью и расширении Spark Connect
  • [SPARK-50296] [SC-181464][PYTHON][CONNECT] Избегайте использования classproperty в пуле потоков для клиента Python Connect
  • [SPARK-49566] [SC-182239][SQL] Добавление синтаксиса канала SQL для оператора EXTEND
  • [SPARK-50036] [SC-179533][CORE][PYTHON] Включить SPARK_LOG_SCHEMA в контексте оболочки REPL
  • [SPARK-49859] [SC-178259][CONNECT] Замените многопроцессорную обработку. ThreadPool с ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][PYTHON] Сделать lpad и rpad принимать аргументы типа столбцов
  • [SPARK-50379] [SC-182142][SQL] Исправление обработки DayTimeIntevalType в WindowExecBase
  • [SPARK-49954] [SC-179110][SQL] Поддержка генерирования кода для SchemaOfJson (с помощью Invoke & RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][CORE] Использование ExitCode 0 в случае --help использования в скриптах Spark
  • [SPARK-50377] [SC-182238][SQL] Разрешить оценку foldable RuntimeReplaceable
  • [SPARK-50241] [SC-181444][SQL] Замена NullIntolerant Mixin методом Expression.nullIntolerant
  • [SPARK-50084] [SC-179672][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][SQL] Интеграция _LEGACY_ERROR_TEMP_0039 в UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][SS] Добавление пользовательской метрики для отслеживания затрат на начальное состояние процесса в преобразовании WithState
  • [SPARK-50029] [SC-179531][SQL] Сделать StaticInvoke совместимым с методом, возвращающим Any
  • [SPARK-49990] [SC-179497][SQL] Повышение производительности randStr
  • [SPARK-50048] [SC-179528][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][SQL] Превратить _LEGACY_ERROR_TEMP_2104 в INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][SQL] Поддержка удаления коллаций в строковых функциях
  • [SPARK-48549] [SC-176472][SQL][PYTHON] Улучшение функции SQL sentences
  • [SPARK-50022] [SC-179503][CORE][UI] Исправление MasterPage для скрытия ссылок пользовательского интерфейса приложения при отключении пользовательского интерфейса
  • [SPARK-50087] [SC-182152] Надежная обработка логических выражений в CASE WHEN для MsSqlServer и будущих коннекторов
  • [SPARK-49991] [SC-179481][SQL] Сделать так, чтобы HadoopMapReduceCommitProtocol учитывал 'mapreduce.output.basename' при создании имен файлов
  • [SPARK-50038] [SC-179521][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][CORE][UI] Исправление ApplicationPage для скрытия ссылок пользовательского интерфейса приложения при отключении пользовательского интерфейса
  • [SPARK-49911] [SC-179111][SQL] Исправлена семантика поддержки двоичного равенства
  • [SPARK-50025] [SC-179496][SQL] Интеграция _LEGACY_ERROR_TEMP_1253 в EXPECT_VIEW_NOT_TABLE
  • [SPARK-49829] [SC-179480][SS] Исправлена ошибка оптимизации при добавлении входных данных в хранилище состояний в потоковом соединении
  • [SPARK-50004] [SC-179499][SQL] Интеграция _LEGACY_ERROR_TEMP_3327 в FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator должен выполнять условия контракта в ConstantFolding
  • [SPARK-50340] [SC-181859][SQL] Unwrap UDT во входном запросе INSERT
  • [SPARK-50237] [SC-181660][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][SQL] Исправлена проблема с изменением порядка выходных столбцов после оптимизации AQE
  • [SPARK-49773] [SC-178369][SQL] Необработанное исключение Java из make_timestamp() с неверным часовым поясом.
  • [SPARK-49977] [SC-179265][SQL] Использование итеративных вычислений на основе стека, чтобы избежать создания множества объектов Scala List для деревьев глубоких выражений
  • [SPARK-50153] [SC-181591][SQL] Добавьте name в RuleExecutor, чтобы сделать печать журналов QueryExecutionMetricsболее понятными
  • [SPARK-50320] [SC-181668][CORE] Сделать --remote официальным параметром, удалив предупреждение experimental
  • [SPARK-49909] [SC-179492]Отменить «[SQL] Исправить понятное имя некоторых выражений».
  • [SPARK-50330] [SC-180720][SC-181764][SQL] Добавление подсказок для узлов сортировки и окон
  • [SPARK-50364] [SC-182003][SQL] Реализация сериализации для типа LocalDateTime в Row.jsonValue
  • [SPARK-50016] [SC-182139][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][PYTHON][SS] Поддержка deleteIfExists для TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][SQL] Поддержка выражения IDENTIFIER в инструкции SETCATALOG
  • [SPARK-50315] [SC-181886][SQL] Поддержка пользовательских метрик для записи V1Fallback
  • [SPARK-42838] [SC-181509][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][SQL] Refactor ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][SQL] Подготовка скриптов SQL для добавления платформы выполнения
  • [SPARK-49345] [SC-174786][CONNECT] Убедитесь, что используется текущий сеанс Spark
  • [SPARK-49925] [SC-178882][SQL] Добавьте тесты для ORDER BY с сортировкой строк
  • [SPARK-50167] [SC-181199][PYTHON][CONNECT] Улучшить сообщения об ошибках и импорты в PySpark
  • [SPARK-49368] [SC-174999][CONNECT] Избегайте доступа к классам protobuf lite напрямую
  • [SPARK-50056] [SC-181378][SQL] Codegen Support for ParseUrl (by Invoke & RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][SS][PYTHON] поддерживает начальную обработку состояния для TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][SQL] Назначьте правильное условие ошибки для _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][SS] решение проблемы с ограничением вычисления метрик с источниками потоковой передачи DSv1
  • [SPARK-49874] [SC-178303][SQL] Удаление описателей обрезки и сортировки ltrim.
  • [SPARK-49513] [SC-180339][SS] Добавление поддержки таймера в API transformWithStateInPandas
  • [SPARK-49119] [SC-175607][SQL] Исправьте несоответствие синтаксиса show columns между версиями 1 и 2
  • [SPARK-49206] [SC-173704][CORE][UI] Добавить таблицу Environment Variables в Master EnvironmentPage
  • [SPARK-49934] [SC-179581][SQL] Добавление неявного приведения для доступа к сопоставленной карте с литеральным
  • [SPARK-50049] [SC-181659][SQL] Поддержка настраиваемых метрик драйвера при записи в таблицу версии 2
  • [SPARK-50171] [SC-180295][PYTHON] Сделать число необязательным для построения KDE
  • [SPARK-49962] [SC-179320][SQL] Упрощение иерархии классов AbstractStringTypes
  • [SPARK-50226] [SC-181483][SQL] Исправление MakeDTInterval и MakeYMInterval для перехвата исключений Java
  • [SPARK-48775] [SC-170801][SQL][STS] Заменить SQLContext на SparkSession в STS
  • [SPARK-49015] [SC-175688][CORE] Connect Server должен соблюдать spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][SQL][16.x] Выделение разрешения функции для повторного использования в однопроходном анализаторе
  • [SPARK-49995] [SC-180762][SQL] Добавьте поддержку именованных аргументов в другие TVFs
  • [SPARK-49268] [SC-174903][CORE] Регистрация исключений ввода-вывода в истории поставщика SHS
  • [SPARK-48123] [SC-164989][Core] Укажите схему постоянной таблицы для запроса структурированных журналов
  • [SPARK-49217] [SC-174904][CORE] Поддержка конфигурации отдельного размера буфера в UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][SQL][16.x] Выделение псевдонимов для повторного использования в однопроходном анализаторе
  • [SPARK-50322] [SC-181665][SQL] Исправлен параметризованный идентификатор в подзапросе
  • [SPARK-48400] [SC-175283][CORE] Повышение PrometheusServlet до DeveloperApi
  • [SPARK-50118] Revert "[SC-181259][CONNET] Сброс изолированного кэша состояния при выполнении задач"
  • [SPARK-50306] [SC-181564][PYTHON][CONNECT] Поддержка Python 3.13 в Spark Connect
  • [SPARK-50152] [SC-181264][SS] Реализация поддержки handleInitialState с использованием средства чтения данных состояния
  • [SPARK-50260] [SC-181271][CONNECT] Рефакторинг и оптимизация Spark C...
  • [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: миграция logInfo с переменными в структурированную систему ведения журнала
  • [SPARK-49312] [SC-174672][PYTHON] Улучшение сообщения об ошибке для assertSchemaEqual
  • [SPARK-49439] [SC-175236][SQL] Исправьте красивое имя выражения FromProtobuf & ToProtobuf
  • [SPARK-50092] [ES-1258521] Исправление поведения соединителя PostgreSQL для многомерных массивов
  • [SPARK-49913] [SC-181565][SQL] Добавление проверки уникальности имен меток в вложенных именованных областях
  • [SPARK-49563] [SC-181465][SQL] Добавление синтаксиса канала SQL для оператора WINDOW
  • [SPARK-49661] [SC-179021][SQL] Реализуйте хэширование обрезки и сравнение.
  • [SPARK-38912] [SC-181543][PYTHON] Удалите комментарий, связанный с методом класса и свойством
  • [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Улучшено управление сопоставлением файлов SST RocksDB и исправлена проблема с перезагрузкой той же версии с существующим моментальным снимком
  • [SPARK-49002] Revert "[SC-172846][SQL] Согласованно обрабатывают недопустимые расположения в WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49668] [SC-178268][SQL] Реализация поддержки ключей сортировки для обработки сопоставления при обрезке
  • [SPARK-50262] [SC-181193][SQL] Запретить указание сложных типов во время изменения сортировки
  • [SPARK-48898] [SC-181435][SQL] Добавление функций измельчения вариантов
  • [SPARK-48273] [SC-181381]Revert "[SQL] Исправлена поздняя перезапись PlanWithUnresolvedIdentifier
  • [SPARK-50222] [SC-180706][CORE] Поддержка spark.submit.appName
  • [SPARK-50208] [SC-180662][CORE] Поддержка spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][SQL] Замена IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 должен иметь значение NullIntolerant
  • [SPARK-50247] [SC-180962][CORE] Определите BLOCK_MANAGER_REREGISTRATION_FAILED как ExecutorExitCode
  • [SPARK-50282] [SC-181221][ML] Упростить TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][SQL] Разрешение оператору TransformWithState использовать кодировку Avro
  • [SPARK-50267] [SC-181180][ML] Улучшить TargetEncoder.fit с помощью API DataFrame
  • [SPARK-37178] [SC-180939][ML] Добавление кодирования целевого объекта в ml.feature
  • [SPARK-50118] [SC-181259][CONNET] Сброс изолированного кэша состояния при выполнении задач
  • [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Убедитесь, что lit(ndarray) с np.int8 учитывает тип данных numpy.
  • [SPARK-50256] [SC-181048][SQL] Добавьте упрощенную проверку, чтобы проверить, становится ли логический план неразрешенным после каждого правила оптимизатора
  • [SPARK-50196] [SC-180932][CONNECT] Исправление контекста ошибки Python для использования правильного контекста
  • [SPARK-50274] [SC-181181][CORE] Защита от использования после закрытия в DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][PYTHON][CONNECT] Поддержка необязательного параметра «столбец» в диаграммах box, kde и hist
  • [SPARK-50273] [SC-181178][SS] Улучшение журналирования процессов получения и освобождения блокировок в RocksDB
  • [SPARK-50033] [SC-180720][SC-180659][SQL] Добавьте подсказку в логический узел Aggregate()
  • [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Исправление избыточного освобождения acquireLock в RocksDB из-за прослушивателя завершения
  • [SPARK-50253] [SC-180969][SS] Stream-Stream Join не должен запрашивать идентификатор контрольной точки, если он не поддерживается.
  • [SPARK-50255] [SC-180964][PYTHON] Избегайте ненужных приведений в compute_hist
  • [SPARK-50228] [SC-180780][SQL] Переместите правило RewriteCollationJoin на FinishAnalysis
  • [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Настройте "точность", чтобы быть частью kwargs для прямоугольных графиков
  • [SPARK-49637] [SC-180160][SQL] Изменено сообщение об ошибке для INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][PYTHON] Получение активного сеанса из кадров данных
  • [SPARK-50195] [SC-180654][CORE] Исправить StandaloneRestServer для правильного распространения spark.app.name на SparkSubmit
  • [SPARK-50229] [SC-180773] Уменьшите использование памяти для драйверов для расширенных схем, уменьшая время существования объектов AttributeReference, созданных во время логического планирования.
  • [SPARK-50231] [SC-180815][PYTHON] Сделать функцию instr принимать столбец substring
  • [SPARK-49854] [SC-179812][16.x][SQL] Клонирование менеджера артефактов при клонировании сеанса
  • [SPARK-50219] [SC-180694][SQL] Рефакторить ApplyCharTypePadding, чтобы вспомогательные методы можно было бы использовать в однопроходном разрешателе
  • [SPARK-50077] [SC-179827][SQL] Введите новый объект шаблона для LogicalRelation, чтобы избежать полного шаблона params по умолчанию
  • [SPARK-50128] [Backport][16x][SC-180677][SS] Добавление API-интерфейсов обработки с отслеживанием состояния с использованием неявных кодировщиков в Scala
  • [SPARK-50061] [SC-179961][SQL] Включить анализ таблицы для сортировки столбцов
  • [SPARK-49993] [SC-180084][SQL] Улучшение сообщений об ошибках для Суммы и Среднего
  • [SPARK-49638] [SC-179665][SQL] Удалите предложение конфигурации ANSI в INVALID_URL
  • [SPARK-50204] [SC-180660][SQL] Фактор разрешения пути чтения HiveTableRelation
  • [SPARK-50193] [SC-180651][SS] Исправлена обработка исключений для проверки режимов времени
  • [SPARK-50179] [SC-180342][CORE] Сделать свойство spark.app.name необязательным в REST API
  • [SPARK-50068] [SC-180300][SQL] Рефакторинг TypeCoercion и AnsiTypeCoercion для разделения преобразований на единичном узле
  • [SPARK-49411] [SC-179483][SS] Обмен данными с идентификатором контрольной точки хранилища состояний между драйвером и операторами с сохранением состояния
  • [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET должен сохранять порядок данных
  • [SPARK-49506] [SC-180165][SQL] Оптимизация ArrayBinarySearch для свертываемого массива
  • [SPARK-50097] [SC-179908][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][SQL][PYTHON] Добавление try_make_timestamp(_ltz и _ntz) и связанных тестов
  • [SPARK-50054] [SC-180228][PYTHON][CONNECT] Поддержка построения гистограмм
  • [SPARK-50015] [SC-179964][SQL] Назначьте соответствующее условие ошибки для _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Перемещение scala-файлов и java в папки по умолчанию
  • [SPARK-49980] [SC-180353][CORE][SQL] Исправьте потенциальные утечки файлового потока, вызванные прерыванием в отмененных задачах
  • [SPARK-49010] [SC-172304][SQL][XML] Добавление модульных тестов для учета регистра при определении схемы XML
  • [SPARK-49562] [SC-180211][SQL] Добавление синтаксиса канала SQL для агрегирования
  • [SPARK-49663] [SC-180239][SQL] Включение предложений RTRIM в выражениях сортировки
  • [SPARK-48965] [SC-175926][SQL] Используйте правильную схему в Dataset#toJSON
  • [SPARK-48493] [SC-175893][PYTHON] Улучшение Python-чтения источников данных с помощью прямой поддержки Arrow Batch для повышения производительности
  • [SPARK-49734] [SC-180226][PYTHON] Добавление аргумента seed для функции shuffle
  • [SPARK-50174] [16.x][SC-180253][SQL] Выделение решения UnresolvedCatalogRelation
  • [SPARK-49989] [SC-179512][PYTHON][CONNECT] Поддержка графиков kde/плотности
  • [SPARK-49805] [SC-180218][SQL][ML] Удалить частные[xxx] функции из function.scala
  • [SPARK-49808] [SC-179490][SQL] Исправьте взаимоблокировку при выполнении вложенных запросов из-за отложенных vals
  • [SPARK-49929] [SC-180144][PYTHON][CONNECT] Поля поддержки
  • [SPARK-50008] [SC-179290][PS][CONNECT] Избегайте ненужных операций в attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][PS][CONNECT] Рефакторинг вызова внутренней функции
  • [SPARK-49683] [SC-178341][SQL] Блокировать упрощённую сортировку
  • [SPARK-49939] [SC-178941][SQL] Поддержка кодегена для json_object_keys (путем вызова & RuntimeReplaceable)
  • [SPARK-50031] [SC-179582][SQL] Добавьте выражение TryParseUrl
  • [SPARK-49766] [SC-178933][SQL] Поддержка кодегенерации для json_array_length (от Invoke & RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][SS] Использование стабильного порядка узла EventTimeWatermark для вычисления водяного знака
  • [SPARK-49540] [SC-180145][PS] Унифицировать использование distributed_sequence_id
  • [SPARK-50060] [SC-179965][SQL] Отключено преобразование между разными типами сортировки в TypeCoercion и AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][CONNECT] Использование отдельного реестра для внутренних функций API столбцов
  • [SPARK-49811] [SC-1778888][SQL]Переименовать StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][PS] Применить ArrayBinarySearch для гистограммы
  • [SPARK-49203] [SC-175734][SQL] Добавление выражения для java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][CORE] Исправление неправильного определения неустранимых ошибок в SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][SQL] Колляции, использующие ICU, должны указать версию используемой библиотеки ICU.
  • [SPARK-49985] [SC-179644][SQL] Удалите поддержку типов интервалов в Variant
  • [SPARK-49103] [SC-173066][CORE] Поддержка spark.master.rest.filters
  • [SPARK-50090] [SC-179819] Рефакторинг ResolveBinaryArithmetic для выделения преобразования одного узла
  • [SPARK-49902] [SC-179650][SQL] Перехват базовых ошибок среды выполнения в RegExpReplace
  • [SPARK-49126] [SC-173342][CORE] Перенос определения конфигурации spark.history.ui.maxApplications на History.scala
  • [SPARK-50094] [SC-179820][PYTHON][CONNECT] Лучшее сообщение об ошибке при использовании профилировщика памяти в редакторах без номеров строк
  • [SPARK-50062] [SC-179835][SQL] Поддержка сравнений по InSet
  • [SPARK-50035] [Backport][16x][SC-179530][SS] Добавить поддержку явной функции handleExpiredTimer как часть обработчика состояния
  • [SPARK-49982] [SC-179814][SQL] Исправление отрицательного кэширования в InMemoryRelation
  • [SPARK-49082] [SC-173350][SQL] Повышение уровня типов в AvroDeserializer
  • [SPARK-50088] [SC-179680][SQL] Рефакторинг UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][SS] Добавьте поддержку потока изменений при чтении для типов карт и списков, используемых в обработчиках с отслеживанием состояния
  • [SPARK-49846] [SC-179506][SS] Добавление метрик numUpdatedStateRows и numRemovedStateRows для использования с оператором transformWithState
  • [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Сделать так, чтобы lit принимал массивы numpy типов str и bool.
  • [SPARK-49821] [SC-179527][SS][PYTHON] Реализация поддержки MapState и TTL для TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][SQL] Добавление синтаксиса канала SQL для LIMIT/OFFSET и ORDER/SORT/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][LC-4080][SQL] Исправление canPlanAsBroadcastHashJoin с учетом подсказок для shuffle join
  • [SPARK-50051] [SC-179571][PYTHON][CONNECT] Ensure lit работает с пустым массивом numpy ndarray
  • [SPARK-50018] [SC-179488][SQL] Сделать AbstractStringType сериализуемым
  • [SPARK-50016] [SC-179491][SQL] Улучшение явной ошибки несоответствия параметров сортировки
  • [SPARK-50010] [SC-179487][SQL] Расширьте неявную ошибку несоответствия правила сортировки
  • [SPARK-48749] [SC-170116][SQL] Упрощение UnaryPositive и устранение правил Catalyst с использованием RuntimeReplaceable
  • [SPARK-49857] [SC-178576][SQL] Добавить storageLevel в API локального контрольного сохранения Dataset
  • [SPARK-50058] [SC-179538][SQL] Выделить функции нормализации плана для последующего использования в однопроходном тестировании анализатора
  • [SPARK-50052] [SC-179535][PYTHON][16.X] Сделать так, чтобы NumpyArrayConverter поддерживал пустые строки ndarray
  • [SPARK-47261] [SC-173665][SQL] Назначьте лучшее имя ошибок _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 и _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][CORE] Отметить KryoRegistrator интерфейсом DeveloperApi
  • [SPARK-48949] [SC-173070][SQL] SPJ: фильтрация секций среды выполнения
  • [SPARK-50044] [SC-179523][PYTHON] Улучшение строки документации для нескольких математических функций
  • [SPARK-48757] [SC-170113][CORE] Сделать IndexShuffleBlockResolver явными конструкторами
  • [SPARK-50037] [SQL] Refactor AttributeSeq.resolve(...)
  • [SPARK-48782] [SC-177056][SQL] Добавление поддержки выполнения процедур в каталогах
  • [SPARK-49057] [SC-173081][SQL] Не блокируйте цикл AQE при отправке этапов запроса
  • [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Добавление синтаксиса SQL столбца идентичности
  • [SPARK-48773] [SC-170773] Описать настройку "spark.default.parallelism" с помощью фреймворка конфигурации
  • [SPARK-48735] [SC-169810][SQL] Повышение производительности функции BIN
  • [SPARK-48900] [SC-172433] Добавьте поле reason для всех внутренних вызовов для отмены задания и этапа
  • [SPARK-48488] [SC-167605][CORE] Исправление методов log[info|warning|error] в SparkSubmit
  • [SPARK-48708] [SC-169809][CORE] Удалите три ненужных регистрации типов из KryoSerializer
  • [SPARK-49958] [SC-179312][PYTHON] API Python для функций проверки строк
  • [SPARK-49979] [SC-179264][SQL] Исправлена проблема с зависанием AQE при повторном сборе в случае неудачного плана
  • [SPARK-48729] [SC-169795][SQL] Добавление интерфейса UserDefinedFunction для представления функции SQL
  • [SPARK-49997] [SC-179279][SQL] Интеграция _LEGACY_ERROR_TEMP_2165 в MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][SS]Создание партиций на основе размера во время чтения Kafka
  • [SPARK-48129] [SC-165006][PYTHON] Предоставление схемы постоянной таблицы в PySpark для запроса структурированных журналов
  • [SPARK-49951] [SC-179259][SQL] Назначьте правильное условие ошибки для LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][SQL] Назначьте правильное условие ошибки для _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][SQL] Интеграция _LEGACY_ERROR_TEMP_1252 в EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][CONNECT] Избавиться от глобальных блокировок из службы Spark Connect
  • [SPARK-49957] [SC-179202][SQL] API Scala для функций проверки строк
  • [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener не должно влиять на spark.interrupt()
  • [SPARK-49643] [SC-179239][SQL] Слияние _LEGACY_ERROR_TEMP_2042 в ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][SQL] Исправление columnarArray.copy() для чтения значений NULL из правильного смещения
  • [SPARK-49956] Вернуть “[SC-179070] Отключение колляций с выражением collect_set”.
  • [SPARK-49987] [SC-179180][SQL] Исправить сообщение об ошибке, если seedExpression не является сворачиваемым в randstr
  • [SPARK-49948] [SC-179158][PS][CONNECT] Добавление параметра "точность" в pandas на графике spark
  • [SPARK-49970] [SC-179167][SQL] Назначьте правильное условие ошибки для _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][SQL] Выбрасывает соответствующее исключение для несоответствия типов между ColumnType и типом данных в некоторых строках
  • [SPARK-49956] [SC-179070] Отключены колляции с выражением collect_set
  • [SPARK-49974] [16.x][SC-179071][SQL] Переместить resolveRelations(...) из Analyzer.scala
  • [SPARK-47259] [SC-176437][SQL] Присвойте названия условиям ошибок для ошибок, связанных с интервалом
  • [SPARK-47430] [SC-173679][SQL] Переработка группировки по типу "map" для исправления исключения привязки ссылки
  • [SPARK-49067] [SC-172616][SQL] Переместить литерал UTF-8 во внутренние методы класса UrlCodec
  • [SPARK-49955] [SC-178989][SQL] значение NULL не означает поврежденный файл при анализе строки JSON RDD
  • [SPARK-49393] [SC-175212][SQL] Сбой по умолчанию в устаревших API подключаемых модулей каталога
  • [SPARK-49952] [SC-178985][SQL] Назначьте правильное условие ошибки для _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][SQL] Ограничить наборы символов в JsonOptions
  • [SPARK-49892] [SC-178975][SQL] Назначьте правильный класс ошибок для _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][SQL] Назначьте правильное условие ошибки для _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][SQL] Назначьте имена классам ошибок _LEGACY_ERROR_TEMP_105[3-4] и _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][SQL] Обработка нулей и единиц в ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][SQL] Назначьте правильное условие ошибки для _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-1787748][CORE] Используйте доступ только для чтения для конференц-связи в SparkContext, где это необходимо.
  • [SPARK-49666] [SC-177891][SQL] Добавление флага для управления упорядочиванием обрезки
  • [SPARK-48885] [SC-171050][SQL] Заставьте некоторые подклассы RuntimeReplaceable переопределять замену на отложенный val
  • [SPARK-49932] [SC-178931][CORE] Использование ресурсов tryWithResource выпуска JsonUtils#toJsonString, чтобы избежать утечки памяти
  • [SPARK-49949] [SC-178978][PS] Избегайте ненужных задач анализа в attach_sequence_column
  • [SPARK-49924] [SC-178935][SQL] Сохранить containsNull после замены ArrayCompact
  • [SPARK-49121] [SC-174787][SQL] Поддержка from_protobuf и to_protobuf для функций SQL
  • [SPARK-47496] [SC-160529][SQL] Поддержка JAVA SPI для динамической регистрации диалектов JDBC
  • [SPARK-49359] [SC-174895][SQL] Разрешить реализации StagedTableCatalog вернуться к не атомарной записи
  • [SPARK-49895] [SC-178543][SQL][ES-1270338] Улучшение ошибки при обнаружении запятой в предложении SELECT
  • [SPARK-47945] [SC-163457][SQL] MsSQLServer: Документирование соответствия типов данных Spark SQL из Microsoft SQL Server и добавление тестов
  • [SPARK-46037] [SC-175495][SQL] Исправление правильности построения хешированных соединений без кодогенерации
  • [SPARK-47813] [SC-162615][SQL] Замена getArrayDimension на updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][SQL] Исключение преобразования раздела ошибка оценки
  • [SPARK-47172] [SC-169537][CORE] Добавьте поддержку AES-GCM для шифрования RPC
  • [SPARK-47666] [SC-161476][SQL] Исправление NPE при чтении битового массива mysql в формате LongType
  • [SPARK-48947] [SC-174239][SQL] Используйте имя кодировки в нижнем регистре, чтобы уменьшить промахи кэша в Charset.forName
  • [SPARK-49909] [SC-178552][SQL] Исправьте красивое имя некоторых выражений
  • [SPARK-47647] [SC-161377][SQL] Сделать источник данных MySQL способным читать bit(n>1) как BinaryType, как в Postgres
  • [SPARK-46622] [SC-153004][CORE] Переопределить метод toString для o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][PYTHON] Сделайте именование параметров PySparkException согласованным с JVM
  • [SPARK-49889] [SC-178474][PYTHON] Добавление аргумента trim для функцийtrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][SQL] Исправлено сопоставление типов данных в ошибке на MySQL Connector/J
  • [SPARK-47628] [SC-161257][SQL] Исправлена проблема с битовым массивом Postgres "Невозможно привести к булеву типу"
  • [SPARK-49843] [SC-178084][ES-1268164][SQL] Исправление комментариев изменений для столбцов char/varchar
  • [SPARK-49549] [SC-178764][SQL] Назначьте имя условиям ошибки _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][SQL] Сделать DelegatingCatalogExtension более расширяемым
  • [SPARK-49559] [SC-178551][SQL] Добавление SQL-синтаксиса пайп для операций над множествами
  • [SPARK-49906] [SC-178536][SQL] Ввести и использовать ошибку CONFLICTING_DIRECTORY_STRUCTURES для PartitioningUtils
  • [SPARK-49877] [SC-178392][SQL] Изменение сигнатуры функции classifyException: добавление аргумента isRuntime
  • [SPARK-47501] [SC-160532][SQL] Добавить convertDateToDate, аналогично существующему convertTimestampToTimestamp для JdbcDialect
  • [SPARK-49044] [SC-175746][SQL] ValidateExternalType должен возвращать дочерний элемент при ошибке
  • [SPARK-47462] [SC-160460][SQL] Приведение сопоставлений других числовых типов без знака в соответствие с TINYINT в MySQLDialect
  • [SPARK-47435] [SC-160129][SQL] Исправлена проблема переполнения MySQL UNSIGNED TINYINT, вызванная SPARK-45561
  • [SPARK-49398] [SC-176377][SQL] Улучшение ошибки для параметров в запросе CACHE TABLE и CREATE VIEW
  • [SPARK-47263] [SC-177012][SQL] Назначьте имена устаревшим условиям _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][SQL] Исправлена подсказка, когда ascendingOrderDataTypeMismatch в SortArray
  • [SPARK-49806] [SC-178304][SQL][CONNECT] Удалите избыточные blank space после show в клиентах Scala и Connect
  • [SPARK-47258] [SC-175032][SQL] Назначение имен классам ошибок _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][SQL] Добавление синтаксиса канала SQL для оператора JOIN
  • [SPARK-49836] [SC-178339][SQL][SS] Исправление возможной поломки запроса при предоставлении окна или функции session_window.
  • [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Обработка сопоставления меток времени SQL для Postgres и MySQL
  • [SPARK-49776] [SC-177818][PYTHON][CONNECT] Поддержка круговых диаграмм
  • [SPARK-49824] [SC-178251][SS][CONNECT] Улучшение ведения журнала в SparkConnectStreamingQueryCache
  • [SPARK-49894] [SC-178460][PYTHON][CONNECT] Уточнение строкового представления операций поля столбца
  • [SPARK-49764] [SC-177491][PYTHON][CONNECT] Области поддержки
  • [SPARK-49694] [SC-177376][PYTHON][CONNECT] Поддержка диаграмм рассеяния
  • [SPARK-49744] [SC-178363][SS][PYTHON] Реализация поддержки TTL для ListState в TransformWithStateInPandas
  • [SPARK-49879] [SC-1783334][CORE] Перемещение TransportCipherUtil в отдельный файл для устранения предупреждений компиляции Java
  • [SPARK-49866] [SC-178353][SQL] Улучшение сообщения об ошибке для описания таблицы с столбцами секций
  • [SPARK-49867] [SC-178302][ES-1260570][SQL] Улучшить сообщение об ошибке, когда индекс выходит за границы, при вызове GetColumnByOrdinal
  • [SPARK-49607] [SC-17737373][PYTHON] Обновите подход выборки для примеров на основе графиков
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] Поддержка горизонтальных и вертикальных столбчатых диаграмм
  • [SPARK-49531] [SC-177770][PYTHON][CONNECT] Построение линейного графика с использованием Plotly в качестве графической системы
  • [SPARK-49444] [SC-177692][ES-1203248][SQL] Изменен UnivocityParser для выбрасывания исключений времени выполнения, вызванных ArrayIndexOutOfBounds, с более ориентированными на пользователя сообщениями.
  • [SPARK-49870] [SC-178262][PYTHON] Добавление поддержки Python 3.13 в классической версии Spark
  • [SPARK-49560] [SC-178121][SQL] Добавление синтаксиса канала SQL для оператора TABLESAMPLE
  • [SPARK-49864] [SC-178305][SQL] Улучшение сообщения BINARY_ARITHMETIC_OVERFLOW
  • [SPARK-48780] [SC-170274][SQL] Сделать ошибки в NamedParametersSupport обработчиком для функций и процедур
  • [SPARK-49358] [SC-178158][SQL] Выражение режима для типов карт с сортировкой строк
  • [SPARK-47341] [SC-178157][SQL] Исправлена неточная документация по RuntimeConfig#get
  • [SPARK-48357] [SC-178153][SQL] Поддержка инструкции LOOP
  • [SPARK-49845] [SC-178059][CORE] Сделать appArgs и environmentVariables необязательным в REST API
  • [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable должен указывать, предназначена ли таблица для записи
  • [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Добавлена поддержка прослушивателя на стороне клиента для Scala
  • [SPARK-48700] [SC-177978][SQL] Выражение режима для сложных типов (все параметры сортировки)
  • [SPARK-48196] [SC-177899][SQL] Превратить планы lazy val QueryExecution в LazyTry.
  • [SPARK-49749] [16.x][SC-177877][CORE] Измените уровень журнала на отладку в BlockManagerInfo
  • [SPARK-49561] [SC-177897][SQL] Добавление синтаксиса канала SQL для операторов PIVOT и UNPIVOT
  • [SPARK-49823] [SC-177885][SS] Избегайте сброса во время завершения работы в пути закрытия rocksdb
  • [SPARK-49820] [SC-177855] [PYTHON] Измените raise IOError на raise OSError
  • [SPARK-49653] [SC-177266][SQL] Одно соединение для коррелированных скалярных вложенных запросов
  • [SPARK-49552] [SC-177477][PYTHON] Добавление поддержки API DataFrame для новых SQL-функций "randstr" и "uniform"
  • [SPARK-48303] [16.x][SC-166251][CORE] Reorganize LogKeys
  • [SPARK-49656] [16x][Backport][SS] Добавьте поддержку переменных состояния с типами коллекции значений и параметрами канала изменений чтения
  • [SPARK-48112] [SC-165129][CONNECT] Открыть доступ к сеансу в SparkConnectPlanner для подключаемых модулей
  • [SPARK-48126] [16.x][SC-165309][Core] Сделать spark.log.structuredLogging.enabled эффективным
  • [SPARK-49505] [SC-176873][SQL] Создание новых функций SQL "randstr" и "uniform" для создания случайных строк или чисел в диапазонах
  • [SPARK-49463] [SC-177474] Поддержка ListState для TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][Core] Объединить ключи MDC mdc.taskName и task_name
  • [SPARK-49557] [SC-177227][SQL] Добавление синтаксиса канала SQL для оператора WHERE
  • [SPARK-49323] [16.x][SC-174689][CONNECT] Перемещение MockObserver из тестовой папки Spark Connect Server в основную папку сервера
  • [SPARK-49745] [SC-177501][SS] Внедрение изменений для чтения зарегистрированных таймеров через источник данных состояния.
  • [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Remove ColumnFamilyOptions и добавить конфигурации непосредственно в dbOptions в RocksDB

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

См. Databricks Runtime 16.1 обновления обслуживания.

Системная среда

  • операционная система: Ubuntu 24.04.1 LTS
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
аннотированные типы 0.7.0 asttokens 2.0.5 астунпарс 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
Azure-хранилище файлов Data Lake 12.17.0 backports.tarfile 1.2.0 чёрный 24.4.2
поворотник 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 сертификат 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-нормалайзер 2.0.4 щелчок 8.1.7
cloudpickle 2.2.1 comm 0.2.1 контурная диаграмма 1.2.0
криптография 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
декоратор 5.1.1 Устаревший 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 точки входа 0.4 Выполнение 0.8.3
обзор аспектов 1.1.1 блокировка файлов 3.15.4 шрифтовые инструменты 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 Google Cloud Storage (гугл клауд сторидж) 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
гнуть 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets (виджеты для IPython) 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 джедаи 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Маккейб 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 Оаутхлиб 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 соглашения по OpenTelemetry-Semantic-Conventions 0.48b0
упаковка 24.1 Панды 1.5.3 парсо 0.8.3
спецификация пути 0.10.3 простофиля 0.5.6 pexpect 4.8.0
подушка 10.3.0 зернышко 24.2 platformdirs 3.10.0
plotly 5.22.0 Pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Пигменты 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Запросы 2.32.2 верёвка 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
мореборн 0.13.2 setuptools (набор инструментов для установки) 74.0.0 Шесть 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels (библиотека Python для статистического моделирования) 0.14.2 цепкость 8.2.2
Threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
торнадо 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 типы-запросы 2.31.0.0 types-setuptools 68.0.0.0
шесть типов 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 Несанкционированные обновления 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 колесо 0.43.0 завернутый 1.14.1
yapf 0.33.0 ZIPP 3.17.0

установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN диспетчера пакетов Posit 2024-08-04.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 16.1.0 askpass 1.2.0 assertthat 0.2.1
внутренние порты 1.5.0 основа 4.4.0 base64enc 0.1-3
bigD 0.2.0 бит 4.0.5 64-бит 4.0.5
bitops 1.0-8 комок 1.2.4 ботинок 1.3-30
варить 1.0-10 живость 1.1.5 метла 1.0.6
bslib 0.8.0 cachem 1.1.0 вызывающий объект 3.7.6
знак вставки 6.0-94 cellranger 1.1.0 хронометр 2.3-61
класс 7.3-22 cli 3.6.3 клипера 0.8.0
часы 0.7.1 кластер 2.1.6 codetools 0.2-20
цветовое пространство 2.1-1 commonmark 1.9.1 составитель 4.4.0
Конфигурация 0.3.2 испытывающий сомнения 1.2.0 cpp11 0.4.7
карандаш 1.5.3 верительные грамоты 2.0.1 кёрл 5.2.1
data.table 1.15.4 Наборы данных 4.4.0 DBI 1.2.3
dbplyr 2.5.0 описание 1.4.3 средства разработки 2.4.5
диаграмма 1.6.5 diffobj 0.3.5 дайджест 0.6.36
направленный вниз свет 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 оценивать 0.24.0
вентиляторы 1.0.6 Farver 2.1.2 фастмэп 1.2.0
fontawesome 0.5.2 для кошек 1.0.0 foreach 1.5.2
иностранный 0.8-86 кузница 0.2.0 fs 1.6.4
будущее 1.34.0 future.apply 1.11.2 полоскать 1.5.2
Обобщённые типы 0.1.3 Герт 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные переменные 0.16.3 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.4.0 grDevices 4.4.0 сетка 4.4.0
gridExtra 2.3 gsubfn 0.7 gt; 0.11.0
gtable 0.3.5 каска 1.4.0 гавань 2.5.4
выше 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Идентификаторы 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 маркирование 0.4.3
позже 1.3.2 решётка 0.22-5 лава 1.8.0
жизненный цикл 1.0.4 прослушиватель 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 МАССА 7.3-60.0.1
Матрица 1.6-5 memoise 2.0.1 методика 4.4.0
mgcv 1.9-1 мим 0.12 мини-интерфейс 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 параллельный 4.4.0
параллельно 1.38.0 столб 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
плогр 0.2.0 plyr 1.8.9 хвалить 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 прогресс 1.2.3
progressr 0.14.0 Обещания 1.3.0 прото 1.0.0
доверенность 0.4-27 П.С. 1.7.7 мурлыканье 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 реагирующий 0.4.4
ReactR 0.6.0 readr 2.1.5 readxl (пакет для чтения Excel файлов) 1.4.3
Рецепты 1.1.0 реванш 2.0.0 rematch2 2.1.2
Пульты 2.5.0 репродуцируемый пример (reprex) 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 дерзость 0.4.9
весы 1.3.0 селектор 0.4-2 информация о сеансе 1.2.2
форма 1.4.6.1 блестящий 1.9.1 sourcetools 0.1.7-1
Sparklyr 1.8.6 пространственный 7.3-17 Сплайны 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 Статистика 4.4.0
статистика4 4.4.0 stringi 1.8.4 stringr 1.5.1
выживание 3.6-4 самоуверенность и стильный вид 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
текстовое оформление 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 смена времени 0.3.0
ВремяДата 4032.109 tinytex 0.52 инструменты 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 утилиты 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
врум 1.6.5 Уолдо 0.5.2 усы 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 молния 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (клиент для Amazon Kinesis) 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-поддержка 1.12.638
com.amazonaws aws-java-sdk-swf-библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics поток 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware крио-затенённый 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core джексон-заметки 2.15.2
com.fasterxml.jackson.core джексон-ядро 2.15.2
com.fasterxml.jackson.core джексон-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype джексон-дататип-йода 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module джексон-модуль-паранеймер 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-уроженцы
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-уроженцы
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-уроженцы
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-уроженцы
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink оттенок 1.9.0
com.google.errorprone ошибкоопасные аннотации 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava гуава 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft джсч 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Конфигурация 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer ХикариCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
Commons-logging Commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift воздушный компрессор 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics аннотирование метрик 4.2.19
io.dropwizard.metrics ядро метрик 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics Проверки работоспособности метрик 4.2.19
io.dropwizard.metrics метрики Jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics метрики-сервлеты 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx собиратель 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction api транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine рассол 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow Формат со стрелками 15.0.0
org.apache.arrow стрелка-память-ядро 15.0.0
org.apache.arrow арроу-мемори-нетти 15.0.0
org.apache.arrow стрелка-вектор 15.0.0
org.apache.avro авро 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons Коммонс-компресс 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons текст общего пользования 1.10.0
org.apache.curator куратор-клиент 2.13.0
org.apache.curator куратор-фреймворк 2.13.0
org.apache.curator рецепты куратора 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive Hive-интерфейс хранения данных 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims планировщик hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson джексон-core-asl 1.9.13
org.codehaus.jackson джексон-маппер-ASL 1.9.13
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-продолжение 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty сервер Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty веб-приложение 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket сервер веб-сокетов 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers Jersey-container-servlet-core 2.40
org.glassfish.jersey.core джерси-клиент 2.40
org.glassfish.jersey.core джерси-common 2.40
org.glassfish.jersey.core джерси-сервер 2.40
org.glassfish.jersey.inject джерси-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Аннотации 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap шайбы 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest совместимый с Scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten тритен-экстра 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1