Поделиться через

Databricks Runtime 15.4 LTS

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.4 LTS, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в августе 2024 года.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Изменение поведения

VARIANT Использование в качестве входного или выходного типа с UDF, UDAF или UDTF Python создает исключение.

[Критические изменения] В Databricks Runtime 15.3 и выше вызов любой определяемой пользователем функции на Python (UDF), агрегатной функции, определяемой пользователем (UDAF), или функции таблицы, определяемой пользователем (UDTF), которая использует тип VARIANT в качестве аргумента или возвращаемого значения, приводит к исключению. Это изменение делается для предотвращения проблем, которые могут возникнуть из-за недопустимого значения, возвращаемого одним из этих функций. Дополнительные сведения о типе VARIANT см. в статье об использовании VARIANTs для хранения полуструктурированных данных.

Изменение режима привязки схемы по умолчанию для представлений

Теперь представления адаптируются к изменениям схемы в базовом запросе с помощью компенсации схемы и стандартных правил приведения типов. Это изменение предыдущего BINDING режима по умолчанию, которое вызвало ошибки, когда безопасный приведение не удалось выполнить при ссылке на представление.

См. функцией приведения CREATE VIEW и .

Запретить использование неподдерженного ! синтаксиса NOT вместо логических выражений

В этом выпуске использование в качестве синонима ! за NOT пределами логических выражений больше не допускается. Например, инструкции, такие как следующие: CREATE ... IF ! EXISTS, НЕ NULL, свойство столбца или поля ! NULL, ! IN и НЕ МЕЖДУ, необходимо заменить следующим образом: CREATE ... IF NOT EXISTS, IS NOT NULL, свойство столбца или поля NOT NULL, NOT IN и NOT BETWEEN.

Это изменение гарантирует согласованность, соответствует стандарту SQL и делает SQL более переносимым.

Логический оператор! префикса (например, !is_mgr или !(true AND false)) не влияет на это изменение.

Запретить неописанный синтаксис определения столбцов в представлениях.

Databricks поддерживает CREATE VIEW с именованными столбцами и комментариями к столбцам. Ранее была разрешена спецификация типов столбцов, ограничений NOT NULL или DEFAULT. В этом выпуске этот синтаксис больше не используется.

Это изменение обеспечивает согласованность, соответствует стандарту SQL и поддерживает будущие улучшения.

Согласованная обработка ошибок для декодирования Base64 в Spark и Photon

В этом выпуске показано, как Photon обрабатывает ошибки декодирования Base64 в соответствии с обработкой этих ошибок Spark. Перед этими изменениями путь создания кода Photon и Spark иногда не удалось вызвать исключения синтаксического анализа, а выполнение Spark интерпретировалось IllegalArgumentException правильно или ConversionInvalidInputErrorне удалось. Это обновление гарантирует, что Photon постоянно создает те же исключения, что и Spark во время декодирования Base64, обеспечивая более прогнозируемую и надежную обработку ошибок.

Добавление ограничения CHECK для недопустимого столбца теперь возвращает класс ошибки UNRESOLVED_COLUMN.WITH_SUGGESTION

Чтобы предоставить более полезные сообщения об ошибках, в Databricks Runtime версии 15.3 и выше инструкция ALTER TABLE ADD CONSTRAINT, содержащая ограничение CHECK, которое ссылается на недопустимое имя столбца, возвращает ошибку класса UNRESOLVED_COLUMN.WITH_SUGGESTION. Ранее возвращался объект INTERNAL_ERROR .

pyodbc обновляется с 4.0.38 до 4.0.39

Пакет pyodbc обновляется с версии 4.0.38 до версии 4.0.39. Это изменение необходимо, так как ошибка была обнаружена в версии 4.0.38 и была удалена из PyPI.

Новые функции и внесенные улучшения

Функции проверки UTF-8

В этом выпуске представлены следующие функции для проверки строк UTF-8:

  • is_valid_utf8 проверяет, является ли строка допустимой строкой UTF-8.
  • make_valid_utf8 преобразует потенциально недопустимую строку UTF-8 в допустимую строку UTF-8 с помощью символов подстановки
  • validate_utf8 вызывает ошибку, если входные данные не являются допустимой строкой UTF-8.
  • try_validate_utf8 возвращаетсяNULL, если входные данные не являются допустимой строкой UTF-8.

API типизированного набора данных с помощью определяемых пользователем функций Scala

Этот выпуск включает в себя добавленную поддержку API типизированного набора данных с определяемыми пользователем функциями Scala (за исключением определяемых пользователем агрегатных функций) для вычислений с поддержкой Каталога Unity с общим режимом доступа. См . API типизированного набора данных.

Включение UniForm Iceberg с помощью ALTER TABLE

Теперь вы можете включить UniForm Iceberg в существующих таблицах без перезаписи файлов данных. См. раздел Enable Iceberg reads на существующей таблице.

функция try_url_decode

В этом выпуске представлена функция try_url_decode , которая декодирует строку, закодированную URL-адресом. Если строка не имеет правильного формата, функция возвращается NULL вместо того, чтобы вызывать ошибку.

При необходимости позволяет оптимизатору полагаться на неподдерживающиеся ограничения внешнего ключа.

Чтобы повысить производительность запросов, теперь можно указать ключевое слово RELY для ограничений FOREIGN KEY при CREATE или ALTER в таблице.

Параллельное задание выполняется для выборочных перезаписей

Выборочные перезаписи с replaceWhere теперь выполняют задания по удалению данных и вставке новых данных параллельно, повышая производительность запросов и эффективность использования кластера.

Улучшена производительность канала измененных данных с выборочными перезаписями

Выборочные перезаписи, используя replaceWhere, в таблицах с каналом данных изменений уже не создают отдельные файлы данных изменений для вставленных данных. Эти операции используют скрытый столбец _change_type, присутствующий в базовых файлах данных Parquet, для фиксации изменений без усиления записи.

Улучшена задержка запросов для COPY INTO команды

Этот выпуск включает изменение, которое улучшает задержку запроса для COPY INTO команды. Это улучшение реализуется путем загрузки состояния в хранилище состояний RocksDB асинхронно. При этом изменении вы увидите улучшение времени начала запросов с большими состояниями, например запросы с большим количеством уже полученных файлов.

Поддержка удаления функции таблицы ограничений проверки

Теперь можно удалить функцию таблицы checkConstraints из таблицы Delta с помощью ALTER TABLE table_name DROP FEATURE checkConstraints. См. раздел "Отключить ограничения проверки".

Однопользовательский вычислительный модуль поддерживает доступ с точным управлением, материализованные представления и стриминговые таблицы (публичная предварительная версия).

Если рабочая область включена для бессерверных вычислений, Databricks Runtime 15.4 LTS добавляет поддержку точного управления доступом для вычислений одного пользователя. Когда запрос обращается к любому из следующих объектов, один пользователь вычислительный ресурс в Databricks Runtime 15.4 LTS передает запрос бессерверным вычислительным ресурсам для выполнения фильтрации данных:

  • Представления, определенные над таблицами, для которых у пользователя отсутствуют привилегии SELECT.
  • Динамические представления.
  • Таблицы с примененными фильтрами строк или масками столбцов.
  • Материализованные представления и потоковые таблицы.

Эти запросы не поддерживаются при вычислении отдельных пользователей, работающих под управлением Databricks Runtime 15.3 и ниже.

Дополнительные сведения см. в разделе "Точное управление доступом" для вычислений одного пользователя.

Расширенная поддержка библиотек Java и Scala

Начиная с Databricks Runtime 15.4 LTS, все библиотеки Java и Scala, упакованные с Databricks Runtime, доступны во всех режимах доступа к вычислительным ресурсам при использовании каталога Unity. Чтобы узнать больше о поддержке языков для компьютеров с поддержкой каталога Unity, см. раздел ограничения режима доступа для каталога Unity.

Расширенная поддержка операций с набором данных Scala

В этом выпуске вычислительные ресурсы с поддержкой каталога Unity, использующие режим общего доступа, поддерживают следующие операции Scala Dataset: map, mapPartitions, foreachPartition, flatMap, reduce и filter.

Scala доступна в общей вычислительной среде Unity Catalog.

В этом выпуске Scala доступна в общем доступе на вычислительных мощностях с поддержкой каталога Unity в режиме совместного доступа, включая поддержку скалярных пользовательских функций (UDF). Структурированная потоковая передача, ОПРЕДЕЛяемые пользователем функции Hive и Hive, не поддерживаются. Полный список ограничений см. в разделе Ограничения режима доступа к вычислительным ресурсам длякаталога Unity.

Управляемый каталогом Unity доступ к внешним облачным службам с помощью учетных данных службы (общедоступная предварительная версия)

Учетные данные службы обеспечивают простую и безопасную проверку подлинности с помощью служб облачного клиента с помощью управляемых удостоверений Azure (MI) и каталога Unity. См. Управление доступом к внешним облачным службам с помощью учетных данных службы.

Исправления ошибок

Обновления библиотек

  • Обновленные библиотеки Python:
    • azure-core от 1.30.1 до 1.30.2
    • google-auth от 2.29.0 до 2.31.0
    • google-cloud-storage с 2.16.0 до 2.17.0
    • google-resumable-media с 2.7.0 до 2.7.1
    • googleapis-common-protos с 1.63.0 до 1.63.2
    • mlflow-skinny от 2.11.3 до 2.11.4
    • proto-plus от 1.23.0 до 1.24.0
    • s3transfer от 0.10.1 до 0.10.2
  • Обновленные библиотеки R:
  • Обновленные библиотеки Java:
    • com.databricks.databricks-sdk-java от 0.17.1 до 0.27.0
    • com.ibm.icu.icu4j от 72.1 до 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 1.6.1-linux-x86_64 до 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.3 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Разрешить группирование выражений в скалярных вложенных запросах, если они привязаны к внешним строкам
  • [SPARK-48834] [ПОВЕДЕНИЕ-79][SC-170972][SQL] Отключение вариантных входных и выходных данных для скалярных определяемых пользователем python, определяемых пользователем пользователем, UDTFs, UDAFs во время компиляции запросов
  • [SPARK-48441] [SC-170980][SQL][ТЕПЛОФИКС] Исправлено поведение StringTrim для параметров сортировки, отличных от UTF8_BINARY
  • [SPARK-48440] [SC-170895][SQL][ТЕПЛОФИКС] Исправление поведения StringTranslate для параметров сортировки без UTF8_BINARY
  • [SPARK-48872] [SC-170866][PYTHON] Сокращение затрат на _capture_call_site
  • [SPARK-48862] [SC-170845][PYTHON][CONNECT] Избегайте вызова _proto_to_string , если уровень INFO не включен
  • [SPARK-48852] [SC-170837][CONNECT] Исправлена функция обрезки строки при подключении
  • [SPARK-48791] [SC-170658][CORE] Исправление регрессии, вызванной затратами на регистрацию аккумуляторов с помощью CopyOnWriteArrayList
  • [SPARK-48118] [SQL] Поддержка SPARK_SQL_LEGACY_CREATE_HIVE_TABLE переменной env
  • [SPARK-48241] [SC-165811][SQL] Сбой синтаксического анализа с столбцами типа char/varchar
  • [SPARK-48168] [SC-166900][SQL] Добавление поддержки операторов перемещений по битовой стрелке
  • [SPARK-48148] [SC-165630][CORE] Объекты JSON не должны изменяться при чтении как STRING
  • [SPARK-46625] [SC-170561] Общее табличное выражение (CTE) с предложением идентификатора в качестве ссылки
  • [SPARK-48771] [SC-170546][SQL] LogicalPlanIntegrity.validateExprIdUniqueness Ускорение для больших планов запросов
  • [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Сделайте имя столбца по умолчанию cast совместимым с Spark Classic
  • [SPARK-48623] [SC-170544][CORE] Структурированные миграции журналов [часть 2]
  • [SPARK-48296] [SC-166138][SQL] Поддержка Codegen для to_xml
  • [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter для многоуровневого соединения должен проверять тип дочернего соединения
  • [SPARK-48686] [SC-170365][SQL] Повышение производительности ParserUtils.unescapeSQLString
  • [SPARK-48798] [SC-170588][PYTHON] Введение spark.profile.render в профилирование на основе SparkSession
  • [SPARK-48048] [SC-169099] Возврат "[SC-164846][CONNECT][SS] Добавлена поддержка прослушивателя на стороне клиента для Scala"
  • [SPARK-47910] [SC-168929][CORE] закройте поток при закрытии DiskBlockObjectWriter, чтобы избежать утечки памяти
  • [SPARK-48816] [SC-170547][SQL] Короткое число преобразователей интервалов в UnivocityParser
  • [SPARK-48589] [SC-170132][SQL][SS] Добавление параметра snapshotStartBatchId и snapshotPartitionId в источник данных состояния
  • [SPARK-48280] [SC-170293][SQL] Улучшение области тестирования сортировки с помощью пошагового выражения
  • [SPARK-48837] [SC-170540][ML] В CountVectorizer считывает только двоичный параметр один раз на преобразование, а не один раз на строку
  • [SPARK-48803] [SC-170541][SQL] Вызов внутренней ошибки в сериализаторе Orc(De)для выравнивания с ParquetWriteSupport
  • [SPARK-48764] [SC-170129][PYTHON] Фильтрация кадров, связанных с IPython, из пользовательского стека
  • [SPARK-48818] [SC-170414][PYTHON] Упрощение percentile функций
  • [SPARK-48479] [SC-169079][SQL] Поддержка создания пользовательских скалярных и табличных SQL-функций в синтаксическом анализаторе
  • [SPARK-48697] [SC-170122][LC-4703][SQL] Добавление фильтров строк с поддержкой сортировки
  • [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814][SQL] Правильно, так как версия для встроенного псевдонима randomfunc, position, modcardinality, current_schema, usersession_userchar_lengthcharacter_length
  • [SPARK-48638] [SC-169575][CONNECT] Добавление поддержки ExecutionInfo для Кадра данных
  • [SPARK-48064] [SC-164697][SQL] Обновление сообщений об ошибках для стандартных классов ошибок
  • [SPARK-48810] [CONNECT] API остановки сеанса () должен быть идемпотентным и не завершается ошибкой, если сеанс уже закрыт сервером
  • [SPARK-48650] [15.x][PYTHON] Отображение правильного сайта вызова из IPython Notebook
  • [SPARK-48271] [SC-166076][SQL] Преобразование ошибки сопоставления в RowEncoder в UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL] Исправление несоответствия разрешения типов varchar для CTAS DataSourceV2
  • [SPARK-48792] [SC-170335][SQL] Исправление регрессии для INSERT с частичным списком столбцов в таблицу с помощью char/varchar
  • [SPARK-48767] [SC-170330][SQL] Исправление некоторых ошибок variant при недопустимых данных типа
  • [SPARK-48719] [SC-170339][SQL] Исправлена ошибка RegrSlope вычисления и RegrIntercept когда первый параметр имеет значение NULL
  • [SPARK-48815] [SC-170334][CONNECT] Обновление среды при остановке сеанса подключения
  • [SPARK-48646] [SC-169020][PYTHON] Уточнение подсказок по API источника данных Python и подсказок типов
  • [SPARK-48806] [SC-170310][SQL] Передача фактического исключения при сбое url_decode
  • [SPARK-47777] [SC-168818] исправлен тест подключения источника данных потоковой передачи Python
  • [SPARK-48732] [SC-169793][SQL] Очистка нерекомендуемого использования API, связанного с JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][SQL] Исправление таблицы кэша с сортировкой столбца
  • [SPARK-48623] [SC-169034][CORE] Структурированные миграции журналов
  • [SPARK-48655] [SC-169542][SQL] SPJ: добавление тестов для перетасовки пропуска для агрегированных запросов
  • [SPARK-48586] [SC-169808][SS] Удалить получение блокировки в doMaintenance() посредством создания глубокой копии сопоставлений файлов в RocksDBFileManager в load()
  • [SPARK-48799] [Backport][15.x][SC-170283][SS] Рефакторинг версий для метаданных оператора считывает и записывает и вызывает
  • [SPARK-48808] [SC-170309][SQL] Исправление NPE при подключении thriftserver через Hive 1.2.1 и схема результата пуста
  • [SPARK-48715] [SC-170291][SQL] Интеграция проверки UTF8String в реализации строковых функций с поддержкой сортировки
  • [SPARK-48747] [SC-170120][SQL] Добавление итератора точек кода в UTF8String
  • [SPARK-48748] [SC-170115][SQL] Кэш numChars в UTF8String
  • [SPARK-48744] [SC-169817][Ядро] Запись журнала должна быть создана только один раз
  • [SPARK-46122] [SC-164313][SQL] Задайте для spark.sql.legacy.createHiveTableByDefault значение false по умолчанию
  • [SPARK-48765] [SC-170119][РАЗВЕРТЫВАНИЕ] Повышение оценки значений по умолчанию для SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128][SQL] Добавить документацию по миграции для изменения поведения CREATE TABLE AS SELECT с версии Spark 3.4
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT] Распространение кэшированной схемы в операциях с кадрами данных
  • [SPARK-48766] [SC-170126][PYTHON] Документируйте разницу extraction в поведении между element_at и try_element_at
  • [SPARK-48768] [SC-170124][PYTHON][CONNECT] Не следует кэшировать explain
  • [SPARK-48770] [Backport][15.x][SC-170133][SS] Измените метаданные оператора на чтение один раз на драйвере, чтобы проверить, можно ли найти сведения о numColsPrefixKey, используемом для запросов окна сеанса
  • [SPARK-48656] [SC-169529][CORE] Выполните проверку длины и вызовите ошибку COLLECTION_SIZE_LIMIT_EXCEEDED CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
  • [SPARK-48472] [SC-169044][SQL] Включение выражений отражения со строками сортировки
  • [SPARK-48699] [SC-169597][SQL] Уточнение API сортировки
  • [SPARK-48682] [SC-169812][SQL][ПОВЕДЕНИЕ-58] Использование ICU в выражении InitCap для строк UTF8_BINARY
  • [SPARK-48282] [SC-169813][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599][SQL] Включение поддержки сортировки для выражения Mode
  • [SPARK-48320] [SPARK-48490] Синхронизируйте последние признаки ведения журнала и тестовые случаи из OSS Spark
  • [SPARK-48629] [SC-169479] Перенос остаточного кода в структурированную платформу ведения журнала
  • [SPARK-48681] [SC-169469][SQL][ПОВЕДЕНИЕ-58] Использование ICU в выражениях нижнего или верхнего уровня для строк UTF8_BINARY
  • [SPARK-48573] [15.x][SC-169582][SQL] Обновление версии ICU
  • [SPARK-48687] [Backport][15.x][SS] Добавьте изменение для выполнения проверки схемы состояния и обновления драйвера для запросов с отслеживанием состояния
  • [SPARK-47579] [15.x][SC-167310][CORE][ЧАСТЬ4] Перенос logInfo с переменными в структурированную платформу ведения журнала
  • [SPARK-48008] [SC-167363][1/2] Поддержка UDAFs в Spark Connect
  • [SPARK-48578] [SC-169505][SQL] добавление связанных функций проверки строк UTF8
  • [SPARK-48670] [SC-169598][SQL] Предоставление предложения в рамках сообщения об ошибке при указании недопустимого имени сортировки
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Структурированная платформа журнала на стороне Java
  • [SPARK-47599] [15.x][SC-1660000][MLLIB] MLLib: перенос logWarn с переменными в структурированную платформу ведения журнала
  • [SPARK-48706] [SC-169589][PYTHON] UDF Python в функциях более высокого порядка не должен вызывать внутреннюю ошибку
  • [SPARK-48498] [ПОВЕДЕНИЕ-38][SC-168060][SQL] Всегда выполнять заполнение символов в предикатах
  • [SPARK-48662] [SC-169533][SQL] Исправление выражения StructsToXml с помощью параметров сортировки
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates и dropDuplicatesWIthinWatermark должны принимать args переменной длины
  • [SPARK-48678] [SC-169463][CORE] Оптимизация производительности для SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Переименование UTF8_BINARY_LCASE в UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL]: исправление атрибута nullability в декоде UDF
  • [SPARK-47579] [SC-165297][CORE][ЧАСТЬ1] Перенос logInfo с переменными в структурированную платформу ведения журнала (новая)
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal не используйте устаревшие методы
  • [SPARK-48431] [SC-167290][LC-4066][SQL] Не пересылайте предикаты для столбцов с сортировкой в средства чтения файлов
  • [SPARK-47579] Возврат "[SC-165297][CORE][PART1] Миграция logInfo с переменными в структурированную платформу ведения журнала"
  • [SPARK-47585] [SC-164306][SQL] SQL Core: перенос logInfo с переменными в структурированную платформу ведения журнала
  • [SPARK-48466] [SC-169042][SQL] Создание выделенного узла для EmptyRelation в AQE
  • [SPARK-47579] [SC-165297][CORE][ЧАСТЬ1] Перенос logInfo с переменными в структурированную платформу ведения журнала
  • [SPARK-48410] [SC-168320][SQL] Исправлено выражение InitCap для параметров сортировки UTF8_BINARY_LCASE и ICU
  • [SPARK-48318] [SC-167709][SQL] Включите поддержку хэш-соединения для всех параметров сопоставления (сложные типы)
  • [SPARK-48435] [SC-168128][SQL] Параметры сортировки ЮНИКОД не должны поддерживать двоичное равенство
  • [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Поддержка использования столбцов в качестве параметров для нескольких функций в pyspark/scala
  • [SPARK-48591] [SC-169081][PYTHON] Добавление вспомогательной функции для упрощения Column.py
  • [SPARK-48574] [SC-169043][SQL] Исправлена поддержка StructTypes с параметрами сортировки
  • [SPARK-48305] [SC-166390][SQL] Добавление поддержки сортировки для выражений CurrentLike
  • [SPARK-48342] [SC-168941][SQL] Общие сведения о синтаксическом анализе сценариев SQL
  • [SPARK-48649] [SC-169024][SQL] Добавление конфигураций "ignoreInvalidPartitionPaths" и "spark.sql.files.ignoreInvalidPartitionPaths" для пропуска недопустимых путей секций.
  • [SPARK-48000] [SC-167194][SQL] Включение поддержки хэш-соединения для всех вариантов сопоставлений (StringType)
  • [SPARK-48459] [SC-168947][CONNECT][PYTHON] Реализация DataFrameQueryContext в Spark Connect
  • [SPARK-48602] [SC-168692][SQL] Создание генератора csv-файлов поддерживает другой стиль вывода с помощью spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129][SQL] Изменение сравнения строк для UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830]Рефакторинг [SQL]: используйте вспомогательный idMap вместо OP_ID_TAG
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT] Избегайте статической инициализации threadpool в ExecutePlanResponseReattachableIterator
  • [SPARK-47911] [SC-164658][SQL] Представляет универсальный binaryFormatter для обеспечения согласованности двоичных выходных данных
  • [SPARK-48642] [SC-168889][CORE] False SparkOutOfMemoryError, вызванная задачей убийства при разливе
  • [SPARK-48572] [SC-168844][SQL] Исправление выражений DateSub, DateAdd, WindowTime, TimeWindow и SessionWindow
  • [SPARK-48600] [SC-168841][SQL] Исправление неявного приведения выражений FrameLessOffsetWindowFunction
  • [SPARK-48644] [SC-168933][SQL] Выполните проверку длины и вызовите ошибку COLLECTION_SIZE_LIMIT_EXCEEDED в Hex.hex
  • [SPARK-48587] [SC-168824][VARIANT] Избегайте увеличения объема хранилища при доступе к вложенной версии
  • [SPARK-48647] [SC-168936][PYTHON][CONNECT] Уточнение сообщения об ошибке для YearMonthIntervalType in df.collect
  • [SPARK-48307] [SC-167802][SQL] InlineCTE должен хранить нелинейные отношения в исходном узле WithCTE
  • [SPARK-48596] [SC-168581][SQL] Улучшение perf для вычисления шестнадцатеричной строки в течение длительного времени
  • [SPARK-48621] [SC-168726][SQL] Исправление как упрощение в оптимизаторе для сортировки строк
  • [SPARK-47148] [SC-164179][SQL] Избегайте материализации AQE ExchangeQueryStageExec при отмене
  • [SPARK-48584] [SC-168579][SQL] Улучшение Perf для unescapePathName
  • [SPARK-48281] [SC-167260][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826][SQL] Недопустимая замена последовательности байтов UTF-8
  • [SPARK-48595] [SC-168580][CORE] Очистка нерекомендуемого использования API, связанного с commons-compress
  • [SPARK-48030] [SC-164303][SQL] SPJ: кэширование rowOrdering и structType для InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][SQL] Добавление признака WriteFilesExecBase для записи версии 1
  • [SPARK-48551] [SC-168438][SQL] Улучшение perf для escapePathName
  • [SPARK-48565] [SC-168437][пользовательский интерфейс] Исправление отображения дампа потоков в пользовательском интерфейсе
  • [SPARK-48364] [SC-166782][SQL] Добавление приведения типов AbstractMapType и исправление сопоставления параметров RaiseError для работы со строками сортировки
  • [SPARK-48421] [SC-168689][SQL] SPJ: добавление документации
  • [SPARK-48604] [SC-168698][SQL] Замена нерекомендуемого new ArrowType.Decimal(precision, scale) вызова метода
  • [SPARK-46947] [SC-157561][CORE] Задержка инициализации диспетчера памяти до загрузки подключаемого модуля Driver
  • [SPARK-48411] [SC-168576][SS][PYTHON] Добавление теста E2E для DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697][SS] Отслеживание сбоев проверки строк состояния с помощью явного класса ошибок
  • [SPARK-48221] [SC-167143][SQL] Изменение логики поиска строк для сортировки UTF8_BINARY_LCASE (Содержит, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441][SQL] Добавление поддержки сортировки для выражения Levenshtein
  • [SPARK-48593] [SC-168719][PYTHON][CONNECT] Исправление строкового представления лямбда-функции
  • [SPARK-48622] [SC-168710][SQL] получить SQLConf единожды при разрешении имен столбцов
  • [SPARK-48594] [SC-168685][PYTHON][CONNECT] Переименование parent поля child в ColumnAlias
  • [SPARK-48403] [SC-168319][SQL] Исправление нижних и верхних выражений для параметров сортировки UTF8_BINARY_LCASE и ICU
  • [SPARK-48162] [SC-166062][SQL] Добавление поддержки сортировки для выражений MISC
  • [SPARK-48518] [SC-167718][CORE] Параллельное выполнение сжатия LZF
  • [SPARK-48474] [SC-167447][CORE] Исправление имени класса для входа SparkSubmitArguments и >. SparkSubmit
  • [SPARK-48012] [SC-168267][SQL] SPJ: поддержка трансфромных выражений для одностороннего перетасовки
  • [SPARK-48552] [SC-168212][SQL] вывод схемы CSV с несколькими строками также должен вызывать FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON] Создание settable StreamingQueryListener.spark
  • [SPARK-48569] [SC-168321][SS][CONNECT] Обработка пограничных вариантов в query.name
  • [SPARK-47260] [SC-167323][SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT] Распространение кэшированной схемы в операциях над множествами
  • [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation для соединения должен проверить, является ли оставшийся дочерним элементом только BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][CORE] Короткие имена кодека сжатия не учитывает регистр, за исключением ведения журнала событий
  • [SPARK-48447] [SC-167607][SS] Проверьте класс поставщика хранилища состояний перед вызовом конструктора
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff и DateTimeUtils.timestampAdd не должны вызывать исключение INTERNAL_ERROR
  • [SPARK-48513] [Backport][15.x][SC-168085][SS] Добавление класса для ошибок для совместимости схемы состояния и небольшого рефакторинга
  • [SPARK-48413] [SC-167669][SQL] ALTER COLUMN с колляцией
  • [SPARK-48561] [SC-168250][PS][CONNECT] Создание PandasNotImplementedError неподдерживаемых функций построения
  • [SPARK-48465] [SC-167531][SQL] Избегайте распространения пустых связей без опов
  • [SPARK-48553] [SC-168166][PYTHON][CONNECT] Кэширование дополнительных свойств
  • [SPARK-48540] [SC-168069][CORE] Избегайте настройки загрузки выходных данных в stdout
  • [SPARK-48535] [SC-168057][SS] Обновление документации по конфигурации, чтобы указать возможность потери или повреждения данных, если включена настройка пропуска значения NULL для объединения поток-поток.
  • [SPARK-48536] [SC-168059][PYTHON][CONNECT] Кэшировать указанную пользователем схему в applyInPandas и applyInArrow
  • [SPARK-47873] [SC-163473][SQL] Запись параметров сортировки в хранилище метаданных Hive с помощью обычного типа строки
  • [SPARK-48461] [SC-167442][SQL] Замените NullPointerExceptions классом ошибок в выражении AssertNotNull
  • [SPARK-47833] [SC-163191][SQL][CORE] Указание стека вызывающего абонента для checkAndGlobPathIfNecesary AnalysisException
  • [SPARK-47898] [SC-163146][SQL] Порт HIVE-12270: добавление поддержки DBTokenStore в токен делегирования HS2
  • [SPARK-47578] [SC-167497][R] Миграция RPackageUtils с переменными в структурированную платформу ведения журнала
  • [SPARK-47875] [SC-162935][CORE] Удалить spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][CORE] Установите для spark.hadoop.fs.s3a.connection.establish.timeout значение по умолчанию 30 секунд, если отсутствует
  • [SPARK-47972] [SC-167692][SQL] Ограничение выражения CAST для параметров сортировки
  • [SPARK-48430] [SC-167489][SQL] Исправление извлечения значений карты при сопоставлении строк с сортировкой
  • [SPARK-47318] [SC-162712][CORE][3.5] Добавляет раунд HKDF в производное ключ AuthEngine для выполнения стандартных методик KEX
  • [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Исправлены недопустимые скалярные вложенные запросы с группировкой по неэквивалентным столбцам, которые были неправильно разрешены.
  • [SPARK-48508] [SC-167695][CONNECT][PYTHON] Кэшировать указанную пользователем схему в DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188][WINDOWS] Исправлена ошибка в Windows, при которой запуск нескольких экземпляров Spark в одной секунде приводит к сбою
  • [SPARK-45891] [SC-167608]Вернитесь на "Описание схемы измельчения для Variant"
  • [SPARK-48391] [SC-167554][CORE]Использование addAll вместо добавления функции из методаAccumulatorInfos класса TaskMetrics
  • [SPARK-48496] [SC-167600][CORE] Использование статических экземпляров шаблонов regex в JavaUtils.timeStringAs и JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488][SQL] исправлено сообщение об ошибке NPE для CSV-файла null delmiter
  • [SPARK-48489] [SC-167598][SQL] Выдать лучшее, ориентированное на пользователя сообщение об ошибке при чтении незаконной схемы из текстового источника данных
  • [SPARK-48471] [SC-167324][CORE] Улучшение документации и руководства по использованию сервера журнала
  • [SPARK-45891] [SC-167597] Описание схемы измельчения для Variant
  • [SPARK-47333] [SC-159043][SQL] Проверка типов параметров функции с помощью checkInputDataTypes to_xml
  • [SPARK-47387] [SC-159310][SQL] Удалите некоторые неиспользуемые классы ошибок
  • [SPARK-48265] [ES-1131440][SQL] Пакет ограничения группы окон должен выполнять константное свертывание
  • [SPARK-47716] [SC-167444][SQL] Избегайте конфликта имен представления в тестовом случае семантической сортировки SQLQueryTestSuite
  • [SPARK-48159] [SC-167141][SQL] Расширение поддержки сортировки строк в выражениях datetime
  • [SPARK-48462] [SC-167271][SQL][Тесты] Использование сSQLConf в тестах: рефакторинг HiveQuerySuite и HiveTableScanSuite
  • [SPARK-48392] [SC-167195][CORE] Также загружается spark-defaults.conf при указании --properties-file
  • [SPARK-48468] [SC-167417] Добавление интерфейса LogicalQueryStage в катализатор
  • [SPARK-47578] [SC-164988][CORE] Ручной серверный порт для Spark PR #46309: перенос logWarning с переменными в структурированную платформу ведения журнала
  • [SPARK-48415] [SC-167321]Вернуть "[PYTHON] Refactor TypeName для поддержки параметризованных типов данных"
  • [SPARK-46544] [SC-151361][SQL] Поддержка версии 2 DESCRIBE TABLE EXTENDED со статистикой таблиц
  • [SPARK-48325] [SC-166963][CORE] Всегда указывать сообщения в ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139][SQL] Добавление поддержки сортировки для языковых стандартов ICU и описателей сортировки
  • [SPARK-47221] [SC-157870][SQL] Использует подписи из CsvParser в AbstractParser
  • [SPARK-47246] [SC-158138][SQL] Замена InternalRow.fromSeq на new GenericInternalRow сохранение преобразования коллекции
  • [SPARK-47597] [SC-163932][ПОТОКОВАЯ ПЕРЕДАЧА] Ручной серверный порт для Spark PR #46192: потоковая передача: миграция logInfo с переменными в структурированную платформу ведения журнала
  • [SPARK-48415] [SC-167130][PYTHON] Рефакторинг TypeName для поддержки параметризованных типов данных
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT] Сделайте printSchema использовать кэшированную схему
  • [SPARK-48432] [ES-1097114][SQL] Избегайте распаковки целых чисел в UnivocityParser
  • [SPARK-47463] [SC-162840][SQL] Использование версии 2Predicate для упаковки выражения с типом возвращаемого логического значения
  • [SPARK-47781] [SC-162293][SQL] Обработка отрицательных десятичных разрядов для источников данных JDBC
  • [SPARK-48394] [SC-166966][CORE] Очистка mapIdToMapIndex в mapoutput unregister
  • [SPARK-47072] [SC-156933][SQL] Исправление поддерживаемых форматов интервалов в сообщениях об ошибках
  • [SPARK-47001] [SC-162487][SQL] Проверка pushdown в оптимизаторе
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT] Совместимость _parse_datatype_string с Spark Connect
  • [SPARK-48329] [SC-166518][SQL] Включить spark.sql.sources.v2.bucketing.pushPartValues.enabled по умолчанию
  • [SPARK-48412] [SC-166898][PYTHON] Анализ типа данных рефакторинга json
  • [SPARK-48215] [SC-166781][SQL] Расширение поддержки сортировки строк в выражении date_format
  • [SPARK-45009] [SC-166873][SQL][FOLLOW UP] Добавить класс ошибки и тесты для декорреляции подзапросов предикатов в условии соединения, которые ссылаются на оба дочерних элемента соединения.
  • [SPARK-47960] [SC-165295][SS][15.x] Разрешить цепочку других операторов с отслеживанием состояния после преобразованияWithState.
  • [SPARK-48340] [SC-166468][PYTHON] Поддержка определения схемы для TimestampNTZ отсутствует prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902][SQL] Добавление поддержки сортировки для выражений CSV
  • [SPARK-48158] [SC-165652][SQL] Добавление поддержки сортировки для XML-выражений
  • [SPARK-48160] [SC-166064][SQL] Добавление поддержки сортировки для выражений XPATH
  • [SPARK-48229] [SC-165901][SQL] Добавление поддержки сортировки для выражений inputFile
  • [SPARK-48367] [SC-166487][CONNECT] Исправление lint-scala для scalafmt, чтобы определить правильное форматирование файлов
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Рефакторинг структуры для контекста ошибки DataFrame
  • [SPARK-48370] [SC-166787][CONNECT] Контрольная точка и localCheckpoint в клиенте Scala Spark Connect
  • [SPARK-48247] [SC-166028][PYTHON] Используйте все значения в дикте при выводе схемы MapType
  • [SPARK-48395] [SC-166794][PYTHON] Исправление StructType.treeString для параметризованных типов
  • [SPARK-48393] [SC-166784][PYTHON] Перемещение группы констант в pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Орудие StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT] Контрольная точка и localCheckpoint в Spark Connect

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 15.4 LTS.

Системная среда

  • Операционная система: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 cloudpickle 2.2.1 comm 0.1.2
контурная диаграмма 1.0.5 криптография 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.4 шрифтовые инструменты 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3,4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 нажатие клавиш 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 во внешнем виде 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
график 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.39
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 мореборн 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
внутренние порты 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 большой двоичный объект 1.2.4 загрузка 1.3-28
заваривать 1.0-10 brio 1.1.4 метла 1.0.5
bslib 0.6.1 cachem 1.0.8 вызывающий объект 3.7.3
крышка 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 компилятор 4.3.2
config 0.3.2 Противоречие 1.2.0 cpp11 0.4.7
карандаш 1.5.2 верительные грамоты 2.0.1 curl 5.2.0
data.table 1.15.0 наборы данных 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 evaluate 0,23
вентиляторы 1.0.6 Farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
иностранный 0.8-85 forge 0.2.0 fs 1.6.3
будущее 1.33.1 future.apply 1.11.1 gargle 1.5.2
Универсальные шаблоны 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
высокий 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 трикотажный 1,45 маркирование 0.4.3
later 1.3.2 решётка 0.21-8 Lava 1.7.3
жизненный цикл 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 МАССАЧУСЕТС 7.3-60
«Матрица» 1.5-4.1 memoise 2.0.1 оплаты 4.3.2
mgcv 1.8-42 мим 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 столб 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 хвалить 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Ход выполнения 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
Рецепты 1.0.9 реванш 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
весы 1.3.0 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 пространственный 7.3-15 Сплайны 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
статистика4 4.3.2 stringi 1.8.3 stringr 1.5.1
выживание 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
TimeDate 4032.109 tinytex 0,49 средства 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 служебные программы 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 усы 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat джексон-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics метрики-заметки 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1