Поделиться через

Databricks Runtime 12.2 LTS

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 12.2 LTS, на базе Apache Spark 3.3.2.

Databricks выпустила эту версию в марте 2023 года.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Изменение поведения

[Критическое изменение] Для новой версии Python требуется обновление клиентов Python Databricks Connect версии 1

Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 12.2 LTS обновляется с 3.9.5 до 3.9.19. Поскольку эти изменения могут привести к ошибкам в клиентах, использующих определенные функции PySpark, все клиенты, использующие Databricks Connect V1 для Python с Databricks Runtime 12.2 LTS, должны быть обновлены до Python 3.9.7 или более поздней версии.

Новые функции и внесенные улучшения

Эволюция схемы Delta Lake поддерживает указание исходных столбцов в инструкциях слияния

Теперь можно указать столбцы, присутствующие только в исходной таблице, в действии вставки или обновления инструкций слияния при включении эволюции схемы. В Databricks Runtime 12.1 и ниже можно использовать только INSERT * действия или UPDATE SET * действия для эволюции схемы с слиянием. См. статью "Автоматическая эволюция схемы" для слияния Delta Lake.

Структурированные рабочие нагрузки потоковой передачи поддерживаются в кластерах с режимом общего доступа

Теперь можно использовать структурированную потоковую передачу для взаимодействия с каталогом Unity в общих кластерах. Применяются некоторые ограничения. Узнайте , какие функции структурированной потоковой передачи поддерживают каталог Unity?.

Новые возможности прогнозного ввода-вывода

Поддержка фотона приемника Foreachbatch теперь доступна. Рабочие нагрузки, которые передаются из источника и объединяются в разностные таблицы или записываются в несколько приемников, теперь могут воспользоваться фотонализованным приемником Foreachbatch .

Поддержка неявного псевдонима бокового столбца

Azure Databricks теперь поддерживает неявный псевдоним бокового столбца по умолчанию. Теперь можно повторно использовать выражение, указанное ранее в том же SELECT списке. Например, учитываяSELECT 1 AS aa + 1 AS b, можно a разрешить вход a + 1 как ранее определенный1 AS a. Дополнительные сведения о разрешении имен см. в порядке разрешения. Чтобы отключить эту функцию, можно задать значение spark.sql.lateralColumnAlias.enableImplicitResolution false.

Новая функция forEachBatch

Фотон теперь поддерживается при записи foreachBatch в приемник данных.

Стандартные параметры подключения для федерации запросов

Теперь можно использовать единый набор параметров (узел, порт, база данных, пользователь, пароль)для подключения к источникам данных, поддерживаемым в федерации запросов. Port является необязательным и использует номер порта по умолчанию для каждого источника данных, если не указано.

Расширенная библиотека функций SQL для управления массивами

Теперь можно удалить все элементы NULL из массива с помощью array_compact. Чтобы добавить элементы в массив, используйте array_append.

Новая функция маски для анонимизации строк

Вызовите функцию маски, чтобы анонимизировать конфиденциальные строковые значения.

Распространенные условия ошибки теперь возвращают SQLSTATEs

Большинство условий ошибки, которые Databricks Runtime теперь включают в себя документированные значения SQLSTATE , которые можно использовать для проверки ошибок в стандартном соответствии с SQL.

Вызов функций генератора в предложении FROM

Теперь можно вызвать функции генератора с табличным значением, такие как взрыв в регулярном FROM предложении запроса. Это выравнивает вызов функции генератора с другими встроенными и пользовательскими функциями таблицы.

Общедоступная поддержка буферов протокола

Вы можете использовать from_protobuf функции и to_protobuf функции для обмена данными между двоичными и типами структур. См . раздел "Чтение и запись буферов протокола".

Переход к определению для переменных и функций записной книжки

В записных книжках можно быстро перейти к определению переменной, функции или кода за %run инструкцией, щелкнув правой кнопкой мыши имя переменной или функции.

Быстрое исправление записной книжки для библиотек автоматического импорта

Записные книжки Databricks теперь предлагают функцию быстрого исправления для автоматически импортируемых библиотек. Если вы забыли импортировать библиотеку, например pandas, наведите указатель мыши на подчеркнутое предупреждение синтаксиса, а затем нажмите кнопку "Быстрое исправление", эта функция требует включения помощника Databricks в рабочей области.

Исправления ошибок

  • Улучшена согласованность для поведения фиксации Delta для пустых транзакций, относящихся к updateкомандам deleteи merge командам. На WriteSerializable уровне изоляции команды, которые не приводят к изменениям, теперь создают пустую фиксацию. На уровне изоляции такие пустые Serializable транзакции теперь не создают фиксацию.

Изменения в работе

Изменения поведения с помощью новой функции псевдонима бокового столбца

Новая функция псевдонима бокового столбца приводит к изменениям поведения для следующих случаев при разрешении имен:

  • Псевдоним бокового столбца теперь имеет приоритет над сопоставленными ссылками с тем же именем. Например, для этого запроса SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)c1 внутренний c1 AS c2 элемент был разрешен в сопоставленную ссылкуt.c1, но теперь изменяется на псевдоним бокового столбца1 AS c1. Теперь запрос возвращается NULL.
  • Псевдоним бокового столбца теперь имеет приоритет над параметрами функции с тем же именем. Например, CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx для функции в теле функции был разрешен параметр функции x, но изменяется на псевдоним x + 1 бокового столбца в теле функции. Теперь запрос SELECT * FROM func(1) возвращается 2, 2.
  • Чтобы отключить функцию псевдонима бокового столбца, установите значение spark.sql.lateralColumnAlias.enableImplicitResolution false. Дополнительные сведения см. в разделе "Разрешение имен".

Обновления библиотек

  • Обновленные библиотеки Python:
    • блокировка файлов от 3.8.2 до 3.9.0
    • joblib от 1.1.0 до 1.1.1
    • platformdirs от 2.6.0 до 2.6.2
    • whatthepatch от 1.0.3 до 1.0.4
  • Обновленные библиотеки R:
    • класс от 7.3-20 до 7.3-21
    • codetools от 0.2-18 до 0.2-19
    • МАСС с 7.3-58 до 7.3-58.2
    • nlme от 3.1-160 до 3.1-162
    • Rserve от 1.8-11 до 1.8-12
    • SparkR от 3.3.1 до 3.3.2

Изменения поведения

  • Теперь пользователям необходимо иметь SELECT и MODIFY привилегии для любого файла при создании схемы с определенным расположением.

Apache Spark

Databricks Runtime 12.2 включает Apache Spark 3.3.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 12.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-42416] [SC-123205][SC-122851][SQL] Операции набора дат не должны повторно разрешать проанализированный логический план
  • [SPARK-41848] Возврат "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Исправление задачи с помощью TaskResourceProfile"
  • [SPARK-42162] [SC-122711][ES-556261] Введение выражения MultiCommutativeOp в качестве оптимизации памяти для канонизации больших деревьев коммутативных выражений
  • [SPARK-42406] [SC-122998][PROTOBUF][Вишни-выбор] Исправлена рекурсивная настройка глубины для функций Protobuf
  • [SPARK-42002] [SC-122476][CONNECT][PYTHON] Реализация DataFrameWriterV2
  • [SPARK-41716] [SC-122545][CONNECT] Переименование _catalog_to_pandas в _execute_and_fetch в каталоге
  • [SPARK-41490] [SC-121774][SQL] Назначение имени _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Реализация catalog.cacheTable, isCached и uncache
  • [SPARK-42191] [SC-121990][SQL] Поддержка udf "luhn_check"
  • [SPARK-42253] [SC-121976][PYTHON] Добавление теста для обнаружения повторяющегося класса ошибок
  • [SPARK-42268] [SC-122251][CONNECT][PYTHON] Добавление UserDefinedType в protos
  • [SPARK-42231] [SC-121841][SQL] Превратиться MISSING_STATIC_PARTITION_COLUMN в internalError
  • [SPARK-42136] [SC-122554] Вычисление секционирования выходных данных RefactorHashJoinExec
  • [SPARK-42158] [SC-121610][SQL] Интеграция _LEGACY_ERROR_TEMP_1003 с FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][SC-121820][PYTHON] Перенос TypeError из pyspark/sql/dataframe.py в PySparkTypeError
  • [SPARK-35240] Вернуть "[SC-118242][SS] Использовать контрольную точкуFileManager ...
  • [SPARK-41488] [SC-121858][SQL] Назначьте имя _LEGACY_ERROR_TEMP_1176 (и 1177)
  • [SPARK-42232] [SC-122267][SQL] Переименование класса ошибок: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][SQL] Перезапись отдельных статистических выражений после слияния вложенного запроса
  • [SPARK-42306] [SC-122539][SQL] Интеграция _LEGACY_ERROR_TEMP_1317 с UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][SQL] Переименование класса ошибок: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][CORE] Игнорировать, IOException handleBlockRemovalFailure если SparkContext остановлен
  • [SPARK-41295] [SC-122442][SPARK-41296][SQL] Переименование классов ошибок
  • [SPARK-42320] [SC-122478][SQL] Назначение имени _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][SQL] Назначение имени _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient теперь поддерживает RetryPolicies
  • [SPARK-38728] [SC-116723][SQL] Проверка класса ошибок: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Автономные примеры в PySpark
  • [SPARK-39347] [SC-122457][SS] Исправление ошибок для вычисления периода времени, когда время < события 0
  • [SPARK-42336] [SC-122458][CORE] Используйте getOrElse() вместо contains() ResourceAllocator
  • [SPARK-42125] [SC-121827][CONNECT][PYTHON] UDF Pandas в Spark Connect
  • [SPARK-42217] [SC-122263][SQL] Поддержка неявного бокового псевдонима столбца в запросах с помощью Окна
  • [SPARK-35240] [SC-118242][SS] Использование CheckpointFileManager для обработки файлов контрольных точек
  • [SPARK-42294] [SC-122337][SQL] Включение значений столбца по умолчанию в выходные данные DESCRIBE для таблиц версии 2
  • [SPARK-41979] Вернуть значение "Вернуть "[12.x][SC-121190][SQL] Добавьте отсутствующие точки для сообщений об ошибках в классах ошибок".
  • [SPARK-42286] [SC-122336][SQL] Резервный путь к предыдущему пути кода codegen для сложного экспра с помощью CAST
  • [SPARK-42275] [SC-122249][CONNECT][PYTHON] Избегайте использования встроенного списка, дикт в статической типизации
  • [SPARK-41985] [SC-122172][SQL] Централизация дополнительных правил разрешения столбцов
  • [SPARK-42126] [SC-122330][PYTHON][CONNECT] Прием возвращаемого типа в строках DDL для Scalar UDFs Python в Spark Connect
  • [SPARK-42197] [SC-122328][SC-121514][CONNECT] Повторно использует инициализацию JVM и отдельные группы конфигурации для установки в удаленном локальном режиме.
  • [SPARK-41575] [SC-120118][SQL] Назначение имени _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Вернитесь к значению "[SC-122172][SQL] Централизация дополнительных правил разрешения столбцов"
  • [SPARK-42123] [SC-122234][SC-121453][SQL] Включение значений столбца по умолчанию в ОПИСАТЬ и SHOW CREATE TABLE output
  • [SPARK-41985] [SC-122172][SQL] Централизация дополнительных правил разрешения столбцов
  • [SPARK-42284] [SC-122233][CONNECT] Убедитесь, что сборка сервера подключения создана перед выполнением клиентских тестов — SBT
  • [SPARK-42239] [SC-121790][SQL] Интегрировать MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][SQL] Pushdown DS V2 поддерживает скомпилированные SortOrder диалекты JDBC сами по себе
  • [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics должен заботиться о Python UDAF
  • [SPARK-41979] Вернитесь на "[12.x][SC-121190][SQL] Добавьте отсутствующие точки для сообщений об ошибках в классах ошибок".
  • [SPARK-42224] [12.x][SC-121708][CONNECT] Перенос TypeError в платформу ошибок для функций Spark Connect
  • [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Перенос ошибок Spark Connect в платформу ошибок PySpark.
  • [SPARK-42119] [SC-121913][SC-121342][SQL] Добавление встроенных функций с табличным значением и inline_outer
  • [SPARK-41489] [SC-121713][SQL] Назначение имени _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] Введение PySparkValueError и PySparkTypeError
  • [SPARK-42081] [SC-121723][SQL] Улучшение проверки изменений плана
  • [SPARK-42225] [12.x][SC-121714][CONNECT] Добавьте SparkConnectIllegalArgumentException для точной обработки ошибки Spark Connect.
  • [SPARK-42044] [12.x][SC-121280][SQL] Исправление неверного сообщения об ошибке для MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][SC-121712][PS] Разрешить параметр столбцов при создании кадра данных с серией.
  • [SPARK-42078] [12.x][SC-120761][PYTHON] Перенос ошибок, вызванных JVM, в PySparkException.
  • [SPARK-42133] [12.x][SC-121250] Добавление основных методов API набора данных в клиент SparkConnect Scala
  • [SPARK-41979] [12.x][SC-121190][SQL] Добавьте отсутствующие точки для сообщений об ошибках в классах ошибок.
  • [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] Скалярный встроенный UDF Python в Spark Connect
  • [SPARK-42051] [SC-121994][SQL] Поддержка Codegen для HiveGenericUDF
  • [SPARK-42257] [SC-121948][CORE] Удаление неиспользуемой переменной внешней сортировки
  • [SPARK-41735] [SC-121771][SQL] Использование MINIMAL вместо standard для SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][SQL] Очищать NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][SQL] Улучшение сообщения об ошибке для PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][CORE] Миграция SparkCoreErrors в классы ошибок
  • [SPARK-42163] [SC-121839][SQL] Исправление обрезки схемы для не свертываемого индекса массива или ключа карты
  • [SPARK-40711] [SC-119990][SQL] Добавление метрик размера разлива для окна
  • [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] Создание createDataFrame приведения поддержки AtomicType -> StringType
  • [SPARK-42202] [SC-121837][Подключение][Тест] Улучшение логики остановки тестового сервера E2E
  • [SPARK-41167] [SC-117425][SQL] Повышение производительности в нескольких типах путем создания предиката дерева сбалансированных выражений
  • [SPARK-41931] [SC-121618][SQL] Лучшее сообщение об ошибке для неполного определения сложного типа
  • [SPARK-36124] [SC-121339][SC-110446][SQL] Поддержка вложенных запросов с корреляцией через UNION
  • [SPARK-42090] [SC-121290][3.3] Введите число повторных попыток sasl в RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR должен предоставить планировщик FAIR
  • [SPARK-41572] [SC-120772][SQL] Назначение имени _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][SQL] Переименование и улучшение сообщения об ошибке для NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][SQL] Улучшение сообщения об ошибке для INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][SC-120573] Назначение SQLSTATE (1/2)
  • [SPARK-41415] [SC-121117][3.3] Повторные попытки запроса SASL
  • [SPARK-38591] [SC-121018][SQL] Добавление flatMapSortedGroups и cogroupSorted
  • [SPARK-41975] [SC-120767][SQL] Улучшение сообщения об ошибке для INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][SQL][PROTOBUF] Добавление отсутствующих параметров для функций Protobuf
  • [SPARK-41984] [SC-120769][SQL] Переименование и улучшение сообщения об ошибке для RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][SQL] Исправление NPE для классов ошибок: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][CONNECT][PYTHON] Исправление неправильного имени столбца в withFieldдокументации
  • [SPARK-41283] [SC-121175][CONNECT][PYTHON] Добавление array_append в Connect
  • [SPARK-41960] [SC-120773][SQL] Назначение имени _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][SQL] Исправление getPartitionFiltersAndDataFilters() для обработки фильтров без ссылочных атрибутов
  • [SPARK-42096] [SC-121012][CONNECT] Некоторые очистки кода для connect модуля
  • [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Исправление count(*) и count(col(*))
  • [SPARK-42045] [SC-120958][SC-120450][SQL] Режим SQL ANSI: Round/Bround должен возвращать ошибку для целочисленного переполнения
  • [SPARK-42043] [SC-120968][CONNECT] Результат клиента Scala с помощью тестов E2E
  • [SPARK-41884] [SC-121022][CONNECT] Поддержка наивного кортежа в виде вложенной строки
  • [SPARK-42112] [SC-121011][SQL][SS] Добавление проверки NULL перед ContinuousWriteRDD#compute закрытием функции dataWriter
  • [SPARK-42077] [SC-120553][CONNECT][PYTHON] Литерал должен вызывать TypeError для неподдерживаемого типа DataType
  • [SPARK-42108] [SC-120898][SQL] Преобразование анализатора Count(*) в Count(1)
  • [SPARK-41666] [SC-120928][SC-119009][PYTHON] Поддержка параметризованного SQL по sql()
  • [SPARK-40599] [SC-120930][SQL] Расслабьте тип правила multiTransform, чтобы позволить альтернативным вариантам быть любым типом Seq
  • [SPARK-41574] [SC-120771][SQL] Обновление _LEGACY_ERROR_TEMP_2009 как INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][SQL] Назначение имени _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][SQL] Превратиться INCORRECT_END_OFFSET в INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][SC-118513][CORE] Переименование MedianHeap в PercentileMap и поддержка процентиля
  • [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Исправление строкового представления класса Column
  • [SPARK-42084] [SC-120775][SQL] Избегайте утечки ограничения только для квалифицированного доступа
  • [SPARK-41973] [SC-120765][SQL] Назначение имени _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][SQL] SPJ: удаление параметра в KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][CONNECT][PYTHON] Переименование сообщений proto для toDF и withColumnsRenamed
  • [SPARK-42089] [SC-120605][CONNECT][PYTHON] Устранение проблем с именем переменной в вложенных лямбда-функциях
  • [SPARK-41982] [SC-120604][SQL] Секции строки типа не должны рассматриваться как числовые типы
  • [SPARK-40599] [SC-120620][SQL] Добавление методов multiTransform в TreeNode для создания альтернативных вариантов
  • [SPARK-42085] [SC-120556][CONNECT][PYTHON] Создание from_arrow_schema вложенных типов поддержки
  • [SPARK-42057] [SC-120507][SQL][PROTOBUF] Исправлено, как исключение обрабатывается в отчетах об ошибках.
  • [SPARK-41586] [12.x][ВСЕ ТЕСТЫ][SC-120544][PYTHON] Введите pyspark.errors и классы ошибок для PySpark.
  • [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal должна поддерживать 1-dim ndarray
  • [SPARK-42021] [SC-120584][CONNECT][PYTHON] Создание createDataFrame поддержки array.array
  • [SPARK-41896] [SC-120506][SQL] Фильтрация по индексу строк возвращает пустые результаты
  • [SPARK-41162] [SC-119742][SQL] Исправление анти- и полусоединения для самостоятельного объединения с помощью агрегатов
  • [SPARK-41961] [SC-120501][SQL] Поддержка табличных функций с помощью LATERAL
  • [SPARK-41752] [SC-120550][SQL][пользовательский интерфейс] Группировать вложенные выполнения под корневым выполнением
  • [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] Литерал должен поддерживать типы данных Numpy
  • [SPARK-42028] [SC-120344][CONNECT][PYTHON] Усечение меток времени nanosecondsl
  • [SPARK-42011] [SC-120534][CONNECT][PYTHON] Реализация DataFrameReader.csv
  • [SPARK-41990] [SC-120532][SQL] apply Вместо FieldReference.column преобразования фильтра версии 1 в версию 2
  • [SPARK-39217] [SC-120446][SQL] Делает DPP поддержкой стороны обрезки имеет Союз
  • [SPARK-42076] [SC-120551][CONNECT][PYTHON] Преобразование arrow -> rows данных фактора в conversion.py
  • [SPARK-42074] [SC-120540][SQL] Включение KryoSerializer принудительной TPCDSQueryBenchmark регистрации класса SQL
  • [SPARK-42012] [SC-120517][CONNECT][PYTHON] Реализация DataFrameReader.orc
  • [SPARK-41832] [SC-120513][CONNECT][PYTHON] Исправление DataFrame.unionByName, добавление allow_missing_columns
  • [SPARK-38651] [SC-120514] [SQL] Добавлять spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert должен принимать ExpressionProxy в качестве дочернего объекта
  • [SPARK-41232] [SC-120073][SQL][PYTHON] Добавление функции array_append
  • [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader должен поддерживать список путей
  • [SPARK-42071] [SC-120533][CORE] Регистрация scala.math.Ordering$Reverse в KyroSerializer
  • [SPARK-41986] [SC-120429][SQL] Введение перетасовки в SinglePartition
  • [SPARK-42016] [SC-120428][CONNECT][PYTHON] Включение тестов, связанных с вложенным столбцом
  • [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader должна поддерживать схему StructType
  • [SPARK-42031] [SC-120389][CORE][SQL] Очистка remove методов, которые не требуют переопределения
  • [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Создание createDataFrame(rows/lists/tuples/dicts) вложенных типов поддержки
  • [SPARK-41437] [SC-117601][SQL][ВСЕ ТЕСТЫ] Не оптимизируйте входной запрос дважды для резервной записи версии 1
  • [SPARK-41840] [SC-119719][CONNECT][PYTHON] Добавление отсутствующих псевдонимов groupby
  • [SPARK-41846] [SC-119717][CONNECT][PYTHON] Включение doctests для функций окна
  • [SPARK-41914] [SC-120094][SQL] FileFormatWriter материализует план AQE перед доступом к выходуOrdering
  • [SPARK-41805] [SC-119992][SQL] Повторное использование выражений в WindowSpecDefinition
  • [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range для получения с плавающей запятой в качестве аргументов
  • [SPARK-42029] [SC-120336][CONNECT] Добавление правил заливки Guava, чтобы connect-common избежать сбоя запуска
  • [SPARK-41989] [SC-120334][PYTHON] Избегайте критической конфигурации ведения журнала из pyspark.pandas
  • [SPARK-42003] [SC-120331][SQL] Уменьшение дубликата кода в ResolveGroupByAll
  • [SPARK-41635] [SC-120313][SQL] Исправление группы по всем отчетам об ошибках
  • [SPARK-41047] [SC-120291][SQL] Улучшение документов для раунда
  • [SPARK-41822] [SC-120122][CONNECT] Настройка подключения gRPC для клиента Scala/JVM
  • [SPARK-41879] [SC-120264][CONNECT][PYTHON] Создание DataFrame.collect вложенных типов поддержки
  • [SPARK-41887] [SC-120268][CONNECT][PYTHON] Сделать DataFrame.hint типизированный параметр списка приемом
  • [SPARK-41964] [SC-120210][CONNECT][PYTHON] Добавление списка неподдерживаемых функций ввода-вывода
  • [SPARK-41595] [SC-120097][SQL] Функция генератора поддержки взрыва/explode_outer в предложении FROM
  • [SPARK-41957] [SC-120121][CONNECT][PYTHON] Включение doctest для DataFrame.hint
  • [SPARK-41886] [SC-120141][CONNECT][PYTHON] DataFrame.intersect Выходные данные doctest имеют другой порядок
  • [SPARK-41442] [SC-117795][SQL][ВСЕ ТЕСТЫ] Обновление значения SQLMetric только при слиянии с допустимой метрикой
  • [SPARK-41944] [SC-120046][CONNECT] Передача конфигураций при подключении локального удаленного режима
  • [SPARK-41708] [SC-119838][SQL] Извлечение сведений v1write в WriteFiles
  • [SPARK-41780] [SC-1200000][SQL] Должен вызывать INVALID_PARAMETER_VALUE. ШАБЛОН, если параметры regexp недопустимы
  • [SPARK-41889] [SC-119975][SQL] Присоединение корневой причины к недопустимым классам ошибокPatternError и рефакторингу INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][SQL] Создание классов вариантов AvroScanBuilder и JsonScanBuilder
  • [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: подключение данных клиента к потерянным столбцам с помощью pyarrow. Table.to_pylist
  • [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Неструктурированные кодировщики
  • [SPARK-41354] [SC-119995][CONNECT][PYTHON] Реализация repartitionByExpression
  • [SPARK-41581] [SC-119997][SQL] Обновление _LEGACY_ERROR_TEMP_1230 как INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][CONNECT][PYTHON] Добавление неподдерживаемого списка для functions
  • [SPARK-41933] [SC-119980][CONNECT] Укажите локальный режим, автоматически запускающий сервер
  • [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' должен уважать предоставленную пользователем схему DDL
  • [SPARK-41936] [SC-119978][CONNECT][PYTHON] Повторное withMetadata использование прототипа withColumns
  • [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters typechecking parity with pyspark
  • [SPARK-41939] [SC-119977][CONNECT][PYTHON] Добавление неподдерживаемого списка для catalog функций
  • [SPARK-41924] [SC-119946][CONNECT][PYTHON] Создание метаданных поддержки StructType и реализация DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][CONNECT][PYTHON] Добавьте неподдерживаемый список функций для session
  • [SPARK-41875] [SC-119969][CONNECT][PYTHON] Добавление тестовых вариантов для Dataset.to()
  • [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ingore doctest for explain of connect
  • [SPARK-41880] [SC-119959][CONNECT][PYTHON] Назначение функции from_json принимать не литеральную схему
  • [SPARK-41927] [SC-119952][CONNECT][PYTHON] Добавление неподдерживаемого списка для GroupedData
  • [SPARK-41929] [SC-119949][CONNECT][PYTHON] Добавление функции array_compact
  • [SPARK-41827] [SC-119841][CONNECT][PYTHON] Создание GroupBy списка столбцов accept
  • [SPARK-41925] [SC-119905][SQL] Включить spark.sql.orc.enableNestedColumnVectorizedReader по умолчанию
  • [SPARK-41831] [SC-119853][CONNECT][PYTHON] Создание DataFrame.select списка столбцов accept
  • [SPARK-41455] [SC-119858][CONNECT][PYTHON] Отмена DataFrame.collect сведений о часовом поясе
  • [SPARK-41923] [SC-119861][CONNECT][PYTHON] Добавление DataFrame.writeTo в неподдерживаемый список
  • [SPARK-41912] [SC-119837][SQL] Вложенные запросы не должны проверять CTE
  • [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Создание createDataFrame пустого кадра данных для поддержки
  • [SPARK-41905] [SC-119848][CONNECT] Имя поддержки в виде строк в срезе
  • [SPARK-41869] [SC-119845][CONNECT] Отклонение одной строки в dropDuplicates
  • [SPARK-41830] [SC-119840][CONNECT][PYTHON] Примите DataFrame.sample те же параметры, что и PySpark
  • [SPARK-41849] [SC-119835][CONNECT] Реализация DataFrameReader.text
  • [SPARK-41861] [SC-119834][SQL] Создание сборки ScanBuilders () возвращаемого типа сканирования версии 2
  • [SPARK-41825] [SC-119710][CONNECT][PYTHON] Включение doctests, связанных с DataFrame.show
  • [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] Правильное создание createDataFrame дескриптора None/NaN
  • [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Создание DataFrame.collect дескриптора None/NaN/Array/Binary porperly
  • [SPARK-39318] [SC-119713][SQL] Удаление золотых файлов tpch-plan-stability WithStats
  • [SPARK-41791] [SC-119745] Добавление новых типов столбцов метаданных источника файла
  • [SPARK-41790] [SC-119729][SQL] Правильно задать формат средства чтения и записи ПРЕОБРАЗОВАНИЯ
  • [SPARK-41829] [SC-119725][CONNECT][PYTHON] Добавьте отсутствующий параметр упорядочения в Sort и sortWithinPartitions
  • [SPARK-41576] [SC-119718][SQL] Назначение имени _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][CONNECT][PYTHON] Исправление теста документации для DataFrame.describe
  • [SPARK-41871] [SC-119714][CONNECT] Параметр указания кадра данных может быть str, float или int
  • [SPARK-41720] [SC-119076][SQL] Переименование неразрешенногоFunc в неразрешимое имяfunctionName
  • [SPARK-41573] [SC-119567][SQL] Назначение имени _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][SQL] Исправлена ошибка правильности, связанная со значениями DEFAULT в средстве чтения Orc
  • [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Повторное использование INVALID_TYPED_LITERAL вместо _LEGACY_ERROR_TEMP_0022

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 12.2.

Системная среда

  • Операционная система: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.19
  • R: 4.2.2
  • Delta Lake: 2.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 криптография 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 entrypoints 0,4 executing 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
шрифтовые инструменты 4.25.0 idna 3,3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Маккейб 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
записная книжка 6.4.8 numpy 1.21.5 во внешнем виде 21,3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 график 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 верёвка 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
мореборн 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5,10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-11-11.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.0 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.3
загрузка 1.3-28 заваривать 1,0–8 brio 1.1.3
метла 1.0.1 bslib 0.4.1 cachem 1.0.6
вызывающий объект 3.7.3 крышка 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
карандаш 1.5.2 учетные данные 1.3.2 curl 4.3.3
data.table 1.14.4 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
многоточие 0.3.2 evaluate 0,18 вентиляторы 1.0.3
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 иностранный 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.29.0
future.apply 1.10.0 gargle 1.2.1 Универсальные шаблоны 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.0 графика 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
высокий 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 трикотажный 1,40
маркирование 0.4.2 later 1.3.0 решётка 0.20-45
Lava 1.7.0 жизненный цикл 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1,3
МАССАЧУСЕТС 7.3-58.2 «Матрица» 1.5-1 memoise 2.0.1
оплаты 4.2.2 mgcv 1.8-41 мим 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 столб 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 Рецепты 1.0.3
реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 форма 1.4.6
блестящий 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 пространственный 7.3-11 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
статистика4 4.2.2 stringi 1.7.8 stringr 1.4.1
выживание 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 TimeDate 4021.106
tinytex 0,42 средства 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
служебные программы 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
усы 0,4 withr 2.5.0 xfun 0,34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1