Databricks Runtime 13.3 LTS
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.3 LTS, на базе Apache Spark 3.4.1.
Databricks выпустила эту версию в августе 2023 года.
Примечание.
LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.
Совет
Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.
Новые функции и внесенные улучшения
- Поддержка Scala для общих кластеров
- Список разрешённых элементов для сценариев инициализации, JAR, и координат Maven в общих кластерах Unity Catalog доступен в режиме открытого предварительного просмотра
- поддержка томов для сценариев инициализации и JAR находится в общедоступной предварительной версии
- Безопасные приведения, включаемые по умолчанию для операций Delta Lake
- Введение тегов в каталог Unity
- Databricks Runtime возвращает ошибку, если файл изменяется между планированием запросов и вызовом
- перезапись схемы блокировки при использовании динамических перезаписей секций
- Интеграция API copyFile в dbutils.fs.cp
- Поддержка драйвера ODBC/JDBC Databricks
- Поддержка маркеров неименованных (позиционных) меток параметров
- Включить обозначение столбца временного ряда
- Новые функции SQL растрового изображения
- Улучшенные функции шифрования
- поддержка каталога Unity для REFRESH FOREIGN
- INSERT ПО ИМЕНИ
- Общая работа с материализованными представлениями с помощью Delta Sharing
Поддержка Scala для общих кластеров
Общие кластеры с поддержкой каталога Unity теперь поддерживают Scala при использовании Databricks Runtime 13.3 и более поздних версий.
Список разрешений для сценариев инициализации, JAR и Maven координат в общих кластерах каталога Unity находится в общедоступной предварительной версии
Теперь вы можете использовать Unity Catalog allowlist
для управления установкой скриптов инициализации, JAR-файлов и координат Maven на вычислительной системе в режиме общего доступа, работающей под управлением Databricks Runtime версии 13.3 и выше. См . библиотеки allowlist и скрипты инициализации в общих вычислительных ресурсах.
Поддержка томов для сценариев init и JAR доступна в общедоступной предварительной версии
Теперь вы можете использовать тома каталога Unity для хранения скриптов и JAR-файлов на вычислительных устройствах с назначенными или общими режимами доступа, работающих под управлением Databricks Runtime версии 13.3 и выше. См. Где можно установить скрипты инициализации? и кластерные библиотеки.
Безопасные приведения, включаемые по умолчанию для операций Delta Lake
Операции Delta UPDATE
и MERGE
теперь результатируют в ошибку, когда значения не могут быть безопасно преобразованы к типу в схеме целевой таблицы. Все неявные приведения в Delta теперь следуют spark.sql.storeAssignmentPolicy
вместо spark.sql.ansi.enabled
. См. сведения о соответствии ANSI в Databricks Runtime.
Знакомство с тегами в каталоге Unity
С помощью Databricks Runtime 13.3 LTS и более поздних версий можно применить теги к защищаемым объектам. Теги помогают упорядочить защищаемые объекты и упростить поиск и обнаружение ресурсов данных. См. Применение тегов к защищаемым объектам каталога Unity.
Databricks Runtime возвращает ошибку, если файл изменяется между планированием запросов и вызовом
Запросы среды выполнения Databricks теперь возвращают ошибку, если файл обновляется между планированием запросов и вызовом. Перед этим изменением Databricks Runtime считывает файл между этими этапами, что иногда приводит к непредсказуемым результатам.
Блокировка перезаписи схемы при использовании динамических перезаписей секций
Невозможно задать overwriteSchema
true
в сочетании с динамическими перезаписями разделов в Delta Lake. Это предотвращает возможное повреждение таблицы из-за несоответствия схемы. См. перезаписи динамических разделов.
Интеграция API copyFile в dbutils.fs.cp
Команда dbutils.fs.cp
копирования dbutils оптимизирована для ускорения копирования. Благодаря этому улучшению операции копирования могут быть до 100x быстрее, в зависимости от размера файла. Эта функция доступна во всех файловых системах, доступных в Azure Databricks, в том числе для томов каталога Unity и подключений файловой системы Databricks.
Поддержка драйвера ODBC/JDBC Databricks
Azure Databricks поддерживает драйверы ODBC и JDBC, выпущенные за последние 2 года. Скачайте последнюю версию драйвера ODBC и скачайте JDBC Driver.
Поддержка маркеров неименованных (позиционных) меток параметров
SparkSession.sql()
ТЕПЕРЬ API поддерживает параметризованные запросы с помощью ?
синтаксиса в дополнение к параметризованным запросам с помощью синтаксиса:parm
. См . маркеры параметров.
Включите метки столбцов временных рядов
Теперь вы можете помечать столбцы временных рядов при создании ограничений первичного ключа .
Новые функции SQL растрового изображения
Azure Databricks теперь предоставляет набор функций, которые можно использовать для сопоставления целочисленных числовых значений с растровым изображением и агрегирования их. Это можно использовать для предварительного вычисления числа различных значений.
Улучшенные функции шифрования
Функции aes_encrypt, aes_decrypt и try_aes_decrypt были улучшены с поддержкой векторов инициализации (IV) и прошли проверку подлинности дополнительных данных (AAD).
Поддержка каталога Unity для REFRESH FOREIGN
Теперь можно обновить внешние каталоги, схемы и таблицы в каталоге Unity с помощью REFRESH FOREIGN CATALOG
, REFRESH FOREIGN SCHEMA
и REFRESH FOREIGN TABLE
. См. REFRESH FOREIGN (CATALOG, SCHEMAи TABLE).
INSERT ПО ИМЕНИ
При вставке строк в таблицу теперь можно разрешить Azure Databricks сопоставлять столбцы и поля в исходном запросе автоматически столбцам таблицы по их имени. См. INSERT INTO.
Совместное использование материализованных представлений с помощью Delta Sharing
Теперь оператор ALTER SHARE поддерживает материализованные представления.
Критические изменения
Изменения неявного приведения при сохранении строк в таблице с MERGE INTO и UPDATE
Azure Databricks теперь следует конфигурации spark.sql.storeAssignmentPolicy
для неявного приведения типов при хранении строк в таблице. Значение по умолчанию ANSI
вызывает ошибку при хранении значений, которые переполнены. Ранее значения будут храниться как NULL
по умолчанию.
Как и в следующем примере, можно устранить переполнение, перезаписав таблицу, чтобы использовать более широкий тип для столбца, вызывающего ошибку.
-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
'delta.minReaderVersion' = '2',
'delta.minWriterVersion' = '5',
'delta.columnMapping.mode' = 'name'
)
-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT
-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old
-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old
Изменения в определении схемы Parquet
При выводе схем из файлов Parquet, не созданных с помощью Spark, int64
столбцы меток времени, аннотированные с isAdjustedToUTC=false
, теперь установлены по умолчанию на TIMESTAMP_NTZ
тип. Ранее они были выведены как TIMESTAMP
тип. Это обновление повышает точность сопоставления типов Parquet с типами Spark SQL.
В результате чтение данных из внешних файлов Parquet в таблицу Delta может привести к ошибке, если функция timestampNtz
не включена. Ошибка будет отображаться следующим образом:
Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.
Чтобы сохранить предыдущее поведение и предотвратить эту ошибку, можно задать для параметра конфигурации Spark spark.sql.parquet.inferTimestampNTZ.enabled
значение false
.
Обновления библиотек
- Обновленные библиотеки Python:
- debugpy от 1.5.1 до 1.6.0
- distlib от 0.3.6 до 0.3.7
- fastjsonschema от 2.16.3 до 2.18.0
- блокировка файлов от 3.12.0 до 3.12.2
- Обновленные библиотеки R:
- SparkR от 3.4.0 до 3.4.1
- Обновленные библиотеки Java:
- org.apache.orc.orc-core с 1.8.3-шейд-protobuf до 1.8.4-шейд-protobuf
- org.apache.orc.orc-mapreduce от 1.8.3-shaded-protobuf до 1.8.4-шейд-protobuf
- org.apache.orc.orc-shims от 1.8.3 до 1.8.4
- org.eclipse.jetty.jetty-client с 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-продолжение с 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-http с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-io с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-jndi от 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-plus от 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-proxy от 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-security с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-server с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlet от 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlets с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-util от 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-util-ajax с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-webapp с 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-xml с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-api с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-client с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-common с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-server с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-servlet от 9.4.50.v202121201 до 9.4.51.v20230217
- org.xerial.snappy.snappy-java с версии 1.1.8.4 до 1.1.10.1
Apache Spark
Databricks Runtime 13.3 включает Apache Spark 3.4.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 13.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- Теперь можно задать переменную среды кластера
SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12
для использования соединителя Spark-snowflake версии 2.12.0. - [SPARK-43380] [DBRRM-383] Возврат "[SC-133100][SQL] Исправление типа данных Avro...
- [SPARK-44504] [Backport][13.2][13.x][13.3] Выгрузка поставщика, тем самым заставляя экземпляр базы данных закрыть и освободить ресурсы при ошибке задачи обслуживания
- [SPARK-44059] [SC-137023] Добавление поддержки анализатора именованных аргументов для встроенных функций
- [SPARK-44485] [SC-137653][SQL] Оптимизация TreeNode.generateTreeString
- [SPARK-42944] [SC-137164][SS][PYTHON] Потоковая передача ForeachBatch в Python
- [SPARK-44446] [SC-136994][PYTHON] Добавить проверки для ожидаемых особых случаев типов списка
- [SPARK-44439] [SC-136973][CONNECT][SS]Исправлен списокListeners для отправки идентификаторов только клиенту
- [SPARK-44216] [SC-136941] [PYTHON] Создание общедоступного API assertSchemaEqual
- [SPARK-44201] [SC-136778][CONNECT][SS]Добавление поддержки прослушивателя потоковой передачи в Scala для Spark Connect
- [SPARK-43915] [SC-134766][SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43798] Revert "[SC-133990][SQL][PYTHON] Поддержка пользовательских функций таблиц Python"
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
- [SPARK-44476] [SC-137169][CORE][CONNECT] Исправление совокупности артефактов для JobArtifactState без связанных артефактов
- [SPARK-44269] [SC-135817][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2310-2314]
- [SPARK-44395] [SC-136744][SQL] Обновите аргументы TVF, чтобы требовать круглые скобки вокруг идентификатора после ключевого слова TABLE
- [SPARK-43915] [SC-134766][SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Добавление поддержки UDFRegistration в клиент Connect Scala
- [SPARK-44109] [SC-134755][CORE] Удаление дублирующихся предпочтительных местоположений каждого раздела RDD
- [SPARK-44169] [SC-135497][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2300-2304]
- [SPARK-41487] [SC-135636][SQL] Назначение имени _LEGACY_ERROR_TEMP_1020
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
-
[SPARK-44153] [SC-134977][CORE][UI] Поддержка столбца
Heap Histogram
на вкладкеExecutors
- [SPARK-44044] [SC-135695][SS] Улучшение сообщения об ошибке для функций Окон с потоковой передачей
- [SPARK-43914] [SC-135414][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2433-2437]
- [SPARK-44217] [SC-136805][PYTHON] Разрешить пользовательскую точность для приблизительного равенства fp
- [SPARK-44370] [SC-136575][CONNECT] Перенос альфа-канала удаленного поколения Buf на удаленные подключаемые модули
- [SPARK-44410] [SC-136930][PYTHON][CONNECT] Установите активный сеанс при создании, а не только в getOrCreate
- [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Повторное test_artifact с соответствующими изменениями
- [SPARK-44145] [SC-136698][SQL] Обратный вызов при готовности к выполнению
- [SPARK-44264] [SC-136870][PYTHON][ML] Класс FunctionPickler
- [SPARK-43986] [SC-135623][SQL] Создание классов ошибок для сбоев вызовов функции HyperLog
- [SPARK-44139] [SC-134967][SQL] Отмена полностью отложенных фильтров в групповых операциях MERGE
- [SPARK-44338] [SC-136718][SQL] Исправлено сообщение об ошибке несоответствия схемы представления
- [SPARK-44208] [SC-135505][CORE][SQL] Назначение четких имен классов ошибок для какой-то логики, которая напрямую использует исключения
- [SPARK-44364] [SC-136773] [PYTHON] Добавить поддержку типа данных List[Row] для ожидаемого типа данных
- [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils должен применять ResolveTimeZone
- [SPARK-43389] [SC-136772][SQL] Добавлена проверка null для параметра lineSep
- [SPARK-44388] [SC-136695][CONNECT] Исправлена проблема при приведения protobuf при обновлении экземпляра UDF
- [SPARK-44352] [SC-136373][CONNECT] Верните ту же тип и друзья в DataType.
- [SPARK-43975] [SC-134265][SQL] DataSource V2: обработка команд UPDATE для групповых источников
- [SPARK-44360] [SC-136461][SQL] Поддержка прореживания схемы в операциях MERGE, основанных на Delta
- [SPARK-44138] [SC-134907][SQL] Запретить недетерминированные выражения, вложенные запросы и агрегаты в условиях MERGE
- [SPARK-43321] [SC-136678][Подключение][Отслеживание] Лучшие имена API, используемых в подключении клиента ScalaWith
- [SPARK-44263] [SC-136447][CONNECT] Поддержка пользовательских перехватчиков
- [SPARK-39851] [SC-123383][SQL] Улучшение оценки статистики соединения, если одна сторона может сохранить уникальность
-
[SPARK-44390] [SC-136677][CORE][SQL] Переименование
SparkSerDerseUtils
вSparkSerDeUtils
- [SPARK-44004] [SC-134751][SQL] Назначьте имя и улучшайте сообщение об ошибке для частых ошибок LEGACY.
- [SPARK-44322] [SC-136204][CONNECT] Сделайте средство синтаксического анализа используйте SqlApiConf вместо SQLConf.
- [SPARK-44271] [SC-136347][SQL] Перемещение функций значений по умолчанию из StructType в ResolveDefaultColumns
- [SPARK-44332] [SC-136413][CORE][WEBUI] Исправлена ошибка сортировки столбца идентификатора исполнителя на странице пользовательского интерфейса исполнителя
- [SPARK-44282] [SC-135948][CONNECT] Подготовка синтаксического анализа DataType для использования в клиенте Spark Connect Scala
- [SPARK-44349] [SC-136581][R] Добавление математических функций в SparkR
- [SPARK-44397] [SC-136647][PYTHON] Предоставление assertDataFrameEqual в pyspark.testing.utils
- [SPARK-42981] [SC-136620][CONNECT] Добавление сериализации прямых стрелок
- [SPARK-44373] [SC-136577][SQL] Оболочка с помощью api набора данных w/parse logic, чтобы обеспечить работу связанной конфигурации синтаксического анализа
- [SPARK-44340] [SC-136574][SQL] Определите логику вычислений с помощью API PartitionEvaluator и используйте ее в WindowGroupLimitExec
- [SPARK-43665] [SC-136573][CONNECT][PS] Включение PandasSQLStringFormatter.vformat для работы с Spark Connect
- [SPARK-44325] [SC-136572][SQL] Использование API PartitionEvaluator в SortMergeJoinExec
- [SPARK-44315] [SC-136171][SQL][CONNECT] Перемещение DefinedByConstructorParams в sql/api
- [SPARK-44275] [SC-136184][CONNECT] Добавление настраиваемого механизма повтора в Scala Spark Connect
- [SPARK-44326] [SC-136208][SQL][CONNECT] Перемещение используемых из клиента Scala в общие модули
- [SPARK-43321] [SC-136156][Подключение] Набор данных#Joinwith
- [SPARK-44343] [SC-136372][CONNECT] Подготовка ScalaReflection к переходу на SQL/API
- [SPARK-44313] [SC-136081][SQL] Исправление валидации выражения сгенерированного столбца, если в схеме присутствует столбец char/varchar
- [SPARK-43963] [SC-134145][SQL] DataSource версии 2. Обработка команд MERGE для групповых источников
- [SPARK-44363] [SC-136433] [PYTHON] Отображение процента неравных строк в сравнении с кадрами данных
- [SPARK-44251] [SC-136432][SQL] Корректно задать свойство Nullable для ключа объединения в полном внешнем соединении USING
- [SPARK-43948] [SC-133366][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[0050|0057|0058|0059]
- [SPARK-44329] [SC-136326][CONNECT][PYTHON] Добавление hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt в Scala и Python
- [SPARK-44351] [SC-136353][SQL] Создание синтаксического упрощения
- [SPARK-44281] [SC-135963][SQL] Перемещение ошибки QueryCompilation, используемой DataType в sql/api в качестве DataTypeErrors
- [SPARK-44283] [SC-136109][CONNECT] Перемещение источника в SQL/API
- [SPARK-43926] [SC-135590][CONNECT][PYTHON] Добавление array_agg, array_size, кратности, count_min_sketch,mask,named_struct,json_* в Scala и Python
-
[SPARK-44327] [SC-136187][SQL][CONNECT] Добавление функций
any
иlen
в Scala - [SPARK-44290] [SC-136300][CONNECT] Файлы и архивы на основе сеансов в Spark Connect
- [SPARK-44061] [SC-136299][PYTHON] Добавление функции assertDataFrameEqual util
- [SPARK-44331] [SC-136324][CONNECT][PYTHON] Добавление функций растрового изображения в Scala и Python
- [SPARK-44342] [SC-136334][SQL] Замена SQLContext на SparkSession для GenTPCDSData
- [SPARK-42583] [SC-124190][SQL] Удалите внешнее соединение, если они все являются различными агрегатными функциями
- [SPARK-44333] [SC-136206][CONNECT][SQL] Перемещение EnhancedLogicalPlan из ParserUtils
- [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_128[1-2]
- [SPARK-43939] [SC-134602][CONNECT][PYTHON] Добавление функций try_* в Scala и Python
- [SPARK-44193] [SC-135886][CONNECT] Реализация перехвата исключений GRPC для преобразования
- [SPARK-44284] [SC-136107][CONNECT] Создание простой системы конференц-связи для SQL/API
- [SPARK-43913] [SC-133368][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2426-2432]
- [SPARK-44291] Отменить “[SC-135924][SPARK-43416][CONNECT] Исправление неправильной схемы для запроса диапазона”
- [SPARK-44312] [SC-136185][CONNECT][PYTHON] Разрешить задать агент пользователя с переменной среды
- [SPARK-44154] [SC-136060] Реализация функций растрового изображения
- [SPARK-43885] [SC-133996][SQL] DataSource версии 2. Обработка команд MERGE для разностных источников
- [SPARK-43924] [SC-135161][CONNECT][PYTHON] Добавление неправильных функций в Scala и Python
- [SPARK-43969] [SC-134556][SQL] Рефакторинг и назначение имен классу ошибок _LEGACY_ERROR_TEMP_1170
- [SPARK-44185] [SC-135730][SQL] Исправлен неполный путь квалификации между операциями каталога и данных
- [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Добавление функций даты и времени в Scala, Python и Connect — часть 2
- [SPARK-43942] [SC-134527][CONNECT][PYTHON] Добавление строковых функций в Scala и Python — часть 1
- [SPARK-44266] [SC-135813][SQL] Перемещение Util.truncatedString в sql/api
- [SPARK-44195] [SC-135722][R] Добавление API JobTag в SparkContext SparkContext
- [SPARK-44200] [SC-135736][SQL] Поддержка правила синтаксического анализа аргументов TABLE для TableValuedFunction
- [SPARK-44254] [SC-135709][SQL] Перемещение QueryExecutionErrors, используемых DataType в sql/api в качестве DataTypeErrors
- [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Исправлена неправильная схема для запроса диапазона
- [SPARK-43922] [SC-135612][SQL] Добавление поддержки именованных параметров в средство синтаксического анализа для вызовов функций
- [SPARK-44300] [SC-135882][CONNECT] Исправить очистку артефактов, чтобы ограничить область удаления артефактами, связанными с сеансом.
- [SPARK-44293] [SC-135849][CONNECT] Исправлен недопустимый универсальный код ресурса (URI) для пользовательских JAR в Spark Connect
- [SPARK-44215] [SC-135850][SHUFFLE] Если числовые блоки имеют значение 0, сервер должен вызвать RuntimeException
- [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests должны быть иллюстрированными только
- [SPARK-44274] [SC-135814][CONNECT] Перемещение функций util, используемых ArtifactManager, в общие/utils
- [SPARK-44194] [SC-135815][PYTHON][CORE] Добавление API-интерфейсов JobTag в PySpark SparkContext
- [SPARK-42828] [SC-135733][PYTHON][SQL] Более явные заметки типов Python для GroupedData
-
[SPARK-44079] [SC-135486][SQL] Исправление
ArrayIndexOutOfBoundsException
при анализе массива в качестве структуры с помощью режима PERMISSIVE с поврежденной записью - [SPARK-44255] [SC-135809][SQL] Перемещение StorageLevel в common/utils
- [SPARK-42169] [SC-135795] [SQL] Реализация создания кода для функции to_csv (StructsToCsv)
- [SPARK-44249] [SC-135719][SQL][PYTHON] Рефакторинг PythonUDTFRunner для отправки возвращаемого типа отдельно
- [SPARK-43353] [SC-132734][PYTHON] Перенос оставшихся ошибок сеанса в класс ошибок
- [SPARK-44211] [SC-135718][PYTHON][CONNECT] Реализация SparkSession.is_stopped
- [SPARK-42784] [SC-135691] должен по-прежнему создавать вложенныйdir, если число вложенныхdir в dir слиянием меньше, чем conf
- [SPARK-41599] [SC-135616] Утечка памяти в FileSystem.CACHE при отправке приложений в безопасный кластер с помощью InProcessLauncher
- [SPARK-44241] [SC-135613][Core] Ошибочно установить io.connectionTimeout/connectionCreationTimeout равным нулю или отрицательному вызовет непрекращающихся консов или разрушений исполнителя
- [SPARK-44133] [SC-134795][13.X][PYTHON] Обновление MyPy с версии 0.920 до 0.982
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener — Event Serde в формате JSON
-
[SPARK-44188] [SC-135173][CORE] Удаление бесполезного метода
resetAllPartitions
вActiveJob
- [SPARK-43757] [SC-135418][CONNECT] Изменение совместимости клиента с списка разрешений на список запретов
- [SPARK-43474] [SC-135521] [SS] [CONNECT] Добавьте доступ spark connect к кадрам данных среды выполнения по идентификатору.
-
[SPARK-44183] [SC-135209][PYTHON] Создание
PyArrow
минимальной версии до версии 4.0.0 - [SPARK-44248] [SC-135554][SS][SQL][Kafka] Добавление предпочтительного расположения в источнике kafka версии 2
- [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Добавление функций даты и времени в Scala, Python и Connect API — часть 1
- [SPARK-44161] [SC-135326][Подключение] Обработка входных данных строк для определяемых пользователем функций
- [SPARK-44227] [SC-135520][SQL] Извлечение SchemaUtils из StructField
-
[SPARK-44064] [SC-135116][CORE][SQL] Добавление новой
apply
функции вNonFateSharingCache
- [SPARK-44171] [SC-135269][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2279-2282] и удаление некоторых неиспользуемых классов ошибок
- [SPARK-44056] [SC-134758][SQL] Включение имени UDF в сообщение об ошибке выполнения UDF при наличии
- [SPARK-44205] [SC-135422][SQL] Извлечение кода катализатора из Десятичного типа
- [SPARK-44220] [SC-135484][SQL] Перемещение StringConcat в sql/api
- [SPARK-44146] [SC-135230][CONNECT] Изоляция jar-файлов сеанса Spark Connect и файлов классов
- [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
- [SPARK-40850] [SC-135417][SQL] Исправление тестового случая, интерпретированного запросами, может выполнять Codegen
- [SPARK-44204] [SC-135253][SQL][HIVE] Добавление отсутствующих записейHiveCall для getPartitionNames
- [SPARK-44237] [SC-135485][CORE] Упрощение логики поиска конструктора DirectByteBuffer
-
[SPARK-44189] [SC-135170][CONNECT][PYTHON] Поддержка позиционных параметров с помощью
sql()
-
[SPARK-44140] [SC-134893][SQL][PYTHON] Поддержка позиционных параметров в Python
sql()
- [SPARK-44164] [SC-135158][SQL] Извлечение метода toAttribute из StructField в класс Util
-
[SPARK-44178] [SC-135113][CONNECT] Поддержка позиционных параметров в
sql()
- [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader должен закрыть класс InputStream барьера после чтения
-
[SPARK-43063] [SC-128382][SQL]
df.show
Дескриптор NULL должен печатать NULL вместо NULL - [SPARK-42539] [SC-124464][SQL][HIVE] Устранение отдельных загрузчика классов при использовании версии Hive для клиента метаданных с помощью встроенной версии Hive
- [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listFunctions
-
[SPARK-44066] [SC-134878][SQL] Поддержка позиционных параметров в Scala/Java
sql()
- [SPARK-44078] [SC-134869][CONNECT][CORE] Добавление поддержки изоляции classloader/resource
- [SPARK-43470] [SC-135187][CORE] Добавление сведений о версиях ОС, Java, Python в журнал приложений
- [SPARK-43136] [SC-135238][CONNECT][Отслеживание] Добавление тестов для keyAs
- [SPARK-39740] [SC-135093][Пользовательский интерфейс]: обновление временной шкалы до версии 7.7.2 для исправления CVE-2020-28487
- [SPARK-42298] [SC-133952][SQL] Назначение имени _LEGACY_ERROR_TEMP_2132
- [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listTables
- [SPARK-44026] [SC-135181] Разрешить предоставление начального значения для SQLMetrics
- [SPARK-44202] [SC-135244][CORE] Добавление API-интерфейсов JobTag в JavaSparkContext
- [SPARK-44030] [SC-135237][SQL] Реализация DataTypeExpression для предложения Unapply для выражения
- [SPARK-43876] Возврат "[SC-134603][SQL] Включение быстрого хэш-карты для отдельных запросов"
- [SPARK-40082] [SC-126437] Планирование слиянияFinalize при отправке повторных попыток слияния shuffleMapStage, но выполнение задач не выполняется
- [SPARK-438888] [SC-132893][CORE] Переместите ведение журнала в общие и бесполезные
- [SPARK-43474] [SC-134400] [SS] [CONNECT] Добавление sessionHolder в SparkConnectPlanner
- [SPARK-43944] [SC-134490][CONNECT][PYTHON] Добавление строковых функций в Scala и Python — часть 2
- [SPARK-44134] [SC-134954][CORE] Исправление параметров ресурсов (GPU/FPGA) до 0, если они заданы в spark-defaults.conf.
- [SPARK-44142] [SC-134947][PYTHON] Замените тип tpe в служебной программе, чтобы преобразовать типы Python в типы Spark
- [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Добавление API SparkContext для отмены запросов по тегу
- [SPARK-44000] [SC-133634][SQL] Добавить подсказку для отключения трансляции и репликации одной из сторон соединения
- [SPARK-43937] [SC-134362][CONNECT][PYTHON] Добавление ifnull,isotnull,equal_null,nullif,nvl2 в Scala и Python
-
[SPARK-43624] [13.x][SC-134557][PS][CONNECT] Добавьте
EWM
в SparkConnectPlanner. - [SPARK-44040] [SC-134366][SQL] Исправление статистики вычислений, если узел AggregateExec выше QueryStageExec
-
[SPARK-43485] [SC-131264][SQL] Исправление сообщения об ошибке для
unit
аргумента функций добавления и диффа даты и времени - [SPARK-43794] [SC-132561][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1335
- [SPARK-43511] [SC-134749][CONNECT][SS]Реализованы API MapGroupsWithState и FlatMapGroupsWithState для Spark Connect
- [SPARK-43529] [SQL] Поддержка выражений CREATE/REPLACE TABLE OPTIONS + очистка кода
-
[SPARK-44106] [SC-134750][PYTHON][CONNECT] Добавить
__repr__
дляGroupedData
- [SPARK-42299] [SC-133190] Назначение имени _LEGACY_ERROR_TEMP_2206
- [SPARK-43290] [SC-134388][SQL] Добавляет поддержку aes_encrypt IVs и AAD
-
[SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Добавление
current
таких функций в Scala и Python - [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Добавление функций regexp_* в Scala и Python
- [SPARK-44107] [SC-134746][CONNECT][PYTHON] Скрыть неподдерживаемые методы столбца из автоматического завершения
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener — Event Serde в формате JSON
- [SPARK-43773] [SC-132659][CONNECT][PYTHON] Реализация функций "levenshtein(str1, str2[, порог])" в клиенте Python
- [SPARK-44125] [SC-134745][R] Поддержка Java 21 в SparkR
- [SPARK-43919] [SC-133374][SQL] Извлечение функциональных возможностей JSON из строки
- [SPARK-43769] [SC-132520][CONNECT] Реализация функций "levenshtein(str1, str2[, порог])"
- [SPARK-44012] [SC-134662][SS] KafkaDataConsumer для печати некоторого состояния чтения
- [SPARK-43876] [SC-134603][SQL] Включение быстрого хэш-карты для отдельных запросов
-
[SPARK-44024] [SC-134497][SQL] Изменение использования
map
только приunzip
использовании для извлечения одного элемента - [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Добавление битовой операции в Scala, Python и CONNECT API
-
[SPARK-44092] [SC-134506][CORE] Добавление
Utils.isJavaVersionAtLeast21
и передачаcore
модуля с помощью Java 21 - [SPARK-44018] [SC-134512][SQL] Улучшение хэшкода и toString для некоторых выражений DS V2
-
[SPARK-44105] [SC-134582][SQL]
LastNonNull
должно быть неясно разрешено - [SPARK-44081] [SC-134434] Упрощение API PartitionedFileUtil немного
- [SPARK-43791] [SC-132531][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1336
- [SPARK-44071] [SC-134435] Определение и использование неразрешенного[лист|Унарии]Признаки узла.
- [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_2418-2425
- [SPARK-43742] [SC-132684][SQL] Рефакторинг определения значений столбцов по умолчанию
- [SPARK-43493] [SC-132063][SQL] Добавление аргумента максимального расстояния в функцию levenshtein()
-
[SPARK-44075] [SC-134382][CONNECT] Сделать
transformStatCorr
ленивым - [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Добавьте некоторые, bool_or,bool_and,каждый в Scala, Python и Connect
- [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Добавление функций make_* в Scala и Python
- [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_24[06-10]
-
[SPARK-43962] [SC-133367][SQL] Улучшение сообщений об ошибках:
CANNOT_DECODE_URL
,CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE
,CANNOT_PARSE_DECIMAL
,CANNOT_READ_FILE_FOOTER
.CANNOT_RECOGNIZE_HIVE_TYPE
- [SPARK-43938] [SC-133887][CONNECT][PYTHON] Добавление функций to_* в Scala и Python
-
[SPARK-44055] [SC-134321][CORE] Удаление избыточных функций
override
изCheckpointRDD
- [SPARK-43802] [SC-132597][SQL] Исправление кодегена для unhex и unbase64 с помощью failOnError=true
- [SPARK-43798] [SC-133990][SQL][PYTHON] Поддержка пользовательских функций таблиц Python
- [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Добавление any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, сокращение до Scala, Python и Connect API
- [SPARK-43380] [SC-133100][SQL] Устранение проблем с преобразованием типов данных Avro, чтобы избежать неправильного получения результатов
- [SPARK-43803] [SC-133729] [SS] [CONNECT] Улучшение awaitTermination() для обработки отключений клиентов
- [SPARK-43179] [SC-129070][SHUFFLE] Разрешение приложениям контролировать, сохраняются ли их метаданные в базе данных внешней службой Shuffle.
Поддержка драйвера ODBC/JDBC Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).
Ознакомьтесь с обновлениями обслуживания Databricks Runtime 13.3.
Системная среда
- Операционная система: Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
Установленные библиотеки Python
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | щелчок | 8.0.4 | криптография | 37.0.1 |
cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
dbus-python | 1.2.18 | debugpy | 1.6.0 | decorator | 5.1.1 |
defusedxml | 0.7.1 | distlib | 0.3.7 | docstring-to-markdown | 0,12 |
entrypoints | 0,4 | executing | 1.2.0 | facets-overview | 1.0.3 |
fastjsonschema | 2.18.0 | filelock | 3.12.2 | шрифтовые инструменты | 4.25.0 |
googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
httplib2 | 0.20.2 | idna | 3,3 | importlib-metadata | 4.6.4 |
ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | нажатие клавиш | 23.5.0 |
kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | matplotlib | 3.5.2 |
matplotlib-inline | 0.1.6 | Маккейб | 0.7.0 | mistune | 0.8.4 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
nodeenv | 1.8.0 | записная книжка | 6.4.12 | numpy | 1.21.5 |
oauthlib | 3.2.0 | во внешнем виде | 21,3 | pandas | 1.4.4 |
pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
график | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
pyright | 1.1.294 | pyrsistent | 0.18.0 | python-dateutil | 2.8.2 |
python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
pytz | 2022.1 | pyzmq | 23.2.0 | requests | 2.28.1 |
верёвка | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
scipy | 1.9.1 | мореборн | 0.11.2 | SecretStorage | 3.3.1 |
Send2Trash | 1.8.0 | setuptools | 63.4.1 | six | 1.16.0 |
soupsieve | 2.3.1 | ssh-import-id | 5,11 | stack-data | 0.6.2 |
statsmodels | 0.13.2 | tenacity | 8.1.0 | terminado | 0.13.1 |
testpath | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.1.1 |
typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0,1 |
urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
zipp | 1.0.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2023-02-10.
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
Стрелка | 10.0.1 | askpass | 1,1 | assertthat | 0.2.1 |
внутренние порты | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
bit | 4.0.5 | bit64 | 4.0.5 | большой двоичный объект | 1.2.3 |
загрузка | 1.3-28 | заваривать | 1,0–8 | brio | 1.1.3 |
метла | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
вызывающий объект | 3.7.3 | крышка | 6.0-93 | cellranger | 1.1.0 |
chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
компилятор | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
карандаш | 1.5.2 | верительные грамоты | 1.3.2 | curl | 5.0.0 |
data.table | 1.14.6 | наборы данных | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.3.0 | desc | 1.4.2 | средства разработки | 2.4.5 |
diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
многоточие | 0.3.2 | evaluate | 0,20 | вентиляторы | 1.0.4 |
Farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
forcats | 1.0.0 | foreach | 1.5.2 | иностранный | 0.8-82 |
forge | 0.2.0 | fs | 1.6.1 | будущее | 1.31.0 |
future.apply | 1.10.0 | gargle | 1.3.0 | Универсальные шаблоны | 0.1.3 |
gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
клей | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
Говер | 1.0.1 | графика | 4.2.2 | grDevices | 4.2.2 |
grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
высокий | 0.10 | hms | 1.1.2 | htmltools | 0.5.4 |
htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.7 | Итераторы | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.4 | KernSmooth | 2.23-20 | трикотажный | 1.42 |
маркирование | 0.4.2 | later | 1.3.0 | решётка | 0.20-45 |
Lava | 1.7.1 | жизненный цикл | 1.0.3 | listenv | 0.9.0 |
lubridate | 1.9.1 | magrittr | 2.0.3 | Markdown | 1.5 |
МАССАЧУСЕТС | 7.3-58.2 | «Матрица» | 1.5-1 | memoise | 2.0.1 |
оплаты | 4.2.2 | mgcv | 1.8-41 | мим | 0,12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
parallelly | 1.34.0 | столб | 1.8.1 | pkgbuild | 1.4.0 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
plogr | 0.2.0 | plyr | 1.8.8 | хвалить | 1.0.0 |
prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | profvis | 0.3.7 | Ход выполнения | 1.2.2 |
progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.3 | readxl | 1.4.2 | Рецепты | 1.0.4 |
реванш | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
RSQLite | 2.2.20 | rstudioapi | 0,14 | rversions | 2.1.2 |
rvest | 1.0.3 | sass | 0.4.5 | весы | 1.2.1 |
селектор | 0.4-2 | sessioninfo | 1.2.2 | форма | 1.4.6 |
блестящий | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
SparkR | 3.4.1 | пространственный | 7.3-15 | Сплайны | 4.2.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
статистика4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
выживание | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | timechange | 0.2.0 | TimeDate | 4022.108 |
tinytex | 0,44 | средства | 4.2.2 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
служебные программы | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
усы | 0.4.1 | withr | 2.5.0 | xfun | 0,37 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.7 | zip | 2.2.2 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
ИД группы | Идентификатор артефакта | Версия |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | потоковая передача | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.2.0 |
com.databricks | jets3t | 0.7.1–0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
com.fasterxml.jackson.core | jackson-core | 2.14.2 |
com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.2-5 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.9 |
com.google.crypto.tink | tink | 1.7.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.1.214 |
com.helger | профилировщик | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.7.1 |
io.dropwizard.metrics | metrics-core | 4.2.10 |
io.dropwizard.metrics | metrics-graphite | 4.2.10 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
io.dropwizard.metrics | metrics-jmx | 4.2.10 |
io.dropwizard.metrics | metrics-json | 4.2.10 |
io.dropwizard.metrics | metrics-jvm | 4.2.10 |
io.dropwizard.metrics | metrics-servlets | 4.2.10 |
io.netty | netty-all | 4.1.87.Final |
io.netty | netty-buffer | 4.1.87.Final |
io.netty | netty-codec | 4.1.87.Final |
io.netty | netty-codec-http | 4.1.87.Final |
io.netty | netty-codec-http2 | 4.1.87.Final |
io.netty | netty-codec-socks | 4.1.87.Final |
io.netty | netty-common | 4.1.87.Final |
io.netty | netty-handler | 4.1.87.Final |
io.netty | netty-handler-proxy | 4.1.87.Final |
io.netty | netty-resolver | 4.1.87.Final |
io.netty | netty-transport | 4.1.87.Final |
io.netty | netty-transport-classes-epoll | 4.1.87.Final |
io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.87.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | коллектор | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1,3 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.33 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.16 |
org.apache.ant | ant-jsch | 1.9.16 |
org.apache.ant | ant-launcher | 1.9.16 |
org.apache.arrow | arrow-format | 11.0.0 |
org.apache.arrow | arrow-memory-core | 11.0.0 |
org.apache.arrow | arrow-memory-netty | 11.0.0 |
org.apache.arrow | arrow-vector | 11.0.0 |
org.apache.avro | avro | 1.11.1 |
org.apache.avro | avro-ipc | 1.11.1 |
org.apache.avro | avro-mapred | 1.11.1 |
org.apache.commons | commons-collections4 | 4.4. |
org.apache.commons | commons-compress | 1,21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
org.apache.logging.log4j | log4j-api | 2.19.0 |
org.apache.logging.log4j | log4j-core | 2.19.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
org.apache.orc | orc-core | 1.8.4-шейд-protobuf |
org.apache.orc | orc-mapreduce | 1.8.4-шейд-protobuf |
org.apache.orc | orc-shims | 1.8.4 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4.22 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.19.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-continuation | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-http | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-io | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-jndi | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-plus | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-proxy | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-security | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-server | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-servlet | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-servlets | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-util | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-util-ajax | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-webapp | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-xml | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-api | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-client | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-common | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-server | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.51.v20230217 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 2.2.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.8 |
org.roaringbitmap | RoaringBitmap | 0.9.39 |
org.roaringbitmap | shims | 0.9.39 |
org.rocksdb | rocksdbjni | 7.8.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | Scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.6 |
org.slf4j | jul-to-slf4j | 2.0.6 |
org.slf4j | slf4j-api | 2.0.6 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.1 |
org.yaml | snakeyaml | 1.33 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |