Databricks Runtime 11.3 LTS
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.3 LTS, на базе Apache Spark 3.3.0. Databricks выпустила эту версию в октябре 2022 года.
Примечание.
LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.
Совет
Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.
Изменение поведения
[Критическое изменение] Для новой версии Python требуется обновление клиентов Python Databricks Connect версии 1
Примечание.
Последующее обновление перемещает версию Python в Databricks Runtime 11.3 LTS на 3.9.21. Версия 3.9.21 не вводит никаких изменений в поведении.
Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 11.3 LTS обновляется с 3.9.5 до 3.9.19. Поскольку эти изменения могут привести к ошибкам в клиентах, использующих определенные функции PySpark, все клиенты, использующие Databricks Connect V1 для Python с Databricks Runtime 11.3 LTS, должны быть обновлены до Python 3.9.7 или более поздней версии.
Новые функции и внесенные улучшения
- Python обновлен с версии 3.9.19 до 3.9.21
- Структурированный триггер потоковой передачи после нерекомендуемого использования
- Изменение исходного пути для автозагрузчика
- Соединитель Databricks Kinesis теперь поддерживает чтение потоков данных Kinesis в режиме EFO
- Новые геопространственные функции H3 и добавлена поддержка Фотона для всех функций H3
- Новые возможности прогнозного ввода-вывода
- Увеличение начальных секций для проверки выборочных запросов
- Визуализация новых версий плана AQE
- Новые асинхронные режимы отслеживания хода выполнения и очистки журналов
-
Структурированная потоковая передача в каталоге Unity теперь поддерживается
display()
- Теперь события конвейера регистрируются в формате JSON
- Произвольная обработка состояния в структурированной потоковой передаче с помощью Python
- Вывод дат в CSV-файлах
- Поддержка клонирования таблиц Apache Parquet и Apache Iceberg (общедоступная предварительная версия)
- Использование SQL для указания расположений хранилища на уровне схемы и каталога для управляемых таблиц каталога Unity
Python обновлен с версии 3.9.19 до 3.9.21
Версия Python в Databricks Runtime 11.3 LTS обновляется с 3.9.19 до 3.9.21.
Структурированный триггер потоковой передачи после нерекомендуемого использования
Параметр Trigger.Once
не рекомендуется. Databricks рекомендует использовать Trigger.AvailableNow
. См. раздел "Настройка интервалов триггера структурированной потоковой передачи".
Изменение исходного пути для автозагрузчика
Теперь можно изменить путь ввода каталога для автозагрузчика, настроенного в режиме перечисления каталогов, не выбрав новый каталог контрольной точки. См . раздел "Изменить исходный путь" для автозагрузчика.
Соединитель Databricks Kinesis теперь поддерживает чтение потоков данных Kinesis в режиме EFO
Теперь можно использовать структурированный источник потоковой передачи Databricks в Databricks Runtime 11.3 LTS для выполнения запросов, которые считываются из потоков данных Kinesis в расширенном режиме вентилятора. Это обеспечивает выделенную пропускную способность на сегмент, на каждого потребителя и доставку записей в режиме принудительной передачи.
Новые геопространственные функции H3 и добавлена поддержка Фотона для всех функций H3
Знакомство с 4 новыми функциями H3, h3_maxchild
, , h3_minchild
h3_pointash3
и h3_pointash3string
. Эти функции доступны в SQL, Scala и Python. Все выражения H3 теперь поддерживаются в Photon. См. раздел Геопространственные функции H3.
Новые возможности прогнозного ввода-вывода
Photon поддерживает режим диапазона для выполнения кадров, используя RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
. Photon также поддерживает режим диапазона для растущих кадров, используя RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }
.
Увеличение начальных секций для проверки выборочных запросов
Значение начальных секций для сканирования было увеличено до 10 для выборочного запроса в take/tail/limit
кластерах с поддержкой Photon и LIMIT
в Databricks SQL. С помощью 10 секций можно избежать затрат на запуск нескольких небольших заданий и медленное масштабирование. Вы также можете настроить это с помощью spark.sql.limit.selectiveInitialNumPartitions
.
Визуализация новых версий плана AQE
Знакомство с версиями плана AQE, позволяющими визуализировать обновления плана выполнения из адаптивного выполнения запросов (AQE).
Новые асинхронные режимы отслеживания хода выполнения и очистки журналов
Введение режимов структурированной потоковой передачи с именем асинхронного отслеживания хода выполнения и асинхронного очистки журналов. Асинхронный режим очистки журналов снижает задержку потоковых запросов, удалив журналы, используемые для отслеживания хода выполнения в фоновом режиме.
Структурированная потоковая передача в каталоге Unity теперь поддерживается display()
Теперь вы можете использовать display()
структурированную потоковую передачу для работы с таблицами, зарегистрированными в каталоге Unity.
Теперь события конвейера регистрируются в формате JSON
Azure Databricks теперь записывает события конвейера в журнал драйвера в формате JSON. Хотя каждое событие будет синтаксический анализ JSON, крупные события могут не содержать все поля, или поля могут быть усечены. Каждое событие регистрируется в одной строке с префиксом Event received:
. Ниже приведен пример события.
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
Произвольная обработка состояния в структурированной потоковой передаче с помощью Python
Введя функцию applyInPandasWithState
, которую можно использовать для произвольной обработки состояния в PySpark. Это эквивалентно flatMapGroupsWithState
функции в API Java.
Вывод дат в CSV-файлах
Введение улучшенного вывода столбцов типа даты в CSV-файлах. Если формат даты согласован между записями для столбца, эти столбцы можно вывести как DateType
. Кроме того, можно использовать сочетание форматов дат в разных столбцах. Azure Databricks может автоматически выводить формат даты для каждого столбца. Столбцы даты в CSV-файлах до Databricks Runtime 11.3 LTS остаются как StringType
.
Поддержка клонирования таблиц Apache Parquet и Apache Iceberg (общедоступная предварительная версия)
Теперь клон можно использовать для создания и добавочного обновления таблиц Delta, которые отражают таблицы Apache Parquet и Apache Iceberg. Вы можете обновить исходную таблицу Parquet и постепенно применить изменения к клонированной таблице Delta с помощью команды клонирования. См . добавочное клонирование таблиц Parquet и Iceberg в Delta Lake.
Использование SQL для указания расположений хранилища на уровне схемы и каталога для управляемых таблиц каталога Unity
Теперь можно использовать MANAGED LOCATION
команду SQL, чтобы указать расположение облачного хранилища для управляемых таблиц на уровнях каталога и схем. См. CREATE CATALOG и CREATE SCHEMA.
Изменения в работе
Databricks Connect 11.3.2
Теперь поддерживается обновление клиента Databricks Connect 11.3.2. См. заметки о выпуске Databricks Connect и Databricks Connect.
Обновлен соединитель Azure Databricks Snowflake
Соединитель Azure Databricks Snowflake обновлен до последней версии кода из репозитория с открытым исходным кодом, Источника данных Snowflake для Apache Spark. Теперь он полностью совместим с Databricks Runtime 11.3 LTS, включая pushdown предиката и внутренний план запроса при сохранении всех функций версии с открытым исходным кодом.
Кэш Hadoop для S3A теперь отключен
Теперь кэш Hadoop ( API Apache Hadoop Main 3.3.4) для S3A отключен. Это необходимо для согласования с другими соединителями облачного хранилища. Для рабочих нагрузок, использующих кэширование файловой системы, убедитесь, что только что созданные файловые системы предоставляются с правильными конфигурациями Hadoop, включая поставщиков учетных данных.
Схема сбора статистики Delta Lake теперь соответствует порядку столбцов в определении схемы таблицы
Это изменение устраняет ошибку в протоколе Delta Lake, где статистика не была собрана для столбцов из-за несоответствия в кадре данных и порядке столбцов таблицы. В некоторых случаях вы можете столкнуться с снижением производительности записи из-за сбора статистики в ранее неуправляемых полях. См . сведения о пропусках данных для Delta Lake.
applyInPandasWithState выдает ошибку, если запрос имеет перетасовку после оператора
Оператор applyInPandasWithState
выдает ошибку, если запрос имеет shuffle
после оператора. Это происходит, когда пользователь добавляет shuffle
shuffle
после операции или оптимизатор или приемник неявно.
Обновления библиотек
- Обновленные библиотеки Python:
- distlib от 0.3.5 до 0.3.6
- Обновленные библиотеки R:
- веник от 1.0.0 до 1.0.1
- вызывающий объект от 3.7.1 до 3.7.2
- dplyr от 1.0.9 до 1.0.10
- dtplyr от 1.2.1 до 1.2.2
- forcats от 0.5.1 до 0.5.2
- будущее от 1.27.0 до 1.28.0
- future.apply от 1.9.0 до 1.9.1
- gert от 1.7.0 до 1.8.0
- globals от 0.16.0 до 0.16.1
- gtable от 0.3.0 до 0.3.1
- хейвен от 2.5.0 до 2.5.1
- hms от 1.1.1 до 1.1.2
- httr от 1.4.3 до 1.4.4
- трикотаж от 1,39 до 1,40
- modelr от 0.1.8 до 0.1.9
- столб с 1.8.0 до 1.8.1
- progressr от 0.10.1 до 0.11.0
- readxl от 1.4.0 до 1.4.1
- reprex от 2.0.1 до 2.0.2
- rlang от 1.0.4 до 1.0.5
- rmarkdown от 2.14 до 2.16
- RSQLite от 2.2.15 до 2.2.16
- rstudioapi от 0,13 до 0,14
- rversions от 2.1.1 до 2.1.2
- rvest от 1.0.2 до 1.0.3
- масштабирование от 1.2.0 до 1.2.1
- sparklyr от 1.7.7 до 1.7.8
- stringr от 1.4.0 до 1.4.1
- выживание от 3.2-13 до 3.4-0
- tinytex от 0,40 до 0,41
- viridisLite от 0.4.0 до 0.4.1
- Обновленные библиотеки Java:
- com.fasterxml.джексон.core.джексон-заметки от 2.13.3 до 2.13.4
- com.fasterxml.джексон.core.джексон-core с 2.13.3 до 2.13.4
- com.fasterxml.джексон.core.джексон-databind с 2.13.3 до 2.13.4
- com.fasterxml.джексон.dataformat.джексон-dataformat-cbor с 2.13.3 по 2.13.4
- com.fasterxml.джексон.datatype.джексон-datatype-joda с 2.13.3 до 2.13.4
- com.fasterxml.джексон.datatype.джексон-datatype-jsr310 от 2.13.3 до 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer от 2.13.3 до 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12 от 2.13.3 до 2.13.4
- org.apache.hadoop.hadoop-client-api от 3.3.2-databricks до 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime с 3.3.2 до 3.3.4
- org.apache.orc.orc-core от 1.7.5 до 1.7.6
- org.apache.orc.orc-mapreduce от 1.7.5 до 1.7.6
- org.apache.orc.orc-shims от 1.7.5 до 1.7.6
- org.apache.parquet.column с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
- org.apache.parquet.common с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
- org.apache.parquet.parquet-кодировка с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structures от 1.12.0-databricks-0004 до 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop от 1.12.0-databricks-0004 до 1.12.0-databricks-0007
- org.apache.parquet.parquet-джексон с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
- org.glassfish.jersey.container.container-servlet от 2.34 до 2.36
- org.glassfish.jersey.container.container-servlet-core от 2.34 до 2.36
- org.glassfish.jersey.core.jersey-client с 2.34 по 2.36
- org.glassfish.jersey.core.jersey-common с 2.34 по 2.36
- org.glassfish.jersey.core.джерси-server с 2.34 по 2.36
- org.glassfish.jersey.inject.jersey-hk2 с 2.34 до 2.36
Apache Spark
Databricks Runtime 11.3 LTS включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-39957] [WARMFIX][sc-111425][CORE] Задержка onDisconnected, чтобы драйвер мог получать ExecutorExitCode.
- [SPARK-39955] [WARMFIX][sc-111424][CORE] Улучшение процесса LaunchTask, чтобы избежать сбоев этапов, вызванных сбоем при отправке сообщений LaunchTask
- [SPARK-40474] [SC-106248][cherry-pick] Исправить поведение вывода схемы CSV для столбцов datetime и ввести автоматическое определение полей Date.
- [SPARK-40535] [SC-111243][sql] Исправлена ошибка, из-за которой буфер AggregatingAccumulator не создавался, если входные строки были пустыми.
- [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Реализация applyInPandasWithState в PySpark
-
[SPARK-40460] [SC-110832][ss] Исправьте метрики потоковой передачи при выборе
_metadata
-
[SPARK-40324] [SC-109943][sql] Укажите контекст запроса
ParseException
- [SPARK-40466] [SC-110899][ss] Улучшение сообщения об ошибке при отключении DSv2 при недоступности DSv1
- [SPARK-40456] [SC-110848][sql] Метод PartitionIterator.hasNext следует вызывать повторно с минимальными затратами.
- [SPARK-40169] [SC-110772][sql] Не используйте фильтры Parquet без привязки к схеме данных
- [SPARK-40467] [SC-110759][ss] Разделить FlatMapGroupsWithState на несколько наборов тестов
- [SPARK-40468] [SC-110813][sql] Исправление отсечения столбцов в CSV при использовании _corrupt_record
- [SPARK-40291] [SC-110085][sql] Улучшение сообщения об ошибке для столбца, не включенного в предложение GROUP BY.
- [SPARK-40398] [SC-110762][core][SQL] Использовать цикл вместо Arrays.stream API
- [SPARK-40433] [SC-110684][ss][PYTHON] Добавление toJVMRow в PythonSQLUtils для преобразования выбранной строки PySpark в строку JVM
- [SPARK-40414] [SC-110568][sql][PYTHON] Более универсальный тип в PythonArrowInput и PythonArrowOutput
- [SPARK-40352] [SC-109945][sql] Добавление псевдонимов функций: len, datepart, dateadd, date_diff и curdate
- [SPARK-40470] [SC-110761][sql] Обработка GetArrayStructFields и GetMapValue в функции "arrays_zip"
- [SPARK-40387] [SC-110685][sql] Улучшить реализацию Spark Decimal
- [SPARK-40429] [SC-110675][sql] Устанавливать KeyGroupedPartitioning, только если указанный столбец присутствует в выводе
- [SPARK-40432] [SC-110716][python] Введение GroupStateImpl и GroupStateTimeout в PySpark
- [SPARK-39915] [SC-110496][sql] Убедитесь, что выходное разделение указано пользователем в AQE
-
[SPARK-29260] [SQL] Поддержка,
ALTER DATABASE SET LOCATION
если HMS поддерживает - [SPARK-40185] [SC-110056][sql] Удалите предложение столбца, если список кандидатов пуст
- [SPARK-40362] [SC-110401][sql] Исправление канонизации в BinaryComparison
- [SPARK-40411] [SC-110381][ss] Рефакторинг FlatMapGroupsWithStateExec, чтобы иметь родительский трейт
- [SPARK-40293] [SC-110084][sql] Сделать сообщение об ошибке таблицы версии 2 более значимым
-
[SPARK-38734] [SC-110383][sql] Удалите класс ошибок
INDEX_OUT_OF_BOUNDS
- [SPARK-40292] [SC-110300][sql] Исправьте имена столбцов в функции "arrays_zip", когда массивы ссылаются на вложенные структуры
- [SPARK-40276] [SC-109674][core] Уменьшите размер результата RDD.takeOrdered
- [SPARK-40197] [SC-109176][sql] Замените план запросов контекстом для MULTI_VALUE_SUBQUERY_ERROR
-
[SPARK-40300] [SC-109942][sql] Миграция в класс ошибок
DATATYPE_MISMATCH
- [SPARK-40149] [SC-110055][sql] Распространение столбцов метаданных через Project
- [SPARK-40280] [SC-110146][sql] Добавлена поддержка parquet push down для аннотированных типов int и long
- [SPARK-40220] [SC-110143][sc-109175][SQL] Не выводить пустую карту параметров сообщения об ошибке
- [SPARK-40295] [SC-110070][sql] Разрешить функции V2 с литеральными аргументами в распределении и порядке записи
-
[SPARK-40156] [SC-109264][sql]
url_decode()
должен возвращать класс ошибок - [SPARK-39195] [SQL] Spark OutputCommitCoordinator должен завершать этап, когда зафиксированный файл не соответствует состоянию задачи
- [SPARK-40260] [SC-109424][sql] Использовать классы ошибок в ошибках компиляции для позиции GROUP BY
- [SPARK-40205] [SC-110144][sc-109082][SQL] Укажите контекст запроса ELEMENT_AT_BY_INDEX_ZERO
- [SPARK-40112] [SC-109676][sql] Улучшение функции TO_BINARY()
-
[SPARK-40209] [SC-109081][sql] Не изменяйте интервал десятичного значения в
changePrecision()
в случае ошибок - [SPARK-40319] [SC-109873][sql] Удаление метода ошибки выполнения повторяющихся запросов для PARSE_DATETIME_BY_NEW_PARSER
- [SPARK-40222] [SC-109209][sql] Числовые try_add/try_divide/try_subtract/try_multiply должны вызывать ошибку, возникающую из их дочерних элементов.
- [SPARK-40183] [SC-108907][sql] Использование класса ошибок NUMERIC_VALUE_OUT_OF_RANGE для переполнения в десятичном преобразовании
-
[SPARK-40180] [SC-109069][sql] Форматирование сообщений об ошибках по
spark-sql
- [SPARK-40153] [SC-109165][sql] Объединить функции разрешения и функции табличных значений
- ru-RU: [SPARK-40308] [SC-109880][sql] Разрешить несвораемые аргументы разделителя для функции
str_to_map
- [SPARK-40219] [SC-110052][sc-109663][SQL] Разрешенный логический план представления должен содержать схему, чтобы избежать избыточного поиска
- [SPARK-40098] [SC-109939][sc-108693][SQL] Формат сообщений об ошибках в Thrift Server
- [SPARK-39917] [SC-109038][sql] Использование различных классов ошибок для арифметического переполнения числовых и интервалных значений
- [SPARK-40033] [SC-109875][sql] Поддержка очистки вложенных схем с помощью element_at
- [SPARK-40194] [SC-109660][sql] Функция Split при пустом регулярном выражении должна усечь только последнюю пустую строку.
- [SPARK-40228] [SC-109835][sql] Не упрощайте multiLike, если дочерний элемент не является дешевым выражением
- [SPARK-40039] [SC-109896][sc-109260][SS] Введение в диспетчер файлов потоковой контрольной точки на основе неизменяемого интерфейса Hadoop
-
[SPARK-40285] [SC-109679][sql] Упростить
roundTo[Numeric]
для SparkDecimal
- [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison должен функционировать, даже если не удалось понизить литерал в In/InSet.
- [SPARK-40040] [SC-109662][sql] Отправить локальное ограничение обеим сторонам, если условие соединения пусто
- [SPARK-40055] [SC-109075][sql] listCatalogs также должны возвращать spark_catalog даже если реализация spark_catalog по умолчанию — defaultSessionCatalog
- [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) не может создавать N-секции, отличные от AQE
- [SPARK-40207] [SC-109401][sql] Укажите имя столбца, если тип данных не поддерживается источником данных
- [SPARK-40245] [SC-109295][sql] Исправлена проверка равенства FileScan, если столбцы раздела или столбцы фильтра данных не считываются
- [SPARK-40113] [SC-109405][sql] Реализации интерфейса Reactor ParquetScanBuilder DataSourceV2
- [SPARK-40211] [SC-109226][core][SQL] Разрешить настройку начального числа секций в режиме take()
-
[SPARK-40252] [SC-109379][sql] Замените
Stream.collect(Collectors.joining)
наStringJoiner
Api - [SPARK-40247] [SC-109272][sql] Исправлена проверка равенства BitSet
- [SPARK-40067] [SQL] Используйте table#name() вместо Scan#name() для заполнения имени таблицы на узле BatchScan в SparkUI
- [SPARK-39966] [SQL] Использование фильтра версии 2 в SupportsDelete
- [SPARK-39607] [SC-109268][sql][DSV2] Поддержка функций версии 2 для распределения и упорядочивания при записи
- [SPARK-40224] [SC-109271][sql] Настройка ObjectHashAggregateExec на своевременное освобождение памяти при возврате к сортировке на основе fallback
-
[SPARK-40013] [SQL] Выражения DS версии 2 должны иметь значение по умолчанию
toString
- [SPARK-40214] [SC-109079][python][SQL] добавить "get" в функции
- [SPARK-40192] [SC-109089][sql][ML] Удаление избыточной группировки
- [SPARK-40146] [SC-108694][sql] Просто кодеген получения значения карты
- [SPARK-40109] [SQL] Новая функция SQL: get()
- [SPARK-39929] [SQL] DS V2 поддерживает push-вниз строковые функции (не ANSI)
- [SPARK-39819] [SQL] Агрегат DS V2 может работать с верхней N или разбиением по страницам (сортировка с выражениями)
- [SPARK-40213] [SC-109077][sql] Поддержка преобразования значений ASCII для символов Latin-1
- [SPARK-39887] [SQL] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
- [SPARK-39764] [SQL] Сделать PhysicalOperation таким же, как ScanOperation
- [SPARK-39964] [SQL] Pushdown DS V2 должен объединить путь перевода
- [SPARK-39528] [SQL] Использование фильтра версии 2 в SupportsRuntimeFiltering
- [SPARK-40066] [SQL] Режим ANSI: всегда возвращает значение NULL при недопустимом доступе к столбцу сопоставления
- [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
- [SPARK-39833] [SC-108736][sql] Отключить индекс столбца Parquet в DSv1, чтобы устранить проблему правильности в случае перекрывающихся столбцов секций и данных
- [SPARK-39880] [SQL] V2 SHOW FUNCTIONS команда должна распечатать полное имя функции, например v1
- [SPARK-39767] [SQL] Удаление неразрешенногоDBObjectName и добавление неразрешенногоIdentifier
- [SPARK-40163] [SC-108740][sql]: SparkSession.config(карта)
- [SPARK-40136] [SQL] Исправление фрагмента контекстов SQL-запросов
- [SPARK-40107] [SC-108689][sql] Вытащить преобразование empty2null из FileFormatWriter
- [SPARK-40121] [PYTHON][sql] Инициализировать проекцию, используемую для Python UDF
- [SPARK-40128] [SQL] Распознавание векторизованногоColumnReader DELTA_LENGTH_BYTE_ARRAY в качестве автономного кодирования столбцов
- [SPARK-40132] [ML] Восстановление rawPredictionCol в MultilayerPerceptronClassifier.setParams
-
[SPARK-40050] [SC-108696][sql] Улучшение
EliminateSorts
для поддержки удаления сортировки с помощьюLocalLimit
- [SPARK-39629] [SQL] Поддержка версии 2 SHOW FUNCTIONS
- [SPARK-39925] [SC-108734][sql] Добавление перегрузки array_sort(column, comparator) в операции DataFrame
- [SPARK-40117] [PYTHON][sql] Преобразование условия в Java в методе DataFrameWriterV2.overwrite
- [SPARK-40105] [SQL] Улучшение повторной части в ReplaceCTERefWithRepartition
- [SPARK-39503] [SQL] Добавление имени каталога сеансов для таблицы и функции базы данных версии 1
- [SPARK-39889] [SQL] Использование различных классов ошибок для числовых или интервалов, разделенных на 0
- [SPARK-39741] [SQL] Поддержка кодирования и декодирования URL-адресов в виде встроенной функции и функции, связанные с URL-адресом
- [SPARK-40102] [SQL] Использование SparkException вместо illegalStateException в SparkPlan
- [SPARK-40014] [SQL] Поддержка приведения десятичных знаков к интервалам ANSI
- [SPARK-39776] [SQL][follow] Обновление UT в PlanStabilitySuite в режиме ANSI
-
[SPARK-39963] [SQL] Упрощать
SimplifyCasts.isWiderCast
Обновления в рамках обслуживания
Ознакомьтесь с обновлениями обслуживания Databricks Runtime 11.3.
Системная среда
- Операционная система: Ubuntu 20.04.5 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14.
- Python: 3.9.21
- R: 4.1.3.
- Delta Lake: 2.1.0
Установленные библиотеки Python
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
argon2-cffi | 20.1.0 | async-generator | 1,10 | attrs | 21.2.0 |
backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | black | 22.3.0 |
bleach | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | щелчок | 8.0.3 | криптография | 3.4.8 |
cycler | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
distlib | 0.3.6 | entrypoints | 0,3 | facets-overview | 1.0.0 |
filelock | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
joblib | 1.0.1 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
nest-asyncio | 1.5.1 | записная книжка | 6.4.5 | numpy | 1.20.3 |
во внешнем виде | 21,0 | pandas | 1.3.4 | pandocfilters | 1.4.3 |
parso | 0.8.2 | pathspec | 0.9.0 | patsy | 0.5.2 |
pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 8.4.0 |
pip | 21.2.4 | platformdirs | 2.5.2 | график | 5.9.0 |
prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pyarrow | 7.0.0 | pycparser | 2,20 | Pygments | 2.10.0 |
PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
мореборн | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
six | 1.16.0 | ssh-import-id | 5,10 | statsmodels | 0.12.2 |
tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
unattended-upgrades | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
widgetsnbextension | 3.6.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-09-08. Моментальный снимок больше недоступен.
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
askpass | 1,1 | assertthat | 0.2.1 | внутренние порты | 1.4.1 |
base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | большой двоичный объект | 1.2.3 | загрузка | 1.3-28 |
заваривать | 1.0-7 | brio | 1.1.3 | метла | 1.0.1 |
bslib | 0.4.0 | cachem | 1.0.6 | вызывающий объект | 3.7.2 |
крышка | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
commonmark | 1.8.0 | компилятор | 4.1.3 | config | 0.3.1 |
cpp11 | 0.4.2 | карандаш | 1.5.1 | учетные данные | 1.3.2 |
curl | 4.3.2 | data.table | 1.14.2 | наборы данных | 4.1.3 |
DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
средства разработки | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
e1071 | 1.7-11 | многоточие | 0.3.2 | evaluate | 0,16 |
вентиляторы | 1.0.3 | Farver | 2.1.1 | fastmap | 1.1.0 |
fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
иностранный | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
будущее | 1.28.0 | future.apply | 1.9.1 | gargle | 1.2.0 |
Универсальные шаблоны | 0.1.3 | gert | 1.8.0 | ggplot2 | 3.3.6 |
gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
globals | 0.16.1 | клей | 1.6.2 | googledrive | 2.0.0 |
googlesheets4 | 1.0.1 | Говер | 1.0.0 | графика | 4.1.3 |
grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.1 | hardhat | 1.2.0 |
haven | 2.5.1 | высокий | 0,9 | hms | 1.1.2 |
htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-13 | isoband | 0.2.5 | Итераторы | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
трикотажный | 1,40 | маркирование | 0.4.2 | later | 1.3.0 |
решётка | 0.20-45 | Lava | 1.6.10 | жизненный цикл | 1.0.1 |
listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
Markdown | 1,1 | МАССАЧУСЕТС | 7.3-56 | «Матрица» | 1.4-1 |
memoise | 2.0.1 | оплаты | 4.1.3 | mgcv | 1.8-40 |
мим | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
parallel | 4.1.3 | parallelly | 1.32.1 | столб | 1.8.1 |
pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
хвалить | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
Ход выполнения | 1.2.2 | progressr | 0.11.0 | promises | 1.2.0.1 |
proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
Рецепты | 1.0.1 | реванш | 1.0.1 | rematch2 | 2.1.2 |
remotes | 2.4.2 | reprex | 2.0.2 | reshape2 | 1.4.4 |
rlang | 1.0.5 | rmarkdown | 2,16 | RODBC | 1.3-19 |
roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0,14 |
rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
весы | 1.2.1 | селектор | 0.4-2 | sessioninfo | 1.2.2 |
форма | 1.4.6 | блестящий | 1.7.2 | sourcetools | 0.1.7 |
sparklyr | 1.7.8 | SparkR | 3.3.0 | пространственный | 7.3-11 |
Сплайны | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
stats | 4.1.3 | статистика4 | 4.1.3 | stringi | 1.7.8 |
stringr | 1.4.1 | выживание | 3.4-0 | sys | 3,4 |
systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
tidyselect | 1.1.2 | tidyverse | 1.3.2 | TimeDate | 4021.104 |
tinytex | 0,41 | средства | 4.1.3 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
служебные программы | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
viridisLite | 0.4.1 | vroom | 1.5.7 | waldo | 0.4.0 |
усы | 0,4 | withr | 2.5.0 | xfun | 0,32 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.5 | zip | 2.2.0 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
ИД группы | Идентификатор артефакта | Версия |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | потоковая передача | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1–0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
com.fasterxml.jackson.core | jackson-core | 2.13.4 |
com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
com.github.ben-manes.caffeine | caffeine | 2.3.4 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | core | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java-natives | 1,1 |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java-natives | 1,1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | tink | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | профилировщик | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
com.ning | compress-lzf | 1,1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | blas | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.5.1 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | коллектор | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.annotation | javax.annotation-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1.2 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.14 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4,8 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | arrow-format | 7.0.0 |
org.apache.arrow | arrow-memory-core | 7.0.0 |
org.apache.arrow | arrow-memory-netty | 7.0.0 |
org.apache.arrow | arrow-vector | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4. |
org.apache.commons | commons-compress | 1,21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1,9 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | ivy | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
org.apache.logging.log4j | log4j-api | 2.18.0 |
org.apache.logging.log4j | log4j-core | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | orc-shims | 1.7.6 |
org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,20 |
org.apache.yetus | audience-annotations | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | hibernate-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 1.27.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | shims | 0.9.25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | неиспользованный | 1.0.0 |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.8 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |