Udostępnij za pośrednictwem

Databricks Runtime 11.2 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.2 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję we wrześniu 2022 r.

Nowe funkcje i ulepszenia

Zmiana uprawnień na ALTER TABLE w kontrolach dostępu do tabel (ACL tabeli)

Teraz użytkownicy muszą MODIFY mieć uprawnienia tylko do zmiany schematu lub właściwości tabeli za pomocą polecenia ALTER TABLE. Własność jest nadal wymagana, aby udzielić uprawnień do tabeli, zmienić jej właściciela i lokalizację lub zmienić jego nazwę. Ta zmiana powoduje, że model uprawnień dla list ACL tabeli jest spójny z wykazem aparatu Unity. Zobacz ALTER TABLE.

Dynamiczne przycinanie dla MERGE INTO

W przypadku korzystania z obliczeń MERGE INTO z włączoną usługą Photon funkcja przycinania plików dynamicznych i partycji jest używana w razie potrzeby w celu zwiększenia wydajności, na przykład w przypadku scalenia małej tabeli źródłowej z większą tabelą docelową.

Ulepszone wykrywanie konfliktów w funkcji Delta przy użyciu dynamicznego oczyszczania plików

Podczas sprawdzania potencjalnych konfliktów podczas zatwierdzeń wykrywanie konfliktów uwzględnia teraz pliki, które są czyszczone przez dynamiczne oczyszczanie plików, ale nie zostałoby przycinane przez filtry statyczne. Spowoduje to zmniejszenie liczby transakcji zakończonych niepowodzeniem.

Nowa karta Integracji typu open source na stronach głównych DSE/SQL

Wprowadzenie nowej karty "Integracje open source" na stronach głównych DSE/SQL, która wyświetla opcje integracji typu open source, takie jak delta live tables i dbt core.

CONVERT TO DELTA ulepszenia wykrywania partycji

CONVERT TO DELTA automatycznie wywnioskuje schemat partycji tabel Parquet zarejestrowanych w magazynie metadanych Hive lub w wykazie aparatu Unity, eliminując konieczność podania klauzuli PARTITIONED BY .

CONVERT TO DELTA korzysta z informacji o partycji z magazynu metadanych w celu odnajdywania plików dla tabeli Parquet zamiast wyświetlania całej ścieżki podstawowej, dzięki czemu usunięte partycje nie są dodawane do tabeli delty.

Zobacz Konwertowanie na usługę Delta Lake.

Schematy tabel obsługują teraz wartości domyślne kolumn

Schematy tabel obsługują teraz ustawianie wartości domyślnych dla kolumn. INSERT, UPDATEi DELETE polecenia dla tych kolumn mogą odwoływać się do tych wartości za pomocą słowa kluczowego DEFAULT . Na przykład CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET , a następnie INSERT INTO t VALUES (1, DEFAULT) dołączy wiersz (1, 42). To zachowanie jest obsługiwane w przypadku źródeł danych CSV, JSON, Orc i Parquet.

Nowe funkcje geoprzestrzenne H3

Teraz można używać 28 nowych wbudowanych wyrażeń H3 na potrzeby przetwarzania geoprzestrzenowego w klastrach z obsługą funkcji Photon, dostępnych w językach SQL, Scala i Python. Zobacz Funkcje geoprzestrzenne H3.

Nowa zależność środowiska Uruchomieniowego usługi Databricks

Środowisko Databricks Runtime teraz zależy od biblioteki H3 Języka Java w wersji 3.7.0.

Użycie własnego klucza: szyfrowanie poświadczeń usługi Git

Usługa Azure Key Vault umożliwia szyfrowanie osobistego tokenu dostępu usługi Git lub innego poświadczenia usługi Git.

Zobacz Konfigurowanie folderów Git usługi Databricks (Repos).

SQL: Nowa funkcja agregacji any_value

Nowa any_value funkcja agregacji zwraca dowolną losową wartość expr dla grupy wierszy. Zobacz funkcję agregacji any_value.

Polecenia systemu plików narzędzi usługi Databricks są dozwolone w przypadku większej liczby typów klastrów

dbutils.fs Polecenia (z wyjątkiem poleceń związanych z instalacją) są teraz dozwolone w klastrach izolacji użytkowników z wykazem aparatu Unity, a także w starszych klastrach listy ACL tabel, gdy użytkownik ma ANY FILE uprawnienia.

Uprawnienia CREATE można teraz przyznać w magazynach metadanych dla wykazu aparatu Unity

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENToraz uprawnienia CREATE PROVIDER można teraz przyznawać w metaskładnicach Unity Catalog.

Zoptymalizowane zapisy dla niepartycjonowanych tabel w klastrach z obsługą funkcji Photon

Tabele zarządzane w wykazie aparatu Unity automatycznie utrwalają pliki o dobrze dostosowanym rozmiarze z niepartych tabel, aby zwiększyć szybkość zapytań i zoptymalizować wydajność.

Obsługa funkcji Photon dla większej liczby źródeł danych

Aplikacja Photon obsługuje teraz więcej źródeł danych, w tym csv i Avro, a także jest zgodna z buforowanych ramek danych. Wcześniej skanowanie tych źródeł danych oznaczało, że całe zapytanie nie może być fotonizowane, niezależnie od operatorów lub wyrażeń zapytania. Teraz zapytania skanujące te źródła danych mogą być fotonizowane, odblokowując znaczne opóźnienia i ulepszenia TCO.

Ta funkcja jest domyślnie włączona w spark.databricks.photon.photonRowToColumnar.enabled konfiguracji.

Ograniczenia:

  • Schematy z typami zagnieżdżonym są nieobsługiwane (tj. tablice, mapy i struktury) w tej wersji.
  • Źródła ORC, RDD, Kinesis, Kafka i EventHub nie są obsługiwane w tej wersji.

SQL: ALTER SHARE obsługuje teraz WERSJĘ POCZĄTKOWĄ

Polecenie ALTER SHARE obsługuje teraz funkcję START VERSION, która umożliwia dostawcom udostępnianie danych począwszy od określonej wersji tabeli. Zobacz ALTER SHARE.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • distlib z 0.3.4 do 0.3.5
    • filelock z wersji 3.7.1 do 3.8.0
    • wykres z wersji 5.8.2 do 5.9.0
    • protobuf z wersji 4.21.2 do 4.21.5
  • Uaktualnione biblioteki języka R:
    • miotła od 0.8.0 do 1.0.0
    • bslib z 0.3.1 do 0.4.0
    • callr od 3.7.0 do 3.7.1
    • karetki od 6.0-92 do 6.0-93
    • dbplyr z wersji 2.2.0 do 2.2.1
    • devtools z wersji 2.4.3 do 2.4.4
    • ocena z zakresu od 0,15 do 0,16
    • daleko od 2.1.0 do 2.1.1
    • fontawesome z 0.2.2 do 0.3.0
    • przyszłość z wersji 1.26.1 do 1.27.0
    • typy ogólne od 0.1.2 do 0.1.3
    • gert z 1.6.0 do 1.7.0
    • globals from 0.15.1 to 0.16.0 (globals from 0.15.1 do 0.16.0)
    • googlesheets4 z 1.0.0 do 1.0.1
    • hardhat z 1.1.0 do 1.2.0
    • htmltools z wersji 0.5.2 do 0.5.3
    • równolegle z wersji 1.32.0 do 1.32.1
    • od 1.7.0 do 1.8.0
    • pkgload z wersji 1.2.4 do 1.3.0
    • processx z wersji 3.6.1 do 3.7.0
    • Program Rcpp z wersji 1.0.8.3 do 1.0.9
    • przepisy od 0.2.0 do 1.0.1
    • rlang z wersji 1.0.2 do 1.0.4
    • roxygen2 z 7.2.0 do 7.2.1
    • RSQLite z wersji 2.2.14 do 2.2.15
    • sygnatury dostępu współdzielonego z wersji 0.4.1 do 0.4.2
    • błyszczące od 1.7.1 do 1.7.2
    • stringi z wersji 1.7.6 do 1.7.8
    • tibble z 3.1.7 do 3.1.8
    • tidyverse z 1.3.1 do 1.3.2
    • timeDate z 3043.102 do 4021.104
    • xfun od 0.31 do 0.32
  • Uaktualnione biblioteki Java:
    • org.apache.orc.orc-core z wersji 1.7.4 do 1.7.5
    • org.apache.orc.orc-mapreduce z wersji 1.7.4 do 1.7.5
    • org.apache.orc.orc-shims z wersji 1.7.4 do 1.7.5

Apache Spark

Środowisko Databricks Runtime 11.2 obejmuje platformę Apache Spark 3.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Zwracanie szerszych typów interwałów ANSI z funkcji percentyla
  • [SPARK-40054] [SQL] Przywracanie składni obsługi błędów try_cast()
  • [SPARK-39489] [CORE] Zwiększanie wydajności rejestrowania zdarzeń JsonProtocol przy użyciu narzędzia Jackson zamiast Json4s
  • [SPARK-39319] [CORE][SQL] Tworzenie kontekstów zapytań w ramach SparkThrowable
  • [SPARK-40085] [SQL] Użyj klasy błędów INTERNAL_ERROR zamiast IllegalStateException, aby wskazać usterki
  • [SPARK-40001] [SQL] Ustaw zapis o wartości NULL w kolumnach DOMYŚLNYch JSON zapisu "null" w magazynie
  • [SPARK-39635] [SQL] Obsługa metryk sterowników w interfejsie API metryk niestandardowych ds w wersji 2
  • [SPARK-39184] [SQL] Obsługa niewymiarowej tablicy wyników w sekwencjach dat i znaczników czasu
  • [SPARK-40019] [SQL] Refaktoryzacja komentarza parametru ArrayType zawieraNull i refaktoryzację logiki nieporozumień w wyrażeniu kolekcjiOperator o containsNull
  • [SPARK-39989] [SQL] Obsługa szacowania statystyk kolumn, jeśli jest to wyrażenie złożone
  • [SPARK-39926] [SQL] Naprawiono usterkę w obsłudze domyślnej kolumny dla niewektorowych skanowań Parquet
  • [SPARK-40052] [SQL] Obsługa bajtów bezpośrednich w vectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Naprawianie typu interwału docelowego w błędach przepełnienia rzutu
  • [SPARK-39835] [SQL] Rozwiązano problem z usuwaniem sortowania globalnego poniżej sortowania lokalnego
  • [SPARK-40002] [SQL] Nie wypychaj limitu przez okno przy użyciu ntile
  • [SPARK-39976] [SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
  • [SPARK-39985] [SQL] Włączanie niejawnych wartości kolumn DEFAULT w wstawkach z ramek danych
  • [SPARK-39776] [SQL] JOIN szczegółowy ciąg powinien dodać typ sprzężenia
  • [SPARK-38901] [SQL] Rozszerzenie DS w wersji 2 obsługuje funkcje misc wypychania
  • [SPARK-40028] [SQL][Kontynuacja] Ulepszanie przykładów funkcji ciągów
  • [SPARK-39983] [CORE][SQL] Nie buforuj nieserializowane relacje emisji na sterowniku
  • [SPARK-39812] [SQL] Uprość kod, który tworzy się za pomocą polecenia AggregateExpressiontoAggregateExpression
  • [SPARK-40028] [SQL] Dodawanie przykładów binarnych dla wyrażeń ciągu
  • [SPARK-39981] [SQL] Zgłaszanie wyjątku QueryExecutionErrors.castingCauseOverflowErrorInTableInsert w elemecie Cast
  • [SPARK-40007] [PYTHON][SQL] Dodawanie trybu do funkcji
  • [SPARK-40008] [SQL] Obsługa rzutowania całkowitoliczników do interwałów ANSI
  • [SPARK-40003] [PYTHON][SQL] Dodawanie "mediany" do funkcji
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand powinien ponownie zapisać relację wyników
  • [SPARK-39951] [SQL] Aktualizowanie sprawdzania kolumnowego parquet v2 dla zagnieżdżonych pól
  • [SPARK-33236] [shuffle] Backport to DBR 11.x: Włączanie usługi mieszania opartej na wypychaniach w celu przechowywania stanu bazy danych na poziomie NM w celu zachowania ponownego uruchomienia
  • [SPARK-39836] [SQL] Uprość program V2ExpressionBuilder, wyodrębniając typową metodę.
  • [SPARK-39873] [SQL] Usuwanie OptimizeLimitZero i scalanie go z EliminateLimits
  • [SPARK-39961] [SQL] Tłumaczenie rzutowania w wersji 2 w wersji 2, jeśli rzutowanie jest bezpieczne
  • [SPARK-39872] [SQL] Zmiana na użycie BytePackerForLong#unpack8Values z interfejsem API danych wejściowych tablicy w programie VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Usuwanie niepotrzebnych AliasHelper lub PredicateHelper niektórych reguł
  • [SPARK-39900] [SQL] Adresowanie warunku częściowego lub negowanego w predykacie predykatu formatu binarnego
  • [SPARK-39904] [SQL] Zmień nazwę inferDate na preferujDate i wyjaśnij semantyka opcji w źródle danych CSV
  • [SPARK-39958] [SQL] Dodawanie dziennika ostrzeżeń, gdy nie można załadować niestandardowego obiektu metryki
  • [SPARK-39932] [SQL] Element WindowExec powinien wyczyścić końcowy bufor partycji
  • [SPARK-37194] [SQL] Unikaj niepotrzebnego sortowania w zapisie w wersji 1, jeśli nie jest to partycja dynamiczna
  • [SPARK-39902] [SQL] Dodawanie szczegółów skanowania do węzła skanowania planu platformy Spark w usłudze SparkUI
  • [SPARK-39865] [SQL] Pokazywanie prawidłowych komunikatów o błędach błędów podczas przepełnienia tabeli insert
  • [SPARK-39940] [SS] Odświeżanie tabeli wykazu w zapytaniu przesyłanym strumieniowo za pomocą ujścia DSv1
  • [SPARK-39827] [SQL] Używanie klasy ARITHMETIC_OVERFLOW error w przepełnieniu int add_months()
  • [SPARK-39914] [SQL] Dodawanie filtru DS v2 do konwersji filtru w wersji 1
  • [SPARK-39857] [SQL] Ręczne backport DBR 11.x; V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu w predykacie #43454
  • [SPARK-39840] [SQL][PYTHON] Element Factor PythonArrowInput jako symetria dla elementu PythonArrowOutput
  • [SPARK-39651] [SQL] Warunek filtru przycinania, jeśli porównanie z rand jest deterministyczne
  • [SPARK-39877] [PYTHON] Dodawanie elementu unpivot do interfejsu API ramki danych PySpark
  • [SPARK-39909] [SQL] Organizowanie sprawdzania informacji wypychanych dla aplikacji JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Uwzględnij statystyki źródła i ograniczenia dla wartości LogicalRDD, jeśli pochodzą z ramki danych
  • [SPARK-39849] [SQL] Dataset.as(StructType) wypełnia brakujące nowe kolumny z wartością null
  • [SPARK-39860] [SQL] Więcej wyrażeń powinno rozszerzać predykat
  • [SPARK-39823] [SQL][PYTHON] Zmienianie nazwy Dataset.as jako Dataset.to i dodawanie DataFrame.to w programie PySpark
  • [SPARK-39918] [SQL][DROBNE] Zastąp wyraz "un-comparable" wyrazem "incomparable" w komunikacie o błędzie
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu In
  • [SPARK-39862] [SQL] Ręczny backport dla żądania przejęcia 43654 przeznaczonego dla DBR 11.x: aktualizacja SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS do zezwolenia/odmowy ALTER TABLE ... POLECENIA "ADD COLUMN" oddzielnie.
  • [SPARK-39844] [SQL] Ręczne wycofywanie dla żądania ściągnięcia 43652 przeznaczonego dla DBR 11.x
  • [SPARK-39899] [SQL] Naprawianie przekazywania parametrów komunikatu do InvalidUDFClassException
  • [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec dziedziczy aliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Obsługa obiektu CharType w narzędziu PySpark
  • [SPARK-38864] [SQL] Dodawanie przestawiania/topnienia do zestawu danych
  • [SPARK-39864] [SQL] Z opóźnieniem zarejestruj element ExecutionListenerBus
  • [SPARK-39808] [SQL] Obsługa trybu funkcji agregującej
  • [SPARK-39875] [SQL] Zmień protected metodę w klasie końcowej na private lub package-visible
  • [SPARK-39731] [SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
  • [SPARK-39805] [SS] Przestarzałe trigger.Once i podwyższanie poziomu trigger.AvailableNow
  • [SPARK-39784] [SQL] Umieść wartości literału po prawej stronie filtru źródła danych po przetłumaczeniu wyrażenia katalizatora na filtr źródła danych
  • [SPARK-39672] [SQL][3.1] Usuwanie projektu przed filtrem z skorelowanym podzapytaniem
  • [SPARK-39552] [SQL] Ujednolicenie wersji 1 i 2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists powinna obsługiwać zagnieżdżoną przestrzeń nazw
  • [SPARK-37287] [SQL] Wyciąganie partycji dynamicznej i sortowania zasobnika z pliku FileFormatWriter
  • [SPARK-39469] [SQL] Wnioskowanie typu daty dla wnioskowania schematu CSV
  • [SPARK-39148] [SQL] Wypychanie agregacji w DS V2 może współpracować z OFFSET lub LIMIT
  • [SPARK-39818] [SQL] Naprawiono usterkę w typach ARRAY, STRUCT i MAP z wartościami DOMYŚLNYmi z polami NULL
  • [SPARK-39792] [SQL] Dodaj wartość DecimalDivideWithOverflowCheck dla średniej dziesiętnej
  • [SPARK-39798] [SQL] Replcace toSeq.toArray z .toArray[Any] w konstruktorze GenericArrayData
  • [SPARK-39759] [SQL] Implementowanie indeksów list w JDBC (dialekt H2)
  • [SPARK-39385] [SQL] Obsługuje wypychanie REGR_AVGX i REGR_AVGY
  • [SPARK-39787] [SQL] Użyj klasy error w błędzie analizowania funkcji to_timestamp
  • [SPARK-39760] [PYTHON] Obsługa platformy Varchar w PySpark
  • [SPARK-39557] [SQL] Ręczne eksportowanie do DBR 11.x: Obsługa tablicy, struktury, typów MAP jako wartości DOMYŚLNE
  • [SPARK-39758] [SQL][3.3] Naprawianie serwera NPE z funkcji regexp w nieprawidłowych wzorcach
  • [SPARK-39749] [SQL] Tryb SQL ANSI: użyj reprezentacji zwykłego ciągu podczas rzutowania dziesiętnego na ciąg
  • [SPARK-39704] [SQL] Implementowanie funkcji createIndex & dropIndex i indexExists w JDBC (dialekt H2)
  • [SPARK-39803] [SQL] Użyj LevenshteinDistance zamiast StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Obsługa typu TimestampNTZ w źródle danych JDBC
  • [SPARK-39781] [SS] Dodano obsługę udostępniania max_open_files dostawcy magazynu stanów bazy danych Rocksdb
  • [SPARK-39719] [R] Implementowanie databaseExists/getDatabase w usłudze SparkR obsługuje przestrzeń nazw 3L
  • [SPARK-39751] [SQL] Zmień nazwę metryki agregacji kluczy skrótu
  • [SPARK-39772] [SQL] Przestrzeń nazw powinna mieć wartość null, gdy baza danych ma wartość null w starych konstruktorach
  • [SPARK-39625] [SPARK-38904][SQL] Dodawanie Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilowanie wbudowanych funkcji agregacji regresji liniowej dla dialektu JDBC
  • [SPARK-39720] [R] Implementowanie tableExists/getTable w usłudze SparkR dla przestrzeni nazw 3L
  • [SPARK-39744] [SQL] REGEXP_INSTR Dodawanie funkcji
  • [SPARK-39716] [R] Utwórz bieżącą bazę danych/setCurrentDatabase/listCatalogs w usłudze SparkR obsługują przestrzeń nazw 3L
  • [SPARK-39788] [SQL] Zmień nazwę catalogName na dla dialectNameJdbcUtils
  • [SPARK-39647] [CORE] Rejestrowanie funkcji wykonawczej w usłudze ESS przed zarejestrowaniem menedżera bloków
  • [SPARK-39754] [CORE][SQL] Usuń nieużywane import lub niepotrzebne {}
  • [SPARK-39706] [SQL] Ustaw brakującą kolumnę z wartością defaultValue jako stałą w ParquetColumnVector
  • [SPARK-39699] [SQL] Inteligentne tworzenie wyrażeń tworzenia kolekcji przez zwijanie Projektu
  • [SPARK-39737] [SQL] PERCENTILE_CONT i PERCENTILE_DISC powinien obsługiwać filtr agregowany
  • [SPARK-39579] [SQL][PYTHON][R] Make ListFunctions/getFunction/functionExists zgodne z 3 warstwową przestrzenią nazw
  • [SPARK-39627] [SQL] Wypychanie JDBC V2 powinno ujednolicić interfejs API kompilacji
  • [SPARK-39748] [SQL][SS] Uwzględnij plan logiczny źródła dla wartości LogicalRDD, jeśli pochodzi z ramki danych
  • [SPARK-39385] [SQL] Tłumaczenie funkcji agregacji regresji liniowej na potrzeby wypychania
  • [SPARK-39695] [SQL] REGEXP_SUBSTR Dodawanie funkcji
  • [SPARK-39667] [SQL] Dodaj kolejne obejście, jeśli nie ma wystarczającej ilości pamięci do skompilowania i rozgłaszania tabeli
  • [SPARK-39666] [ES-337834][SQL] Użyj pliku UnsafeProjection.create, aby uwzględniać spark.sql.codegen.factoryMode element ExpressionEncoder
  • [SPARK-39643] [SQL] Zakaz wyrażeń podrzędnych w wartościach DOMYŚLNYch
  • [SPARK-38647] [SQL] Add SupportsReportOrdering mix in interface for Scan (DataSourceV2)
  • [SPARK-39497] [SQL] Ulepszanie wyjątku analizy brakującej kolumny klucza mapy
  • [SPARK-39661] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
  • [SPARK-39713] [SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL]Usługa DS w wersji 2 obsługuje funkcje wypychania daty/godziny
  • [SPARK-39638] [SQL] Zmień wartość , aby ConstantColumnVector przechowywać kolumny partycji w programie OrcColumnarBatchReader
  • [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Czyszczenie z ColumnVectorUtils
  • [SPARK-39231] [SQL] ConstantColumnVector Zamiast On/OffHeapColumnVector przechowywać kolumny partycji w programieVectorizedParquetRecordReader
  • [SPARK-39547] [SQL] Element V2SessionCatalog nie powinien zgłaszać wyjątku NoSuchDatabaseException w elemenie loadNamspaceMetadata
  • [SPARK-39447] [SQL] Unikaj funkcji AssertionError w elemencie AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Przeróbka MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec powinien przestrzegać kolejności danych wyjściowych podrzędnych
  • [SPARK-39606] [SQL] Używanie statystyk podrzędnych do szacowania operatora zamówienia
  • [SPARK-39611] [PYTHON][PS] Naprawianie nieprawidłowych aliasów w array_ufunc
  • [SPARK-39656] [SQL][3.3] Naprawienie nieprawidłowej przestrzeni nazw w opisieNamespaceExec
  • [SPARK-39675] [SQL] Przełącz konfigurację "spark.sql.codegen.factoryMode" z celu testowania do celu wewnętrznego
  • [SPARK-39139] [SQL] Ds v2 obsługuje wypychanie DS V2 UDF
  • [SPARK-39434] [SQL] Podaj kontekst zapytania o błędzie czasu wykonywania, gdy indeks tablicy jest poza granicą
  • [SPARK-39479] [SQL] Usługa DS w wersji 2 obsługuje funkcje matematyczne wypychania (nie ANSI)
  • [SPARK-39618] [SQL] REGEXP_COUNT Dodawanie funkcji
  • [SPARK-39553] [CORE] Wyrejestrowywanie wielowątkowego mieszania nie powinno zgłaszać wartości NPE w przypadku korzystania ze środowiska Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Dodawanie pliku do adresu brakujących funkcji ogólnych biblioteki pandas
  • [SPARK-39444] [SQL] Dodawanie funkcji OptimizeSubqueries do listy nonExcludableRules
  • [SPARK-39316] [SQL] Scalanie wartości PromotePrecision i CheckOverflow do arytmetyki binarnej dziesiętnej
  • [SPARK-39505] [Interfejs użytkownika] Zawartość dziennika ucieczki renderowana w interfejsie użytkownika
  • [SPARK-39448] [SQL] Dodaj ReplaceCTERefWithRepartition do nonExcludableRules listy
  • [SPARK-37961] [SQL] Zastąpij wartość maxRows/maxRowsPerPartition dla niektórych operatorów logicznych
  • [SPARK-35223] Przywracanie dodawania problemuNavigationLink
  • [SPARK-39633] [SQL] Sygnatura czasowa obsługi w sekundach dla elementu TimeTravel przy użyciu opcji ramki danych
  • [SPARK-38796] [SQL] Aktualizowanie dokumentacji ciągów formatu liczb za pomocą funkcji {try_}to_number
  • [SPARK-39650] [SS] Poprawiono niepoprawny schemat wartości w deduplikacji przesyłania strumieniowego ze zgodnością z poprzednimi wersjami
  • [SPARK-39636] [CORE][Interfejs użytkownika] Naprawianie wielu usterek w JsonProtocol, co wpływa na stos StorageLevels i Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Zwracanie ELEMENT_AT_BY_INDEX_ZERO z element_at(*, 0)
  • [SPARK-39349] Dodawanie scentralizowanej metody CheckError dla kontroli jakości ścieżki błędu
  • [SPARK-39453] [SQL] Ds v2 obsługuje wypychanie niegregowanych funkcji (innych niż ANSI)
  • [SPARK-38978] [SQL] DS V2 obsługuje operator optymalizacji zapytań OFFSET
  • [SPARK-39567] [SQL] Obsługa interwałów ANSI w funkcjach percentylu
  • [SPARK-39383] [SQL] Wspieranie kolumn DOMYŚLNYCH w ALTER TABLE ALTER COLUMNS dla źródeł danych w wersji 2
  • [SPARK-39396] [SQL] Naprawiono wyjątek logowania LDAP "kod błędu 49 — nieprawidłowe poświadczenia"
  • [SPARK-39548] [SQL] Polecenie CreateView z zapytaniem klauzuli okna napotkało problem z nieprawidłową definicją okna
  • [SPARK-39575] [AVRO] dodaj element ByteBuffer#rewind po byteBuffer#get in Avr...
  • [SPARK-39543] Opcja DataFrameWriterV2 powinna zostać przekazana do właściwości magazynu, jeśli powrót do wersji 1
  • [SPARK-39564] [SS] Uwidacznia informacje tabeli wykazu do planu logicznego w zapytaniu przesyłanym strumieniowo
  • [SPARK-39582] [SQL] Poprawiono znacznik "Since" dla elementu array_agg
  • [SPARK-39388] [SQL] Ponowne użycie orcSchema podczas wypychania predykatów Orc
  • [SPARK-39511] [SQL] Zwiększ limit wypychania lokalnego 1 dla prawej strony lewego półsprzężenia/antysprzężenia, jeśli warunek sprzężenia jest pusty
  • [SPARK-38614] [SQL] Nie wypychaj limitu przez okno korzystające z percent_rank
  • [SPARK-39551] [SQL] Dodawanie nieprawidłowego sprawdzania planu AQE
  • [SPARK-39383] [SQL] Obsługa kolumn DOMYŚLNYCH w ALTER TABLE ADD COLUMNS do źródeł danych V2
  • [SPARK-39538] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
  • [SPARK-39383] [SQL] Ręczne wycofywanie do DBR 11.x: Obsługa refaktoryzacji kolumn DEFAULT w celu pomijania przekazywania podstawowego analizatora wokół
  • [SPARK-39397] [SQL] Zrelaksuj aliasAwareOutputExpression, aby obsługiwać alias za pomocą wyrażenia
  • [SPARK-39496] [SQL] Obsługa struktury null w pliku Inline.eval
  • [SPARK-39545] [SQL] Zastąp concat metodę dla ExpressionSet języka Scala 2.13, aby zwiększyć wydajność
  • [SPARK-39340] [SQL] Rozszerzenie DS v2 agg pushdown powinno zezwalać na kropki w nazwie kolumn najwyższego poziomu
  • [SPARK-39488] [SQL] Upraszczanie obsługi błędów obiektu TempResolvedColumn
  • [SPARK-38846] [SQL] Dodawanie jawnego mapowania danych między typem liczbowym teradata i typem dziesiętny platformy Spark
  • [SPARK-39520] [SQL] Przesłoń -- metodę dla ExpressionSet klasy Scala 2.13
  • [SPARK-39470] [SQL] Obsługa rzutowania interwałów ANSI na liczby dziesiętne
  • [SPARK-39477] [SQL] Usuń informacje o "liczbie zapytań" ze złotych plików aplikacji SQLQueryTestSuite
  • [SPARK-39419] [SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
  • [SPARK-39061] [SQL] Poprawne ustawianie wartości null dla Inline atrybutów wyjściowych
  • [SPARK-39320] [SQL] Obsługa funkcji agregującej MEDIAN
  • [SPARK-39261] [CORE] Ulepszanie formatowania nowego wiersza dla komunikatów o błędach
  • [SPARK-39355] [SQL] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE powinien redact właściwości
  • [SPARK-37623] [SQL] Obsługa funkcji agregującej ANSI: regr_intercept
  • [SPARK-39374] [SQL] Ulepszanie komunikatu o błędzie dla listy kolumn określonej przez użytkownika
  • [SPARK-39255] [SQL][3.3] Ulepszanie komunikatów o błędach
  • [SPARK-39321] [SQL] Refaktoryzacja funkcji TryCast w celu użycia elementu RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Akceptowanie tablicy NumPy w elemecie createDataFrame
  • [SPARK-39267] [SQL] Czyszczenie niepotrzebnego symbolu dsl
  • [SPARK-39171] [SQL] Ujednolicenie wyrażenia rzutowania
  • [SPARK-28330] [SQL] Obsługa języka ANSI SQL: klauzula przesunięcia wyniku w wyrażeniu zapytania
  • [SPARK-39203] [SQL] Ponowne zapisywanie lokalizacji tabeli na bezwzględny identyfikator URI na podstawie identyfikatora URI bazy danych
  • [SPARK-39313] [SQL] toCatalystOrdering powinna zakończyć się niepowodzeniem, jeśli nie można przetłumaczyć elementu V2Expression
  • [SPARK-39301] [SQL][PYTHON] Korzystanie z właściwości LocalRelation i uwzględnianie rozmiaru partii strzałki w elem. createDataFrame z optymalizacją strzałki
  • [SPARK-39400] [SQL] spark-sql powinien usunąć dir zasobów hive we wszystkich przypadkach

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 11.2.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (rolling ISO) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black (czarny) 22.3.0 wybielacz 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 kliknięcie 8.0.3
kryptografia 3.4.8 rowerzysta 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 dekorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 dystrybucja informacji 0.23ubuntu1
punkty wejścia 0.3 aspekty — omówienie 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 biblioteka matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notes 6.4.5 numpy 1.20.3 opakowanie 21,0
Pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Poduszka 8.4.0 pip 21.2.4
platformdirs 2.5.2 kreślenie 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pirstent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 żądania 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Sześć 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
Wytrzymałość 8.0.1 terminado 0.9.4 ścieżka testowa 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlety 5.1.0 wpisywanie rozszerzeń 3.10.0.2
nienadzorowane uaktualnienia 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 koło 0.37.0
widgetsnbextension 3.6.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-08-15.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports (backports) 1.4.1
base 4.1.3 base64enc 0.1-3 bitowe 4.0.4
bit64 4.0.5 blob 1.2.3 rozruch 1.3-28
warzyć 1.0-7 Brio 1.1.3 miotła 1.0.0
bslib 0.4.0 cachem 1.0.6 obiekt wywołujący 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 przestrzeń kolorów 2.0-3
commonmark 1.8.0 — kompilator 4.1.3 config 0.3.1
cpp11 0.4.2 kredka 1.5.1 poświadczenia 1.3.2
lok 4.3.2 data.table 1.14.2 usługi Power BI 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 trawić 0.6.29
downlit (wyłączony) 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 wielokropek 0.3.2 evaluate 0.16
fani 1.0.3 farver 2.1.1 szybka mapa 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
zagraniczny 0.8-82 kuźnia 0.2.0 Fs 1.5.2
przyszłość 1.27.0 future.apply 1.9.0 płukać gardło 1.2.0
Generyczne 0.1.3 Gert 1.7.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globalna 0.16.0 klej 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafika 4.1.3
grDevices 4.1.3 siatka 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
przystań 2.5.0 wysoki 0,9 Hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 Identyfikatory 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iteratory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 Etykietowania 0.4.2 później 1.3.0
krata 0.20-45 lawa 1.6.10 cykl życia 1.0.1
nasłuchiwanie 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 MASA 7.3-56 Macierz 1.4-1
zapamiętywanie 2.0.1 metody 4.1.3 mgcv 1.8-40
mim 0,12 miniUI 0.1.1.1 Metryki modelu 1.2.2.2
modeler 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 równolegle 1.32.1 filar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
pochwała 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Postęp 1.2.2 progressr 0.10.1 Obietnice 1.2.0.1
Proto 1.0.0 proxy 0.4-27 PS 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
przepisy 1.0.1 rewanż 1.0.1 rewanż2 2.1.2
Piloty 2.4.2 reprex 2.0.1 zmień kształt2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions (rversions) 2.1.1 rvest 1.0.2 Sass 0.4.2
waga 1.2.0 selektor 0.4-2 sessioninfo 1.2.2
kształt 1.4.6 błyszczący 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 przestrzenny 7.3-11
Splajnów 4.1.3 sqldf 0.4-11 KWADRAT 2021.1
Statystyki 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 przetrwanie 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
narzędzia 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
wąs 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zamek 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-klej 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty transport netto 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 7.0.0
org.apache.arrow strzałka-pamięć-rdzeń 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow wektor strzałki 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy bluszcz 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc podkładki orc-shim 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet kodowanie parquet 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-cieniowane 4.20
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper jute dozorców 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-kontynuacja 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket —wspólne 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Podkładki 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark.spark Nieużywane 1.0.0
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1