Udostępnij za pośrednictwem

Databricks Runtime 15.3

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 15.3 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w czerwcu 2024 r.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Źródła danych PySpark obsługują teraz odczytywanie i zapisywanie strumienia

PySpark DataSources, które umożliwiają odczytywanie z niestandardowych źródeł danych i zapisywanie w niestandardowych ujściach danych, teraz obsługują odczytywanie i zapisywanie strumienia. Zobacz Niestandardowe źródła danych PySpark.

Wyłączanie mapowania kolumn za pomocą funkcji upuszczania

Teraz możesz DROP FEATURE wyłączyć mapowanie kolumn w tabelach delty i obniżyć jego dół. Zobacz Wyłączanie mapowania kolumn.

Składnia typów wariantów i funkcje w publicznej wersji zapoznawczej

Natywna obsługa platformy Apache Spark do pracy z danymi częściowo ustrukturyzowanymi, ponieważ VARIANT typ jest teraz dostępny w ramkach danych platformy Spark i w języku SQL. Zobacz Zapytanie dotyczące danych wariantów.

Obsługa typu wariantu dla usługi Delta Lake w publicznej wersji zapoznawczej

Teraz możesz VARIANT przechowywać dane częściowo ustrukturyzowane w tabelach wspieranych przez usługę Delta Lake. Zobacz Obsługa wariantów w usłudze Delta Lake.

Obsługa różnych trybów ewolucji schematu w widokach

Funkcja CREATE VIEW i ALTER VIEW umożliwia teraz ustawienie trybu powiązania schematu, zwiększając sposób obsługi zmian schematu w obiektach bazowych przez widoki. Ta funkcja umożliwia widoki tolerowania lub dostosowywania do zmian schematu w obiektach bazowych. Adresuje on zmiany w schemacie zapytania wynikające z modyfikacji definicji obiektów.

observe() Obsługa metod dodanych do klienta Spark Connect Scala

Klient Spark Connect Scala obsługuje Dataset.observe() teraz metody . Obsługa tych metod umożliwia zdefiniowanie metryk do obserwowania na Dataset obiekcie przy użyciu ds.observe("name", metrics...) metod lub ds.observe(observationObject, metrics...) .

Ulepszone opóźnienie ponownego uruchamiania strumienia dla modułu ładującego automatycznego

Ta wersja zawiera zmianę, która poprawia opóźnienie ponownego uruchamiania strumienia dla automatycznego modułu ładującego. To ulepszenie jest implementowane przez asynchroniczne ładowanie stanu przez magazyn stanów Bazy danych RocksDB. Dzięki tej zmianie powinna zostać wyświetlona poprawa czasu rozpoczęcia strumieni z dużymi stanami, na przykład strumieni z dużą liczbą już pozyskanych plików.

Zwracanie ramki danych jako elementu pyarrow.Table

Aby obsługiwać pisanie ramki danych bezpośrednio do obiektu Apache Arrow pyarrow.Table , ta wersja zawiera DataFrame.toArrow() funkcję . Aby dowiedzieć się więcej o korzystaniu ze strzałki w PySpark, zobacz Apache Arrow in PySpark (Strzałka w PySpark).

Poprawa wydajności niektórych funkcji okna

Ta wersja zawiera zmianę, która poprawia wydajność niektórych funkcji okna platformy Spark, w szczególności funkcji, które nie zawierają ORDER BY klauzuli ani parametru window_frame . W takich przypadkach system może ponownie napisać zapytanie, aby uruchomić je przy użyciu funkcji agregującej. Ta zmiana umożliwia szybsze uruchamianie zapytania przy użyciu częściowej agregacji i unikanie narzutów uruchomionych funkcji okien. Parametr spark.databricks.optimizer.replaceWindowsWithAggregates.enabled konfiguracji platformy Spark kontroluje tę optymalizację i jest domyślnie ustawiony na true wartość . Aby wyłączyć tę optymalizację, ustaw wartość spark.databricks.optimizer.replaceWindowsWithAggregates.enabled false.

try_mod Dodano obsługę funkcji

W tej wersji dodano obsługę funkcji PySpark try_mod() . Ta funkcja obsługuje obliczanie zgodne z językiem SQL ANSI reszty całkowitej z dzielenia dwóch wartości liczbowych. Jeśli argument dzielnika wynosi 0, try_mod() funkcja zwraca wartość null zamiast zgłaszać wyjątek. Można użyć try_mod() funkcji zamiast mod lub %, która zgłasza wyjątek, jeśli argument dzielnika to 0, a usługa ANSI SQL jest włączona.

Obsługa opcjonalnego parametru zakresu w parametrze list_secrets()

Ta wersja umożliwia ograniczenie wyników funkcji tabeli list_secrets() do określonego zakresu.

Poprawki błędów

WriteIntoDeltaCommand metryki w interfejsie użytkownika platformy Spark są teraz wyświetlane poprawnie

Ta wersja zawiera poprawkę metryk wyświetlanych na karcie SQL interfejsu użytkownika platformy Spark dla węzła Execute WriteIntoDeltaCommand . Wcześniej metryki wyświetlane dla tego węzła były zerowe.

groupby() Funkcja w interfejsie API biblioteki Pandas zignorowała as_index=False argument

Ta wersja zawiera poprawkę problemu groupby() z funkcją w interfejsie API biblioteki Pandas na platformie Spark. Przed wykonaniem tej poprawki element groupby() z ponownym oznaczeniem kolumn agregujących i as_index=False argument nie zawierał kluczy grupy w wynikowej ramce danych.

Analizowanie błędu z wieloma funkcjami okna odwołującymi się do danych wyjściowych z innych funkcji

W tej wersji rozwiązano problem, który może wystąpić, gdy zapytanie platformy Spark ma wiele kolejnych funkcji okna, w których funkcje okna odwołują się do danych wyjściowych z innych funkcji okna. W rzadkich przypadkach system może porzucić jedno z odwołań, co prowadzi do błędów podczas oceniania zapytania. Spowoduje to naprawienie tych odwołań w celu zapewnienia oceny zapytań. Ta zmiana jest kontrolowana przez parametr spark.databricks.optimizer.collapseWindows.projectReferenceskonfiguracji platformy Spark , który jest domyślnie ustawiony na true wartość . Aby wyłączyć tę zmianę, ustaw wartość spark.databricks.optimizer.collapseWindows.projectReferences false.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • filelock z wersji 3.13.1 do 3.13.4
  • Uaktualnione biblioteki języka R:
  • Uaktualnione biblioteki Java:
    • org.rocksdb.rocksdbjni z wersji 8.3.2 do 8.11.4

Apache Spark

Środowisko Databricks Runtime 15.3 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 15.2, a także następujące dodatkowe poprawki i ulepszenia platformy Spark:

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Przywróć "[SC-165552][SQL] DB2: Odczyt smallINT jako Sho...
  • [SPARK-47904] [DBRRM-1040][ZACHOWANIE-33][SC-163409] Przywróć spark-47904: Zachowaj wielkość liter w schemacie Avro podczas korzystania z enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Dodawanie typu danych źródłowych dla wyrażenia rzutowego łącznika
  • [SPARK-48175] [SC-166341][SQL][PYTHON] Przechowywanie informacji sortowania w metadanych, a nie w typie SER/DE
  • [SPARK-48172] [SC-166078][SQL] Rozwiązywanie problemów z ucieczką w narzędziu JDBCDialects
  • [SPARK-48186] [SC-165544][SQL] Dodano obsługę elementu AbstractMapType
  • [SPARK-48031] [SC-166523] Starsze widoki dziadka do POWIĄZANIA SCHEMATu
  • [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] Dodawanie funkcji timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] Rozwiązano problem z przekroczeniem limitu czasu źródła danych przesyłania strumieniowego języka Python dla dużego interwału wyzwalacza
  • [SPARK-48369] Przywróć "[SC-166494][SQL][PYTHON][CONNECT] Dodaj funkcję timestamp_add"
  • [SPARK-48336] [SC-166495][PS][CONNECT] Implementowanie ps.sql w programie Spark Connect
  • [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] Dodawanie funkcji timestamp_add
  • [SPARK-47354] [SC-165546][SQL] Dodawanie obsługi sortowania dla wyrażeń wariantów
  • [SPARK-48161] [SC-165325][SQL] Poprawka przywróconego żądania ściągnięcia — dodawanie obsługi sortowania dla wyrażeń JSON
  • [SPARK-48031] [SC-166391] Decompose viewSchemaMode config, add SHOW CREATE TABLE support (Decompose viewSchemaMode config, add SHOW CREATE TABLE support)
  • [SPARK-48268] [SC-166217][CORE] Dodawanie konfiguracji dla elementu SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][SQL] Zwiększanie wydajności alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][SQL] Obsługa małych liter w zagnieżdżonym typieMissingElementTypeError
  • [SPARK-47254] [SC-158847][SQL] Przypisywanie nazw do klas błędów _LEGACY_ERROR_TEMP_325[1–9]
  • [SPARK-47255] [SC-158749][SQL] Przypisywanie nazw do klas błędów _LEGACY_ERROR_TEMP_323[6–7] i _LEGACY_ERROR_TEMP_324[7–9]
  • [SPARK-48310] [SC-166239][PYTHON][CONNECT] Właściwości buforowane muszą zwracać kopie
  • [SPARK-48308] [SC-166152][Core] Ujednolicenie pobierania schematu danych bez kolumn partycji w pliku FileSourceStrategy
  • [SPARK-48301] [SC-166143][SQL] Zmień nazwę CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE na CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][CONNECT] Stosowanie metody builtin timestamp_diff
  • [SPARK-47607] [SC-166129] Dodawanie dokumentacji dotyczącej struktury rejestrowania strukturalnego
  • [SPARK-48297] [SC-166136][SQL] Naprawianie klauzuli TRANSFORM regresji za pomocą znaku/varchar
  • [SPARK-47045] [SC-156808][SQL] Zastąp IllegalArgumentException element SparkIllegalArgumentException w sql/api
  • [SPARK-46991] [SC-156399][SQL] Zastąp IllegalArgumentException element SparkIllegalArgumentException w catalyst
  • [SPARK-48031] [SC-165805][SQL] Ewolucja schematu widoku pomocy technicznej
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] Dodaj brakującą __repr__ metodę dla polecenia SQLExpression
  • [SPARK-48278] [SC-166071][PYTHON][CONNECT] Uściślij reprezentację ciągu Cast
  • [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] Dodawanie funkcji timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] Wzbogacanie komunikatu o błędzie dla błędów odczytu wartości dziesiętnych
  • [SPARK-47158] [SC-158078][SQL] Przypisz odpowiednią nazwę i sqlState do _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][CORE] Obiekt TransportClientFactory.createClient może powodować wyjątek FetchFailedException
  • [SPARK-48277] [SC-166066] Ulepszanie komunikatu o błędzie dla errorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][CONNECT] Obsługa zestawu danych observe dla klienta Scala
  • [SPARK-48954] [SC-171672][SQL] Dodawanie try_mod funkcji
  • [SPARK-43258] [SC-158151][SQL] Przypisywanie nazw do _LEGACY_ERROR_TEMP_202 błędu[3,5]
  • [SPARK-48267] [SC-165903][SS] Test regresji e2e z platformą SPARK-47305
  • [SPARK-48263] [SC-165925] Obsługa funkcji sortowania dla ciągów innych niż UTF8_BINARY
  • [SPARK-48260] [SC-165883][SQL] Wyłączanie koordynacji zatwierdzania danych wyjściowych w jednym teście parquetIOSuite
  • [SPARK-47834] [SC-165645][SQL][CONNECT] Oznaczanie przestarzałych funkcji za pomocą @deprecated polecenia w SQLImplicits
  • [SPARK-48011] [SC-164061][Core] Zapisz nazwę LogKey jako wartość, aby uniknąć generowania nowych wystąpień ciągów
  • [SPARK-48074] [SC-164647][Core] Zwiększanie czytelności dzienników JSON
  • [SPARK-44953] [SC-165866][CORE] Rejestrowanie ostrzeżenia po włączeniu śledzenia mieszania wzdłuż innego obsługiwanego mechanizmu da
  • [SPARK-48266] [SC-165897][CONNECT] Przenoszenie obiektu org.apache.spark.sql.connect.dsl pakietu do katalogu testowego
  • [SPARK-47847] [SC-165651][CORE] Oznaczanie jako przestarzałe spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] Czyszczenie użycia przestarzałych konstruktorów o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][SQL] Bezpośrednie przekazywanie sprzężenia zamiast wszystkich argumentów w celu getBroadcastBuildSide i getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] Nie zezwalaj mapy na bycie typem wariantu
  • [SPARK-48248] [SC-165791][PYTHON] Naprawa zagnieżdżonej tablicy tak, aby uwzględniała starsze konfiks inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][SQL] Dodano obsługę sortowania dla typu StringTrim funkcji/wyrażeń (dla UTF8_BINARY i LCASE)
  • [SPARK-48143] [ES-1095638][SQL] Używanie uproszczonych wyjątków dla przepływu sterowania między univocityParser i FailureSafeParser
  • [SPARK-48146] [SC-165668][SQL] Naprawianie funkcji agregującej w asercji podrzędnej wyrażeń
  • [SPARK-48161] Przywróć obsługę sortowania "[SC-165325][SQL] Dodawanie obsługi sortowania dla wyrażeń JSON"
  • [SPARK-47963] [CORE] Umożliwianie zewnętrznego ekosystemu platformy Spark korzystanie z mechanizmów rejestrowania strukturalnego
  • [SPARK-48180] [SC-165632][SQL] Poprawianie błędu, gdy wywołanie UDTF za pomocą argumentu TABLE zapomina nawiasy wokół wielu eksplorów PARTITION/ORDER BY
  • [SPARK-48002] [SC-164132][PYTHON][SS] Dodawanie testu dla obserwowanych metryk w elemencie PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][SQL] Dodawanie obsługi sortowania dla wyrażeń adresów URL
  • [SPARK-48161] [SC-165325][SQL] Dodawanie obsługi sortowania dla wyrażeń JSON
  • [SPARK-47359] [SC-164328][SQL] Obsługa funkcji TRANSLATE do pracy z ciągami sortowania
  • [SPARK-47365] [SC-165643][PYTHON] Dodawanie metody toArrow() DataFrame do programu PySpark
  • [SPARK-48228] [SC-165649][PYTHON][CONNECT] Implementowanie brakującej walidacji funkcji w aplikacji ApplyInXXX
  • [SPARK-47986] [SC-165549][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
  • [SPARK-47963] Przywróć "[CORE] Czy zewnętrzny ekosystem platformy Spark może używać mechanizmów rejestrowania strukturalnego "
  • [SPARK-47963] [CORE] Umożliwianie zewnętrznego ekosystemu platformy Spark korzystanie z mechanizmów rejestrowania strukturalnego
  • [SPARK-48208] [SC-165547][SS] Pomiń dostarczanie metryk użycia pamięci z bazy danych RocksDB, jeśli jest włączone ograniczone użycie pamięci
  • [SPARK-47566] [SC-164314][SQL] Obsługa funkcji SubstringIndex do pracy z ciągami sortowania
  • [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: Migrowanie logError ze zmiennymi do struktury rejestrowania strukturalnego
  • [SPARK-48205] [SC-165501][PYTHON] Usuwanie modyfikatora private[sql] dla źródeł danych języka Python
  • [SPARK-48173] [SC-165181][SQL] Funkcja CheckAnalysis powinna wyświetlić cały plan zapytania
  • [SPARK-48197] [SC-165520][SQL] Unikaj błędu potwierdzenia dla nieprawidłowej funkcji lambda
  • [SPARK-47318] [SC-162573][CORE] Dodaje rundę HKDF do wyprowadzania kluczy AuthEngine w celu przestrzegania standardowych praktyk KEX
  • [SPARK-48184] [SC-165335][PYTHON][CONNECT] Zawsze ustawiaj inicjator po Dataframe.sample stronie klienta
  • [SPARK-48128] [SC-165004][SQL] W przypadku wyrażenia BitwiseCount/bit_count napraw błąd składni kodu dla danych wejściowych typu logicznego
  • [SPARK-48147] [SC-165144][SS][CONNECT] Usuwanie odbiorników po stronie klienta po usunięciu lokalnej sesji platformy Spark
  • [SPARK-48045] [SC-165299][PYTHON] Grupowanie interfejsu API biblioteki Pandas z etykietą wielokrotnego sugerowania ignoruje as_index=False
  • [SPARK-48191] [SC-165323][SQL] Obsługa kodowania i dekodowania ciągów UTF-32
  • [SPARK-45352] [SC-137627][SQL] Eliminowanie składanych partycji okien
  • [SPARK-47297] [SC-165179][SQL] Dodawanie obsługi sortowania dla wyrażeń formatu
  • [SPARK-47267] [SC-165170][SQL] Dodano obsługę sortowania dla wyrażeń skrótów
  • [SPARK-47965] [SC-163822][CORE] Unikaj orNull w TypedConfigBuilder i OptionalConfigEntry
  • [SPARK-48166] [SQL] Unikaj używania błędu BadRecordException jako błędu dostępnego dla użytkownika w narzędziu VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][SS] Naprawianie stanu wyścigu między zwalnianiem magazynu stanów i migawek
  • [SPARK-47922] [SC-163997][SQL] Implementowanie wyrażenia try_parse_json
  • [SPARK-47719] [SC-161909][SQL] Zmień spark.sql.legacy.timeParse...
  • [SPARK-48035] [SC-165136][SQL] Poprawka try_add/try_multiply jest semantyczna równa dodawaniu/mnożenia
  • [SPARK-48107] [SC-164878][PYTHON] Wykluczanie testów z dystrybucji języka Python
  • [SPARK-46894] [SC-164447][PYTHON] Przenoszenie warunków błędu PySpark do autonomicznego pliku JSON
  • [SPARK-47583] [SC-163825][CORE] Podstawowa baza danych SQL: Migrowanie błędu logError ze zmiennymi do struktury rejestrowania strukturalnego
  • [SPARK-48064] Przywróć "[SC-164697][SQL] Aktualizowanie komunikatów o błędach dla rutynowych powiązanych klas błędów"
  • [SPARK-48048] [SC-164846][CONNECT][SS] Dodano obsługę odbiornika po stronie klienta dla języka Scala
  • [SPARK-48064] [SC-164697][SQL] Aktualizowanie komunikatów o błędach dla rutynowych powiązanych klas błędów
  • [SPARK-48056] [SC-164715][CONNECT][PYTHON] Wykonaj ponownie plan, jeśli zostanie zgłoszony błąd SESSION_NOT_FOUND i nie odebrano częściowej odpowiedzi
  • [SPARK-48124] [SC-165009][CORE] Wyłączanie rejestrowania strukturalnego dla opcji Connect-Repl domyślnie
  • [SPARK-47922] Przywróć "[SC-163997][SQL] Implementowanie wyrażenia try_parse_json"
  • [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys jest zbyt rygorystyczny
  • [SPARK-48114] [SC-164956][CORE] Wstępnie skompiluj wyrażeń regularnych szablonu, aby uniknąć niepotrzebnej pracy
  • [SPARK-48067] [SC-164773][SQL] Naprawianie kolumn domyślnych wariantu
  • [SPARK-47922] [SC-163997][SQL] Implementowanie wyrażenia try_parse_json
  • [SPARK-48075] [SC-164709] [SS] Dodawanie sprawdzania typów dla funkcji avro PySpark
  • [SPARK-47793] [SC-164324][SS][PYTHON] Implementowanie elementu SimpleDataSourceStreamReader dla źródła danych przesyłania strumieniowego języka Python
  • [SPARK-48081] [SC-164719] Naprawiono wyjątek ClassCastException w NTile.checkInputDataTypes(), gdy argument jest nieskładalny lub nieprawidłowy typ
  • [SPARK-48102] [SC-164853][SS] Śledzenie czasu trwania uzyskiwania metryk źródła/ujścia podczas raportowania postępu zapytań przesyłanych strumieniowo
  • [SPARK-47671] [SC-164854][Core] Włączanie rejestrowania strukturalnego w pliku log4j2.properties.template i aktualizowanie dokumentów
  • [SPARK-47904] [SC-163409][SQL] Zachowaj wielkość liter w schemacie Avro podczas używania polecenia enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType Analizowanie ciągu DDL
  • [SPARK-46922] [SC-156102][CORE][SQL] Nie opakowuj błędów środowiska uruchomieniowego, które napotyka użytkownik
  • [SPARK-48047] [SC-164576][SQL] Zmniejsz wykorzystanie pamięci pustych tagów TreeNode
  • [SPARK-47934] [SC-164648] [CORE] Upewnij się, że końcowe ukośniki w HistoryServer przekierowaniach adresów URL
  • [SPARK-47921] [SC-163826][CONNECT] Naprawiono tworzenie elementu ExecuteJobTag w elemecie ExecuteHolder
  • [SPARK-48014] [SC-164150][SQL] Zmień błąd makeFromJava w pliku EvaluatePython na błąd napotykany przez użytkownika
  • [SPARK-47903] [SC-163424][PYTHON] Dodano obsługę pozostałych typów skalarnych w bibliotece wariantów PySpark
  • [SPARK-48068] [SC-164579][PYTHON] mypy powinien mieć --python-executable parametr
  • [SPARK-47846] [SC-163074][SQL] Dodano obsługę typu wariantu w wyrażeniu from_json
  • [SPARK-48050] [SC-164322][SS] Rejestrowanie planu logicznego podczas uruchamiania zapytania
  • [SPARK-47810] [SC-163076][SQL] Zamień równoważne wyrażenie na <=> w warunku sprzężenia
  • [SPARK-47741] [SC-164290] Dodano obsługę przepełnienia stosu w analizatorze
  • [SPARK-48053] [SC-164309][PYTHON][CONNECT] Element SparkSession.createDataFrame powinien ostrzegać przed nieobsługiwanymi opcjami
  • [SPARK-47939] [SC-164171][SQL] Zaimplementuj nową regułę analizatora, aby przenieść parametryzowanąquery wewnątrz funkcji ExplainCommand i DescribeQueryCommand
  • [SPARK-48063] [SC-164432][CORE] Włącz spark.stage.ignoreDecommissionFetchFailure domyślnie
  • [SPARK-48016] [SC-164280][SQL] Naprawiono usterkę w funkcji try_divide, gdy w przypadku liczby dziesiętnej
  • [SPARK-48033] [SC-164291][SQL] Naprawianie RuntimeReplaceable wyrażeń używanych w kolumnach domyślnych
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] Unikaj powtarzających się wywołań narzędzia conf.resolver w pliku resolveExpression
  • [SPARK-48003] [SC-164323][SQL] Dodawanie obsługi sortowania dla agregacji szkiców hll
  • [SPARK-47994] [SC-164175][SQL] Usunięto usterkę z wypchnięciem filtru kolumny CASE WHEN w programie SQLServer
  • [SPARK-47984] [SC-163837][ML][SQL] Zmień MetricsAggregate/V2Aggregator#serialize/deserialize na wywołanie SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] Użyj formatatora znacznika czasu ze strefą czasową na poziomie klasy zamiast tworzenia kopii na poziomie metody
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Migracje dzienników strukturalnych
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Migracje dzienników strukturalnych
  • [SPARK-47567] [SC-164172][SQL] Obsługa funkcji LOCATE do pracy z ciągami sortowania
  • [SPARK-47764] [SC-163820][CORE][SQL] Czyszczenie zależności mieszania na podstawie funkcji ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] Aktualizowanie klasy błędu dla elementu group.apply
  • [SPARK-47414] [SC-163831][SQL] Obsługa sortowania małych liter dla wyrażeń regexp
  • [SPARK-47418] [SC-163818][SQL] Dodawanie ręcznie spreparowanych implementacji dla małych liter z obsługą unicode zawiera, startsWith i endsWith oraz optymalizowanie UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][SQL] Katalizator SQL: eliminowanie nienazwanych zmiennych w dziennikach błędów
  • [SPARK-47351] [SC-164008][SQL] Dodano obsługę sortowania dla wyrażeń ciągu StringToMap & Mask
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue powinna rozważyć wartości typu null
  • [SPARK-47476] [SC-164014][SQL] Obsługa funkcji REPLACE do pracy z ciągami sortowania
  • [SPARK-47408] [SC-164104][SQL] Naprawianie funkcji mathExpressions używających parametru StringType
  • [SPARK-47350] [SC-164006][SQL] Dodano obsługę sortowania dla wyrażenia ciągu SplitPart
  • [SPARK-47692] [SC-163819][SQL] Naprawianie domyślnego znaczenia stringtype w niejawnych rzutach
  • [SPARK-47094] [SC-161957][SQL] SPJ: dynamicznie ponownie zrównoważa liczbę zasobników, gdy nie są równe
  • [SPARK-48001] [SC-164000][CORE] Usuń nieużywane private implicit def arrayToArrayWritable z SparkContext
  • [SPARK-47986] [SC-163999][CONNECT][PYTHON] Nie można utworzyć nowej sesji, gdy sesja domyślna jest zamknięta przez serwer
  • [SPARK-48019] [SC-164121] Naprawianie nieprawidłowego zachowania w kolumnie ColumnVector/ColumnarArray przy użyciu słownika i wartości null
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Migracje dzienników strukturalnych
  • [SPARK-47999] [SC-163998][SS] Ulepszanie rejestrowania wokół tworzenia migawek i dodawania/usuwania wpisów z mapy pamięci podręcznej stanu w systemie plików HDFS wspieranego dostawcy magazynu stanów
  • [SPARK-47417] [SC-162872][SQL] Obsługa sortowania: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][CONNECT] Zezwalaj na łączenie wtyczek w celu tworzenia i przetwarzania zestawów danych
  • [SPARK-47411] [SC-163351][SQL] Obsługa funkcji StringInstr i FindInSet do pracy z ciągami sortowania
  • [SPARK-47360] [SC-163014][SQL] Obsługa sortowania: Nakładka, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][SQL] — dodawanie obsługi podciągów/lewej/prawej do sortowania
  • [SPARK-47983] [SC-163835][SQL] Obniż poziom spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled do wewnętrznej
  • [SPARK-47964] [SC-163816][PYTHON][CONNECT] Ukrywanie obiektów SQLContext i HiveContext w narzędziu pyspark-connect
  • [SPARK-47985] [SC-163841][PYTHON] Upraszczanie funkcji za pomocą polecenia lit
  • [SPARK-47633] [SC-163453][SQL] Uwzględnij dane wyjściowe planu po prawej stronie, LateralJoin#allAttributes aby uzyskać bardziej spójną kanonizację
  • [SPARK-47909] Przywróć klasę "[PYTHON][CONNECT] Nadrzędna ramka danych f...
  • [SPARK-47767] [SC-163096][SQL] Pokaż wartość przesunięcia w pliku TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][SQL] Uniemożliwianie skrótów wyrażeń skrótu przy użyciu skrótu typu danych wariantu
  • [SPARK-47490] [SC-160494][SS] Naprawiono użycie konstruktora rejestratora bazy danych RocksDB, aby uniknąć ostrzeżenia o wycofaniu
  • [SPARK-47417] Przywróć obsługę sortowania "[SC-162872][SQL] Obsługa sortowania: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
  • [SPARK-47352] [SC-163460][SQL] Poprawka rozpoznawania sortowania Upper, Lower, InitCap
  • [SPARK-47909] [PYTHON][CONNECT] Nadrzędna klasa ramki danych dla platformy Spark Connect i klasycznej platformy Spark
  • [SPARK-47417] [SC-162872][SQL] Obsługa sortowania: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 15.3.

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black (czarny) 23.3.0 kierunkowskaz 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknięcie 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
konturowy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 distlib 0.3.8
punkty wejścia 0,4 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
stan obiektu grpcio 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
więcej itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 opakowanie 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Poduszka 9.4.0 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
żądania 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Sześć 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 Wytrzymałość 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlety 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
koło 0.38.4 zipp 3.11.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports (backports) 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitowe 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 rozruch 1.3-28
warzyć 1.0-10 Brio 1.1.4 miotła 1.0.5
bslib 0.6.1 cachem 1.0.8 obiekt wywołujący 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
zegar 0.7.0 cluster 2.1.4 codetools 0.2-19
przestrzeń kolorów 2.1-0 commonmark 1.9.1 — kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
kredka 1.5.2 poświadczenia 2.0.1 lok 5.2.0
data.table 1.15.0 usługi Power BI 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 trawić 0.6.34
downlit (wyłączony) 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 wielokropek 0.3.2 evaluate 0.23
fani 1.0.6 farver 2.1.1 szybka mapa 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
zagraniczny 0.8-85 kuźnia 0.2.0 Fs 1.6.3
przyszłość 1.33.1 future.apply 1.11.1 płukać gardło 1.5.2
Generyczne 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globalna 0.16.2 klej 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 siatka 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 przystań 2.5.4
wysoki 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Identyfikatory 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 soicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Etykietowania 0.4.3
później 1.3.2 krata 0.21-8 lawa 1.7.3
cykl życia 1.0.4 nasłuchiwanie 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASA 7.3-60
Macierz 1.5-4.1 zapamiętywanie 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0,12 miniUI 0.1.1.1
mlflow 2.10.0 Metryki modelu 1.2.2.2 modeler 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
równolegle 1.36.0 filar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 pochwała 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Postęp 1.2.3
progressr 0.14.0 Obietnice 1.2.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 z możliwością reagowania 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
przepisy 1.0.9 rewanż 2.0.0 rewanż2 2.1.2
Piloty 2.4.2.1 reprex 2.1.0 zmień kształt2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions (rversions) 2.1.2 rvest 1.0.3 Sass 0.4.8
waga 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
kształt 1.4.6 błyszczący 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 przestrzenny 7.3-15 Splajnów 4.3.2
sqldf 0.4-11 KWADRAT 2021.1 Statystyki 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
przetrwanie 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 zmiana czasu 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 narzędzia 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 wąs 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
gorliwość 0.1.0 zamek 2.3.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-klej 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina kofeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics serwlety metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transport netto 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format strzałki 15.0.0
org.apache.arrow strzałka-pamięć-rdzeń 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow wektor strzałki 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc podkładki orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections kolekcje eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket —wspólne 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Podkładki 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1