Udostępnij za pośrednictwem

Databricks Runtime 15.2

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 15.2 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w maju 2024 r.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Zmiany zachowań

Opróżnianie czyści pliki metadanych COPY INTO

Uruchomienie funkcji VACUUM w tabeli napisanej COPY INTO za pomocą polecenia umożliwia teraz czyszczenie niereferenowanych metadanych skojarzonych ze śledzeniem pozyskanych plików. Nie ma wpływu na semantykę operacyjną programu COPY INTO.

Federacja lakehouse jest ogólnie dostępna (GA)

W środowisku Databricks Runtime 15.2 lub nowszym łączniki federacyjne usługi Lakehouse w następujących typach baz danych są ogólnie dostępne (ogólna dostępność):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

W tej wersji wprowadzono również następujące ulepszenia:

  • Obsługa uwierzytelniania logowania jednokrotnego (SSO) w łącznikach snowflake i Microsoft SQL Server .

  • Obsługa usługi Azure Private Link dla łącznika programu SQL Server z bezserwerowych środowisk obliczeniowych. Zobacz Krok 3. Tworzenie reguł prywatnego punktu końcowego.

  • Obsługa dodatkowych wypychania (ciąg, matematyka i różne funkcje).

  • Ulepszony współczynnik powodzenia wypychania w różnych kształtach zapytań.

  • Dodatkowe możliwości debugowania wypychania:

    • W EXPLAIN FORMATTED danych wyjściowych zostanie wyświetlony tekst zapytania wypchniętego.
    • Interfejs użytkownika profilu zapytania wyświetla tekst zapytania wypychanego, identyfikatory węzłów federacyjnych i czas wykonywania zapytań JDBC (w trybie pełnym). Zobacz Wyświetlanie zapytań federacyjnych generowanych przez system.

BY POSITION w przypadku mapowania kolumn przy użyciu plików COPY INTO CSV bez nagłówka

W środowisku Databricks Runtime 15.2 lub nowszym można użyć BY POSITION słów kluczowych (lub alternatywnej składni ( col_name [ , <col_name> ... ] )) z plikami COPY INTO CSV bez nagłówka, aby uprościć mapowanie kolumny źródłowej na docelową kolumnę tabeli. Zobacz Parametry.

Zmniejsz zużycie pamięci, gdy zadania platformy Spark kończą się niepowodzeniem z powodu błędu Resubmitted

W środowisku Databricks Runtime 15.2 lub nowszym zwracana wartość metody Spark TaskInfo.accumulables() jest pusta, gdy zadania kończą się niepowodzeniem Resubmitted z powodu błędu. Wcześniej metoda zwróciła wartości wcześniejszej pomyślnej próby wykonania zadania. Ta zmiana zachowania ma wpływ na następujących użytkowników:

  • Zadania platformy Spark korzystające z EventLoggingListener klasy .
  • Niestandardowe odbiorniki platformy Spark.

Aby przywrócić poprzednie zachowanie, ustaw wartość spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled false.

Wyświetlanie wersji planu wykonywania zapytań adaptacyjnych jest wyłączone

Aby zmniejszyć zużycie pamięci, wersje planu adaptacyjnego wykonywania zapytań (AQE) są domyślnie wyłączone w interfejsie użytkownika platformy Spark. Aby włączyć wyświetlanie wersji planu AQE w interfejsie użytkownika platformy Spark, ustaw wartość spark.databricks.sql.aqe.showPlanChangesInUI.enabled true.

Ograniczenie liczby zachowanych zapytań zmniejsza się w celu zmniejszenia użycia pamięci interfejsu użytkownika platformy Spark

W środowisku Databricks Runtime 15.2 lub nowszym, aby zmniejszyć ilość pamięci zużywanej przez interfejs użytkownika platformy Spark w obliczeniach usługi Azure Databricks, limit liczby zapytań widocznych w interfejsie użytkownika jest niższy z zakresu od 1000 do 100. Aby zmienić limit, ustaw nową wartość przy użyciu konfiguracji platformy spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY Teraz pokazuje kolumny klastrowania dla tabel korzystających z klastrowania płynnego

Po uruchomieniu zapytania kolumna DESCRIBE HISTORY operationParameters domyślnie wyświetla clusterBy pole dla CREATE OR REPLACE operacji i OPTIMIZE . W przypadku tabeli delty używającej płynnego klastrowania clusterBy pole jest wypełniane kolumnami klastrowania tabeli. Jeśli tabela nie używa klastrowania płynnego, pole jest puste.

Nowe funkcje i ulepszenia

Obsługa kluczy podstawowych i obcych jest ogólnie dostępna

Obsługa kluczy podstawowych i obcych w środowisku Databricks Runtime jest ogólnie dostępna. Wersja ogólnie dostępna zawiera następujące zmiany uprawnień wymaganych do używania kluczy podstawowych i obcych:

  • Aby zdefiniować klucz obcy, musisz mieć SELECT uprawnienia do tabeli z kluczem podstawowym, do którego odwołuje się klucz obcy. Nie musisz być właścicielem tabeli z kluczem podstawowym, który był wcześniej wymagany.
  • Usunięcie klucza podstawowego przy użyciu klauzuli CASCADE nie wymaga uprawnień w tabelach, które definiują klucze obce odwołujące się do klucza podstawowego. Wcześniej trzeba było posiadać tabele odwołujące się do elementu .
  • Usunięcie tabeli zawierającej ograniczenia wymaga teraz tych samych uprawnień, co porzucanie tabel, które nie zawierają ograniczeń.

Aby dowiedzieć się, jak używać kluczy podstawowych i obcych z tabelami lub widokami, zobacz klauzulę CONSTRAINT, klauzulę ADD CONSTRAINT i klauzulę DROP CONSTRAINT.

Klastrowanie liquid jest ogólnie dostępne

Obsługa klastrowania liquid jest teraz ogólnie dostępna przy użyciu środowiska Databricks Runtime 15.2 lub nowszego. Zobacz Użyj płynnego klastrowania dla tabel typu Delta).

Rozszerzanie typu jest w publicznej wersji zapoznawczej

Teraz można włączyć rozszerzanie typów w tabelach wspieranych przez usługę Delta Lake. Tabele z włączonym rozszerzaniem typu umożliwiają zmianę typu kolumn na szerszy typ danych bez ponownego zapisywania bazowych plików danych. Zobacz Rozszerzanie typu.

Klauzula ewolucji schematu dodana do składni scalania SQL

Teraz możesz dodać klauzulę WITH SCHEMA EVOLUTION do instrukcji scalania SQL, aby umożliwić ewolucję schematu dla operacji. Zobacz Składnia ewolucji schematu, aby scalić.

Niestandardowe źródła danych PySpark są dostępne w publicznej wersji zapoznawczej

Źródło danych PySpark można utworzyć przy użyciu interfejsu API źródła danych języka Python (PySpark), który umożliwia odczytywanie z niestandardowych źródeł danych i zapisywanie w niestandardowych ujściach danych na platformie Apache Spark przy użyciu języka Python. Zobacz niestandardowe źródła danych PySpark

applyInPandas i mapInPandas są teraz dostępne w obliczeniach wykazu aparatu Unity z trybem dostępu współdzielonego

W ramach wydania applyInPandas konserwacji środowiska Databricks Runtime 14.3 LTS typy mapInPandas funkcji zdefiniowanej przez użytkownika są teraz obsługiwane w środowisku obliczeniowym trybu dostępu współdzielonego z uruchomionym środowiskiem Databricks Runtime 14.3 lub nowszym.

Użyj polecenia dbutils.widgets.getAll(), aby pobrać wszystkie widżety w notesie

Użyj polecenia dbutils.widgets.getAll() , aby pobrać wszystkie wartości widżetu w notesie. Jest to szczególnie przydatne podczas przekazywania wielu wartości widżetów do zapytania Spark SQL.

Obsługa spisu próżni

Teraz można określić spis plików do rozważenia podczas uruchamiania VACUUM polecenia w tabeli delty. Zobacz dokumentację funkcji delta systemu operacyjnego.

Obsługa funkcji kompresji Zstandard

Teraz można używać funkcji zst_compress, zstd_decompress i try_zstd_decompress do kompresowania i dekompresowania BINARY danych.

Poprawki błędów

Plany zapytań w interfejsie użytkownika SQL są teraz poprawnie wyświetlane PhotonWriteStage

Po wyświetleniu w interfejsie użytkownika write SQL polecenia w planach zapytań niepoprawnie wyświetlane PhotonWriteStage jako operator. W tej wersji interfejs użytkownika jest aktualizowany tak, aby był wyświetlany PhotonWriteStage jako etap. Jest to tylko zmiana interfejsu użytkownika i nie ma wpływu na sposób uruchamiania zapytań.

Ray został zaktualizowany w celu rozwiązania problemów z uruchamianiem klastrów Ray

Ta wersja zawiera poprawioną wersję raya, która naprawia niezgodność, która uniemożliwia klastrom Ray rozpoczęcie od środowiska Databricks Runtime dla usługi Machine Learning. Ta zmiana gwarantuje, że funkcja Ray jest identyczna z wersjami środowiska Databricks Runtime wcześniejszych niż 15.2.

Elementy GraphFrame są aktualizowane w celu naprawienia nieprawidłowych wyników za pomocą platformy Spark 3.5

Ta wersja zawiera aktualizację pakietu GraphFrames w celu rozwiązania problemów, które powodują nieprawidłowe wyniki dla niektórych algorytmów z elementami GraphFrames i Spark 3.5.

Poprawiono klasę błędów dla DataFrame.sort() funkcji i DataFrame.sortWithinPartitions()

Ta wersja zawiera aktualizację PySpark DataFrame.sort() i DataFrame.sortWithinPartitions() funkcje, aby upewnić się, że ZERO_INDEX klasa błędów jest zgłaszana podczas 0 przekazywania jako argument indeksu. Wcześniej została wyrzucona klasa INDEX_NOT_POSITIVE błędów.

Ipywidgets jest obniżany z wersji 8.0.4 do 7.7.2

Aby naprawić błędy wprowadzone przez uaktualnienie plików ipywidgets do wersji 8.0.4 w środowisku Databricks Runtime 15.0, funkcja ipywidgets została obniżona do wersji 7.7.2 w środowisku Databricks Runtime 15.2. Jest to ta sama wersja uwzględniona w poprzednich wersjach środowiska Databricks Runtime.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • GitPython z wersji 3.1.42 do 3.1.43
    • google-api-core z wersji 2.17.1 do 2.18.0
    • google-auth z wersji 2.28.1 do 2.29.0
    • google-cloud-storage z wersji 2.15.0 do 2.16.0
    • googleapis-common-protos z 1.62.0 do 1.63.0
    • ipywidgets z 8.0.4 do 7.7.2
    • mlflow-skinny z 2.11.1 do 2.11.3
    • s3transfer z 0.10.0 do 0.10.1
    • sqlparse z 0.4.4 do 0.5.0
    • typing_extensions z wersji 4.7.1 do 4.10.0
  • Uaktualnione biblioteki języka R:
  • Uaktualnione biblioteki Java:
    • com.amazonaws.aws-java-sdk-autoscaling z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.390 to 1.12.610 (com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.390 to 1.12.610)
    • com.amazonaws.aws-java-sdk-codedeploy z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-config z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-core z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directory z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ecs z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-efs z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-emr z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glacier od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glue z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-iam od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-importexport z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kms od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-lambda z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-logs z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610 (com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610)
    • com.amazonaws.aws-java-sdk-opsworks z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-rds z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-redshift z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-route53 z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-s3 z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ses z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sns z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sqs z 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ssm z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sts z wersji 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-support from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces z wersji 1.12.390 do 1.12.610
    • com.amazonaws.jmespath-java od 1.12.390 do 1.12.610

Apache Spark

Środowisko Databricks Runtime 15.2 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 15.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-47941] [SC-163568] [SS] [Połącz] Propagacja błędów inicjowania procesu roboczego ForeachBatch dla użytkowników programu PySpark
  • [SPARK-47412] [SC-163455][SQL] Dodano obsługę sortowania dla LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Umieść huk pod konfiguracją
  • [SPARK-46820] [SC-157093][PYTHON] Naprawianie regresji komunikatów o błędach przez przywrócenie new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Menedżerowie zasobów Core/MLLib/Resource Manager: migracja rejestrowania ze strukturą
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Dodawanie funkcji wariantów do języków Scala i Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Dodawanie Environment strony do głównego interfejsu użytkownika
  • [SPARK-47805] [SC-163459][SS] Implementowanie czasu wygaśnięcia dla mapstate
  • [SPARK-47900] [SC-163326] Naprawianie sprawdzania sortowania niejawnego (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Składanie wyrażeń Obliczanie bieżącego czasu*
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Obsługa typu kolumny w funkcji podziału dla języka scala i python
  • [SPARK-47754] [SC-162144][SQL] Postgres: obsługa odczytywania tablic wielowymiarowych
  • [SPARK-47416] [SC-163001][SQL] Dodawanie nowych funkcji do aplikacji CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Naprawiono usterkę agregacji w rewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementowanie wyrażenia is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Z opóźnieniem za CollectTailExec.doExecute pomocą kolejki wierszy
  • [SPARK-47390] [SC-163306][SQL] Narzędzie PostgresDialect odróżnia znacznik czasu od TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Dodawanie dziennika DEBUGowania do DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Poprawka regresji wydajności zestawu wyrażeń w skali 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Odporność puli procesów roboczych PySpark
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Upewnij się, że pyspark.resource jest zgodny z pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Usuń nieużywany import spark/connect/common.proto z spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Zapewnienie zgodności pyspark.worker_utils z programem pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: obsługa tablicy wielowymiarowej po stronie zapisu
  • [SPARK-47617] [SC-162513][SQL] Dodawanie infrastruktury testowania TPC-DS do sortowania
  • [SPARK-47356] [SC-162858][SQL] Dodano obsługę funkcji ConcatWs & Elt (wszystkie sortowania)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Biblioteki Pandas w celu umożliwienia tworzenia ramki danych
  • [SPARK-47863] [SC-162974][SQL] Poprawka startWith & endsWith implementacja z obsługą sortowania dla ICU
  • [SPARK-47867] [SC-162966][SQL] Obsługa wariantu w skanowaniu JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Dodawanie wariantuval dla programu PySpark
  • [SPARK-47803] [SC-162726][SQL] Obsługa rzutowania na wariant.
  • [SPARK-47769] [SC-162841][SQL] Dodaj wyrażenie schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Naprawianie danych wyjściowych testu
  • [SPARK-47430] [SC-161178][SQL] Obsługa funkcji GROUP BY dla mapType
  • [SPARK-47357] [SC-162751][SQL] Dodano obsługę funkcji Upper, Lower, InitCap (wszystkie sortowania)
  • [SPARK-47788] [SC-162729][SS] Upewnij się, że to samo partycjonowanie skrótów dla operacji stanowych przesyłania strumieniowego
  • [SPARK-47776] [SC-162291][SS] Nie zezwalaj na sortowanie nierówności binarnych w kluczowym schemacie operatora stanowego
  • [SPARK-47673] [SC-162824][SS] Implementowanie czasu wygaśnięcia dla elementu ListState
  • [SPARK-47818] [SC-162845][CONNECT] Wprowadzenie pamięci podręcznej planu w rozwiązaniu SparkConnectPlanner w celu zwiększenia wydajności funkcji Analizuj żądania
  • [SPARK-47694] [SC-162783][CONNECT] Ustawianie maksymalnego rozmiaru komunikatu konfigurowalnego po stronie klienta
  • [SPARK-47274] Przywróć "[SC-162479][PYTHON][SQL] Podaj więcej funkcji użycia...
  • [SPARK-47616] [SC-161193][SQL] Dodawanie dokumentu użytkownika do mapowania typów danych Spark SQL z bazy danych MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Naprawianie generowania plików proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Zmienianie skryptu wydania w celu wydania programu pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Refaktoryzacja utF8String i collationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Ustaw pyspark.ml zgodną z programem pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Specjalna obsługa typu JSON dla łącznika MySQL/J 5.x
  • [SPARK-47765] Przywróć "[SC-162636][SQL] Dodaj SORTOWANIE ZESTAWU do analizowania...
  • [SPARK-47081] [SC-162151][CONNECT][OBSERWUJ] Poprawa użyteczności programu obsługi postępu
  • [SPARK-47289] [SC-161877][SQL] Zezwalaj rozszerzeń na rejestrowanie rozszerzonych informacji w planie wyjaśnień
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Zapewnianie bardziej przydatnego kontekstu błędów interfejsu API ramki danych PySpark
  • [SPARK-47765] [SC-162636][SQL] Dodawanie sortowania SET do reguł analizatora
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite niepowodzenie z nieprawidłowym planem
  • [SPARK-47812] [SC-162696][CONNECT] Obsługa serializacji platformy SparkSession dla procesu roboczego ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Zezwalaj na zatrzymanie usługi LiveEventBus bez całkowitego opróżniania kolejki zdarzeń
  • [SPARK-47827] [SC-162625][PYTHON] Brakujące ostrzeżenia dotyczące przestarzałych funkcji
  • [SPARK-47733] [SC-162628][SS] Dodawanie metryk niestandardowych dla operatora transformWithState — część postępu zapytania
  • [SPARK-47784] [SC-162623][SS] Scal TTLMode i TimeoutMode w jeden tryb timemode.
  • [SPARK-47775] [SC-162319][SQL] Obsługa pozostałych typów skalarnych w specyfikacji wariantu.
  • [SPARK-47736] [SC-162503][SQL] Dodano obsługę elementu AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Obsługa postępu wykonywania zapytań
  • [SPARK-47682] [SC-162138][SQL] Obsługa rzutu z wariantu.
  • [SPARK-47802] [SC-162478][SQL] Przywróć () ze znaczeniastruct() z powrotem do znaczenia *
  • [SPARK-47680] [SC-162318][SQL] Dodaj wyrażenie variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression powinien sprawdzić błąd dla każdego trybu generowania kodu
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementowanie SQLStringFormatter za pomocą polecenia WithRelations
  • [SPARK-47693] [SC-162326][SQL] Dodawanie optymalizacji dla małego porównania utF8String używanego w sortowaniu UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Sortowanie ciągów w złożonych typach obsługujących operacje odwrotne, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Tworzenie mapInPandas/mapInArrow obsługi elementu ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Ustaw platformę SparkConf na poziom główny na zarówno dla platform SparkSession, jak i SparkContext
  • [SPARK-47406] [SC-159376][SQL] Obsługa ZNACZNIKA CZASU i DATY/GODZINY w narzędziu MYSQLDialect
  • [SPARK-47081] Przywróć polecenie "[SC-161758][CONNECT] Support Query Executi...
  • [SPARK-47681] [SC-162043][SQL] Dodaj wyrażenie schema_of_variant.
  • [SPARK-47783] [SC-162222] Dodaj niektóre brakujące dane SQLSTATEs, aby wyczyścić YY000, aby użyć...
  • [SPARK-47634] [SC-161558][SQL] Dodawanie starszej obsługi wyłączania normalizacji klucza mapy
  • [SPARK-47746] [SC-162022] Implementowanie kodowania zakresu opartego na porządkowi w elemencoderze RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] Element AdaptiveSparkPlanExec powinien zawsze używać kontekstu.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Dodawanie testu pyspark dla źródła przesyłania strumieniowego języka Python
  • [SPARK-47582] [SC-161943][SQL] Migrowanie informacji logInfo narzędzia Catalyst ze zmiennymi do struktury rejestrowania strukturalnego
  • [SPARK-47558] [SC-162007][SS] Obsługa czasu wygaśnięcia stanu dla wartości ValueState
  • [SPARK-47358] [SC-160912][SQL][SORTOWANIE] Ulepszanie obsługi wyrażeń powtórzeń w celu zwrócenia poprawnego typu danych
  • [SPARK-47504] [SC-162044][SQL] Rozwiązywanie problemów z parametrem AbstractDataType simpleStrings dla parametru StringTypeCollated
  • [SPARK-47719] Przywróć "[SC-161909][SQL] Zmień spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Implementowanie obsługi wypychania filtru sortowania dla źródła plików
  • [SPARK-47081] [SC-161758][CONNECT] Obsługa postępu wykonywania zapytań
  • [SPARK-47744] [SC-161999] Dodano obsługę bajtów ujemnych w koderze zakresu
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Naprawianie błędu samosprzężenia
  • [SPARK-47310] [SC-161930][SS] Dodawanie mikro-testu porównawczego dla operacji scalania dla wielu wartości w części magazynu stanów
  • [SPARK-47700] [SC-161774][SQL] Naprawianie formatowania komunikatów o błędach za pomocą treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Upewnij się, że pyspark.pandas jest zgodny z pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementowanie interfejsu API logWarning/logInfo w strukturze rejestrowania strukturalnego
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementowanie czytnika partycji dla źródła danych przesyłania strumieniowego języka Python
  • [SPARK-47553] [SC-161772][SS] Dodawanie obsługi języka Java dla interfejsów API operatorów transformWithState
  • [SPARK-47719] [SC-161909][SQL] Zmień wartość domyślną spark.sql.legacy.timeParserPolicy na POPRAWIONE
  • [SPARK-47655] [SC-161761][SS] Integrowanie czasomierza z obsługą stanu początkowego dla stanu state-v2
  • [SPARK-47665] [SC-161550][SQL] Używanie programu SMALLINT do zapisywania parametru ShortType w usłudze MYSQL
  • [SPARK-47210] [SC-161777][SQL] Dodawanie niejawnego rzutowania bez nieokreślonej obsługi
  • [SPARK-47653] [SC-161767][SS] Dodano obsługę ujemnych typów liczbowych i kodera klucza skanowania zakresu
  • [SPARK-46743] [SC-160777][SQL] Licz usterkę po stałym składaniu
  • [SPARK-47525] [SC-154568][SQL] Obsługa dołączania korelacji podzapytania w atrybutach mapy
  • [SPARK-46366] [SC-151277][SQL] Użyj wyrażenia WITH w funkcji BETWEEN, aby uniknąć zduplikowanych wyrażeń
  • [SPARK-47563] [SC-161183][SQL] Dodawanie normalizacji mapy podczas tworzenia
  • [SPARK-42040] [SC-161171][SQL] SPJ: Wprowadzenie nowego interfejsu API dla partycji wejściowej w wersji 2 w celu raportowania statystyk partycji
  • [SPARK-47679] [SC-161549][SQL] Używanie HiveConf.getConfVars nazw konfikcyjnych programu Hive bezpośrednio
  • [SPARK-47685] [SC-161566][SQL] Przywracanie obsługi typu Stream in Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Ustaw try_to_number zwracać wartość NULL dla źle sformułowanych danych wejściowych
  • [SPARK-47366] [SC-161324][PYTHON] Dodawanie elementu pyspark i ramki danych parse_json aliasów
  • [SPARK-47491] [SC-161176][CORE] Dodaj slf4j-api plik jar do ścieżki klasy najpierw przed pozostałymi katalogami jars
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projects CommandResults lokalnie
  • [SPARK-47364] [SC-158927][CORE] Ostrzegaj PluginEndpoint , gdy wtyczki odpowiadają za jednokierunkową wiadomość
  • [SPARK-47280] [SC-158350][SQL] Usuwanie ograniczenia strefy czasowej DLA SYGNATURY CZASOWEJ ORACLE ZE STREFĄ CZASOWĄ
  • [SPARK-47551] [SC-161542][SQL] Dodaj wyrażenie variant_get.
  • [SPARK-47559] [SC-161255][SQL] Obsługa generowania kodu dla wariantu parse_json
  • [SPARK-47572] [SC-161351][SQL] Wymuszanie partycji oknaSpec jest możliwe do uporządkowania.
  • [SPARK-47546] [SC-161241][SQL] Ulepszanie walidacji podczas odczytywania wariantu z Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Wnioskowanie dict jako MapType z ramki danych Biblioteki Pandas w celu umożliwienia tworzenia ramki danych
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Tworzenie kolumny z sortowaniami w interfejsie API ramki danych
  • [SPARK-47641] [SC-161376][SQL] Zwiększanie wydajności i UnaryMinusAbs
  • [SPARK-47631] [SC-161325][SQL] Usuń nieużywaną SQLConf.parquetOutputCommitterClass metodę
  • [SPARK-47674] [SC-161504][CORE] Włącz spark.metrics.appStatusSource.enabled domyślnie
  • [SPARK-47273] [SC-161162][SS][PYTHON] implementowanie interfejsu modułu zapisywania strumienia danych języka Python.
  • [SPARK-47637] [SC-161408][SQL] Używanie elementu errorCapturingIdentifier w więcej miejscach
  • [SPARK-47497] Przywróć "Przywróć "[SC-160724][SQL] Make to_csv obsługiwać dane wyjściowe tablicy/struktury/mapy/binarne jako dość ciągi""
  • [SPARK-47492] [SC-161316][SQL] Poszerzanie reguł odstępów w leksykarze
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Weryfikowanie nazwy kolumny przy użyciu buforowanego schematu
  • [SPARK-47638] [SC-161339][PS][CONNECT] Pomiń walidację nazwy kolumny w programie PS
  • [SPARK-47363] [SC-161247][SS] Początkowy stan bez implementacji czytnika stanu dla interfejsu API stanu w wersji 2.
  • [SPARK-47447] [SC-160448][SQL] Zezwalaj na odczytywanie elementu Parquet TimestampLTZ jako timestampNTZ
  • [SPARK-47497] Przywróć "[SC-160724][SQL] Ustaw to_csv obsługę danych wyjściowych array/struct/map/binary jako ciągów ładnych"
  • [SPARK-47434] [SC-160122][WEBUI] Naprawianie statistics linku w StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Ciągi cytowane w ścieżce JSON powinny obsługiwać ? znaki
  • [SPARK-46915] [SC-155729][SQL] Uprość i wyrównaj UnaryMinus Abs klasę błędów
  • [SPARK-47431] [SC-160919][SQL] Dodawanie domyślnego sortowania na poziomie sesji
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Dodawanie funkcji pomocniczej w celu sortowania kolumn
  • [SPARK-47570] [SC-161165][SS] Integrowanie zmian kodera skanowania zakresu z implementacją czasomierza
  • [SPARK-47497] [SC-160724][SQL] Obsługa to_csv danych wyjściowych jako ładnych array/struct/map/binary ciągów
  • [SPARK-47562] [SC-161166][CONNECT] Obsługa literału czynnika poza plan.py
  • [SPARK-47509] [SC-160902][SQL] Blokuj wyrażenia podzapytania w funkcjach lambda i wyższych kolejności
  • [SPARK-47539] [SC-160750][SQL] Ustaw wartość zwracaną metody castToString na Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Dodano obsługę kodera stanu klucza opartego na zakresie do użycia z dostawcą magazynu stanów
  • [SPARK-47517] [SC-160642][CORE][SQL] Preferuj wyświetlanie rozmiaru Utils.bytesToString
  • [SPARK-47243] [SC-158059][SS] Popraw nazwę pakietu StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Obsługa źródeł danych języka Python za pomocą programu Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Używanie Utils.tryWithResource podczas odczytywania danych mieszania z magazynu zewnętrznego
  • [SPARK-47474] [SC-160522][CORE] Przywróć platformę SPARK-47461 i dodaj komentarze
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Unikaj wywołania procedury RPC, aby zweryfikować nazwę kolumny przy użyciu buforowanego schematu
  • [SPARK-47451] [SC-160749][SQL] Obsługa to_json(wariant).
  • [SPARK-47528] [SC-160727][SQL] Dodawanie obsługi userDefinedType do elementu DataTypeUtils.canWrite
  • [SPARK-44708] Przywróć element "[SC-160734][PYTHON] Migrate test_reset_index assert_eq to use assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][SQL] Dodawanie obsługi wszystkich formatów źródeł plików dla sortowanych typów danych
  • [SPARK-47256] [SC-160784][SQL] Przypisywanie nazw do klas błędów _LEGACY_ERROR_TEMP_102[4–7]
  • [SPARK-47495] [SC-160720][CORE] Napraw plik jar zasobu podstawowego dodany do pliku spark.jars dwa razy w trybie klastra k8s
  • [SPARK-47398] [SC-160572][SQL] Wyodrębnianie cech dla elementu InMemoryTableScanExec w celu umożliwienia rozszerzania funkcji
  • [SPARK-47479] [SC-160623][SQL] Optymalizowanie nie może zapisywać danych w relacjach z wieloma ścieżkami dziennika błędów
  • [SPARK-47483] [SC-160629][SQL] Dodano obsługę operacji agregacji i sprzężenia na tablicach zestawionych ciągów
  • [SPARK-47458] [SC-160237][CORE] Rozwiązanie problemu z obliczaniem maksymalnej liczby zadań współbieżnych dla etapu bariery
  • [SPARK-47534] [SC-160737][SQL] Przenieś o.a.s.variant do o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Dodawanie ogólnego mapowania dla parametru TIME WITHOUT TIME ZONE do timestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migrowanie test_reset_index assert_eq do używania elementu assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Dodawanie testów wnioskowania schematu dla tagów wartości
  • [SPARK-47007] [SC-160630][SQL] MapSort Dodawanie wyrażenia
  • [SPARK-47523] [SC-160645][SQL] Zamień przestarzałe JsonParser#getCurrentName na JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Naprawiono wypychanie nieobsługiwanej składni do serwera MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Typ operacji tagu używany z pozyskiwaniem/wydawaniem wystąpienia magazynu stanów Bazy danych RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Konfigurowanie trybu demona podczas tworzenia procesów roboczych planisty języka Python
  • [SPARK-47446] [SC-160163][CORE] Ostrzegaj BlockManager przed removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Obsługa limitu w skorelowanych podzapytaniach, w których predykaty odwołują się tylko do tabeli zewnętrznej
  • [SPARK-47461] [SC-160297][CORE] Usuń funkcję prywatną totalRunningTasksPerResourceProfile z ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Obsługa ciągów sortowania w operacjach tablicowych
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Obsługa nazwy kolumny factor plan.py
  • [SPARK-47383] [SC-160144][CORE] Konfiguracja pomocy technicznej spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Przywracanie parametru "[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE"
  • [SPARK-47486] [SC-160491][CONNECT] Usuń nieużywaną metodę prywatną ArrowDeserializers.getString
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Logika klienta i serwera dla odbiornika zapytań przesyłania strumieniowego po stronie klienta
  • [SPARK-47487] [SC-160534][SQL] Uproszczenie kodu w ansiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Obsługa agregacji okien dla sortowania
  • [SPARK-47296] [SC-160457][SQL][SORTOWANIE] Nieobsługiwane funkcje nieobsługiwane w przypadku sortowania niebinarnego
  • [SPARK-47380] [SC-160164][CONNECT] Upewnij się, że po stronie serwera usługa SparkSession jest taka sama
  • [SPARK-47327] [SC-160069][SQL] Przenoszenie testu współbieżności kluczy sortowania do aplikacji CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Dodawanie dokumentu migracji w celu zmiany zachowania wnioskowania znacznika czasu Parquet od platformy Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Refaktoryzacja i dzielenie testów jednostkowych listy/czasomierza
  • [SPARK-46473] [SC-155663][SQL] Metoda ponownego użycia getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Sortowania — ustawianie obsługi operacji dla ciągów z sortowaniami
  • [SPARK-47439] [SC-160115][PYTHON] Dokumentowanie interfejsu API źródła danych języka Python na stronie dokumentacji interfejsu API
  • [SPARK-47457] [SC-160234][SQL] Poprawka IsolatedClientLoader.supportsHadoopShadedClient do obsługi platformy Hadoop 3.4 lub nowszej
  • [SPARK-47366] [SC-159348][SQL] Zaimplementuj parse_json.
  • [SPARK-46331] [SC-152982][SQL] Usuwanie elementu CodegenFallback z podzestawu wyrażeń DateTime i wyrażenia version()
  • [SPARK-47395] [SC-159404] Dodawanie sortowania i sortowania do innych interfejsów API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Poprawianie klasy błędów dla elementu DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Po stronie serwera SparkConnectListenerBusListener dla odbiornika zapytań przesyłania strumieniowego po stronie klienta
  • [SPARK-47324] [SC-158720][SQL] Dodawanie brakującej konwersji znacznika czasu dla typów zagnieżdżonych JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Dodawanie interfejsu dla interfejsu API źródła danych przesyłania strumieniowego języka Python i implementowanie procesu roboczego języka Python w celu uruchamiania źródła danych przesyłania strumieniowego języka Python
  • [SPARK-45827] [SC-158498][SQL] Przenoszenie kontroli typów danych do obiektu CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Obsługa sygnatury czasowej DLA ZNACZNIKA CZASU DB2 ZE STREFĄ CZASOWĄ
  • [SPARK-47399] [SC-159378][SQL] Wyłączanie wygenerowanych kolumn w wyrażeniach z sortowaniami
  • [SPARK-47146] [SC-158247][CORE] Możliwe przecieki wątków podczas sortowania scalania sprzężenia
  • [SPARK-46913] [SC-159149][SS] Dodano obsługę czasomierzy opartych na czasie przetwarzania/zdarzenia za pomocą operatora transformWithState
  • [SPARK-47375] [SC-159063][SQL] Dodawanie wytycznych dotyczących mapowania znacznika czasu w programie JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Obsługa ZNACZNIKA CZASU ZE STREFĄ CZASOWĄ dla H2Dialect
  • [SPARK-45827] Przywróć polecenie "[SC-158498][SQL] Przenieś kontrole typów danych do ...
  • [SPARK-47208] [SC-159279][CORE] Zezwalaj na zastępowanie pamięci narzutowej bazy
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Obsługa SYGNATURY CZASOWEJ Oracle Z LOKALNĄ STREFĄ CZASOWĄ
  • [SPARK-47055] [SC-156916][PYTHON] Uaktualnianie oprogramowania MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Dodawanie sprawdzania zmiany operatora stanowego dla przesyłania strumieniowego
  • [SPARK-47391] [SC-159283][SQL] Usuwanie obejścia przypadku testowego dla zestawu JDK 8
  • [SPARK-47272] [SC-158960][SS] Dodaj implementację MapState dla interfejsu API stanu w wersji 2.
  • [SPARK-47375] [SC-159278][Doc][Kontynuacja] Naprawienie błędu w kodzie preferowanej opcji JDBCTimestampNTZ
  • [SPARK-42328] [SC-157363][SQL] Usuwanie _LEGACY_ERROR_TEMP_1175 z klas błędów
  • [SPARK-47375] [SC-159261][Doc][Kontynuacja] Popraw opis opcji preferTimestampNTZ w kodzie JDBC
  • [SPARK-47344] [SC-159146] Rozszerzanie błędu INVALID_IDENTIFIER poza przechwyceniem ciągu "-" w niekwotowanym identyfikatorze i naprawienie błędu "IS! NULL" i in.
  • [SPARK-47340] [SC-159039][SQL] Zmień wartość "collate" w polu StringType typename na małe litery
  • [SPARK-47087] [SC-157077][SQL] Zgłaszanie wyjątku platformy Spark z klasą błędów w sprawdzaniu wartości konfiguracji
  • [SPARK-47327] [SC-158824][SQL] Rozwiązano problem z bezpieczeństwem wątków w narzędziu ICU Collator
  • [SPARK-47082] [SC-157058][SQL] Naprawianie warunku błędu poza granicami
  • [SPARK-47331] [SC-158719][SS] Serializacja przy użyciu klas przypadków/pierwotnych/POJO opartych na koderze SQL dla interfejsu API dowolnego stanu w wersji 2.
  • [SPARK-47250] [SC-158840][SS] Dodawanie dodatkowych weryfikacji i zmian NERF dla dostawcy stanu bazy danych RocksDB i korzystanie z rodzin kolumn
  • [SPARK-47328] [SC-158745][SQL] Zmienianie nazwy sortowania UCS_BASIC na UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Pomoc techniczna spark.driver.timeout i DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Dodawanie dokumentu migracji: wnioskowanie typu TimestampNTZ w plikach Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Dodawanie testów jednostkowych wnioskowania schematu
  • [SPARK-47295] [SC-158850][SQL] Dodano funkcję ICU StringSearch dla startsWith funkcji i endsWith
  • [SPARK-47343] [SC-158851][SQL] Naprawianie elementu NPE, gdy sqlString wartość zmiennej jest ciągiem null w trybie natychmiastowym
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Korzystanie z protobuf zależności przechodniej
  • [SPARK-46795] [SC-154143][SQL] Zastąp UnsupportedOperationException element SparkUnsupportedOperationException w sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Synchronizowanie zależności PySpark w dokumentach i wymaganiach deweloperskich
  • [SPARK-47169] [SC-158848][SQL] Wyłączanie zasobnika dla kolumn sortowania
  • [SPARK-42332] [SC-153996][SQL] Zmiana wymagania na wyjątek SparkException w elem. ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Przenoszenie kontroli typów danych do obiektu CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Połącz] Zastąp polecenia relacjami w kilku testach w narzędziu SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Zastąp klasę błędów _LEGACY_ERROR_TEMP_2020 przez błąd wewnętrzny
  • [SPARK-47248] [SC-158494][SQL][SORTOWANIE] Ulepszona obsługa funkcji ciągów: zawiera
  • [SPARK-47334] [SC-158716][SQL] Ponowne withColumnRenamed użycie implementacji withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] Usługa DS w wersji 2 obsługuje wypychanie PERCENTILE_CONT i PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Dodano scala. Obsługa funkcji MatchError wewnątrz elementu QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Dodawanie typu pojedynczego wariantu dla języka Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Uaktualnianie wersji obrazu platformy Docker DB2 do wersji 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Sortowanie słowa kluczowego jako identyfikatora
  • [SPARK-46817] [SC-154196][CORE] Naprawianie spark-daemon.sh użycia przez dodanie decommission polecenia
  • [SPARK-46739] [SC-153553][SQL] Dodawanie klasy błędów UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Dodawanie flagi COLLATION_ENABLED konfiguracji
  • [SPARK-46774] [SC-153925][SQL][AVRO] Użyj pliku mapreduce.output.fileoutputformat.compress zamiast przestarzałych zadań zapisu mapred.output.compress
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: limit czasu, jeśli proces roboczy nie nawiązuje połączenia z powrotem.
  • [SPARK-46835] [SC-158355][SQL][Sortowania] Obsługa dołączania dla sortowania niebinarnego
  • [SPARK-47131] [SC-158154][SQL][SORTOWANIE] Obsługa funkcji string: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Rozważ typ wygenerowany przez element TimestampNTZConverter w pliku JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Pomijanie wyjątków języka Python, w których PySpark nie znajduje się w ścieżce języka Python
  • [SPARK-47319] [SC-158599][SQL] Ulepszanie obliczeń missingInput
  • [SPARK-47316] [SC-158606][SQL] Poprawka timestampNTZ w tablicy postgres
  • [SPARK-47268] [SC-158158][SQL][Sortowania] Obsługa ponownego partycjonowania z sortowaniami
  • [SPARK-47191] [SC-157831][SQL] Unikaj niepotrzebnego wyszukiwania relacji w przypadku wyrejeszczania tabeli/widoku
  • [SPARK-47168] [SC-158257][SQL] Wyłącz wypychanie filtru parquet podczas pracy z nie domyślnymi ciągami sortowania
  • [SPARK-47236] [SC-158015][CORE] Poprawka deleteRecursivelyUsingJavaIO pomijania nieistnienych danych wejściowych pliku
  • [SPARK-47238] [SC-158466][SQL] Zmniejszenie użycia pamięci funkcji wykonawczej przez utworzenie wygenerowanego kodu w WSCG jako zmiennej emisji
  • [SPARK-47249] [SC-158133][CONNECT] Usunięto usterkę polegającą na tym, że wszystkie wykonania połączenia są uznawane za porzucone niezależnie od ich rzeczywistego stanu
  • [SPARK-47202] [SC-157828][PYTHON] Poprawiono niezgodność daty/godziny literówki za pomocą polecenia tzinfo
  • [SPARK-46834] [SC-158139][SQL][Sortowania] Obsługa agregacji
  • [SPARK-47277] [SC-158351][3.5] Funkcja PySpark util assertDataFrameEqual nie powinna obsługiwać przesyłania strumieniowego systemu plików DF
  • [SPARK-47155] [SC-158473][PYTHON] Rozwiązywanie problemu z klasą błędów
  • [SPARK-47245] [SC-158163][SQL] Ulepszanie kodu błędu dla INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Dodaj ostrzeżenie po Dependency utworzeniu zbyt dużej liczby bloków mieszania.
  • [SPARK-47277] [SC-158329] Funkcja assertDataFrameEqual funkcji PySpark nie powinna obsługiwać przesyłania strumieniowego systemu plików DF
  • [SPARK-47293] [SC-158356][CORE] Skompiluj partięSchema za pomocą sparkSchema zamiast dołączać pojedynczo
  • [SPARK-46732] [SC-153517][CONNECT]Tworzenie podzapytania/emisji wątku pracy z zarządzaniem artefaktami programu Connect
  • [SPARK-44746] [SC-158332][PYTHON] Dodawanie dodatkowej dokumentacji udTF języka Python dla funkcji, które akceptują tabele wejściowe
  • [SPARK-47120] [SC-157517][SQL] Porównanie wartości null — wypychanie filtru danych z podzapytania w trybie NPE w filtrze Parquet
  • [SPARK-47251] [SC-158291][PYTHON] Blokuj nieprawidłowe typy z argumentu args dla sql polecenia
  • [SPARK-47251] Przywróć "[SC-158121][PYTHON] Blokuj nieprawidłowe typy z argumentu args polecenia sql "
  • [SPARK-47015] [SC-157900][SQL] Wyłączanie partycjonowania w kolumnach sortowania
  • [SPARK-46846] [SC-154308][CORE] Jawne rozszerzanie WorkerResourceInfo Serializable
  • [SPARK-46641] [SC-156314][SS] Dodawanie progu maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner udostępnianie funkcji wewnętrznych jako prywatnych
  • [SPARK-47266] [SC-158146][CONNECT] Wprowadź ProtoUtils.abbreviate ten sam typ co dane wejściowe
  • [SPARK-46961] [SC-158183][SS] Używanie obiektu ProcessorContext do przechowywania i pobierania uchwytu
  • [SPARK-46862] [SC-154548][SQL] Wyłączanie oczyszczania kolumn CSV w trybie wielowierszowym
  • [SPARK-46950] [SC-155803][CORE][SQL] Wyrównaj not available codec klasę błędów
  • [SPARK-46368] [SC-153236][CORE] Obsługa readyz interfejsu API przesyłania REST
  • [SPARK-46806] [SC-154108][PYTHON] Poprawianie komunikatu o błędzie dla tabeli spark.table, gdy typ argumentu jest nieprawidłowy
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Naprawiono ignorowane sortowanie ciągów programu PySpark Connect
  • [SPARK-46552] [SC-151366][SQL] Zastąp UnsupportedOperationException element SparkUnsupportedOperationException w catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Naprawiono błąd konwersji ciągów sortowania PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Naprawiono błąd sortowania programu Spark Connect, dodając pole collateId protobuf
  • [SPARK-46575] [SC-153200][SQL][HIVE] Wykonaj ponowną próbę programu HiveThriftServer2.startWithContext DevelopApi i napraw flakiness elementu ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] W elemecie ResourceProfileManager wywołania funkcji powinny występować po deklaracjach zmiennych
  • [SPARK-47214] [SC-157862][Python] Tworzenie interfejsu API UDTF dla metody "analyze" w celu odróżnienia stałych argumentów NULL i innych typów argumentów
  • [SPARK-46766] [SC-153909][SQL][AVRO] Obsługa puli ZSTD dla źródła danych AVRO
  • [SPARK-47192] [SC-157819] Konwertowanie niektórych błędów _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Dodano obsługę elementu ListState w interfejsie API dowolnego stanu w wersji 2.
  • [SPARK-46881] [SC-154612][CORE] Wsparcie spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Wsparcie spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Naprawiono usterkę, która używa niepoprawnego kodera kompresji parquet lz4raw
  • [SPARK-46791] [SC-154018][SQL] Obsługa zestawu Java Set w elemencie JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migrowanie CatalogNotFoundException do klasy błędów CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Ustaw wartość domyślną z szerszego typu Wąski literał v2 zachowuje się tak samo jak w wersji 1
  • [SPARK-46664] [SC-153181][CORE] Ulepszanie Master szybkiego odzyskiwania w przypadku zera procesów roboczych i aplikacji
  • [SPARK-46759] [SC-153839][SQL][AVRO] Koder xz i zstandard obsługują poziom kompresji dla plików avro

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 15.2.

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black (czarny) 23.3.0 kierunkowskaz 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknięcie 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
konturowy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 distlib 0.3.8
punkty wejścia 0,4 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
stan obiektu grpcio 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
więcej itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 opakowanie 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Poduszka 9.4.0 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
żądania 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Sześć 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 Wytrzymałość 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlety 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
koło 0.38.4 zipp 3.11.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports (backports) 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitowe 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 rozruch 1.3-28
warzyć 1.0-10 Brio 1.1.4 miotła 1.0.5
bslib 0.6.1 cachem 1.0.8 obiekt wywołujący 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
zegar 0.7.0 cluster 2.1.4 codetools 0.2-19
przestrzeń kolorów 2.1-0 commonmark 1.9.1 — kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
kredka 1.5.2 poświadczenia 2.0.1 lok 5.2.0
data.table 1.15.0 usługi Power BI 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 trawić 0.6.34
downlit (wyłączony) 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 wielokropek 0.3.2 evaluate 0.23
fani 1.0.6 farver 2.1.1 szybka mapa 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
zagraniczny 0.8-85 kuźnia 0.2.0 Fs 1.6.3
przyszłość 1.33.1 future.apply 1.11.1 płukać gardło 1.5.2
Generyczne 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globalna 0.16.2 klej 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 siatka 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 przystań 2.5.4
wysoki 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Identyfikatory 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 soicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Etykietowania 0.4.3
później 1.3.2 krata 0.21-8 lawa 1.7.3
cykl życia 1.0.4 nasłuchiwanie 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASA 7.3-60
Macierz 1.5-4.1 zapamiętywanie 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0,12 miniUI 0.1.1.1
mlflow 2.10.0 Metryki modelu 1.2.2.2 modeler 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
równolegle 1.36.0 filar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 pochwała 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Postęp 1.2.3
progressr 0.14.0 Obietnice 1.2.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 z możliwością reagowania 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
przepisy 1.0.9 rewanż 2.0.0 rewanż2 2.1.2
Piloty 2.4.2.1 reprex 2.1.0 zmień kształt2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions (rversions) 2.1.2 rvest 1.0.3 Sass 0.4.8
waga 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
kształt 1.4.6 błyszczący 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 przestrzenny 7.3-15 Splajnów 4.3.2
sqldf 0.4-11 KWADRAT 2021.1 Statystyki 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
przetrwanie 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 zmiana czasu 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 narzędzia 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 wąs 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
gorliwość 0.1.0 zamek 2.3.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-klej 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina kofeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics serwlety metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transport netto 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format strzałki 15.0.0
org.apache.arrow strzałka-pamięć-rdzeń 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow wektor strzałki 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc podkładki orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections kolekcje eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket —wspólne 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Podkładki 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1