Udostępnij za pośrednictwem

Databricks Runtime 10.1 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 10.1 i Databricks Runtime 10.1 Photon obsługiwanych przez platformę Apache Spark 3.2.0. Usługa Databricks wydała tę wersję w listopadzie 2021 r. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

Nowe ustawienia tabeli delty na potrzeby kompaktowania małych plików

Właściwość delta.autoOptimize.autoCompact tabeli delty akceptuje teraz nowe wartości auto i legacy oprócz istniejących wartości true i false. W przypadku ustawienia auto wartości (zalecane) automatyczne kompaktowanie używa lepszych wartości domyślnych, takich jak ustawienie 32 MB jako rozmiar pliku docelowego (chociaż domyślne zachowania mogą ulec zmianie w przyszłości). W przypadku ustawienia legacy opcji lub trueautomatyczne kompaktowanie używa rozmiaru pliku docelowego 128 MB.

Zamiast ustawiać tę właściwość dla pojedynczej tabeli, można ustawić spark.databricks.delta.autoCompact.enabled konfigurację na auto, legacylub true włączyć automatyczne kompaktowanie dla wszystkich tabel delty. Ta konfiguracja ma pierwszeństwo przed powiązaną właściwością tabeli podczas bieżącej sesji.

Rozmiar pliku docelowego autokompaktacji można kontrolować za spark.databricks.delta.autoCompact.maxFileSize pomocą konfiguracji.

Aby uzyskać więcej informacji na temat automatycznego kompaktowania, zobacz Auto compaction for Delta Lake on Azure Databricks (Automatyczne kompaktowanie dla usługi Delta Lake w usłudze Azure Databricks).

Nowe metryki grupy wierszy dla skanowania zapytań Parquet

Zapytania ze skanowaniem Parquet teraz udostępniają metryki grup wierszy w interfejsie użytkownika platformy Spark. Te metryki grup wierszy to:

  • całkowita liczba grup wierszy parquet
  • liczba odczytanych grup wierszy parquet

Trigger.AvailableNow dla zapytań przesyłania strumieniowego źródła delta

Ta zmiana obsługuje nowy typ wyzwalacza dla zapytań przesyłania strumieniowego źródła delta w języku Scala: Trigger.AvailableNow. Jest to jak Trigger.Once, które przetwarza wszystkie dostępne dane, a następnie zatrzymuje zapytanie. Zapewnia jednak lepszą skalowalność, Trigger.AvailableNow ponieważ dane mogą być przetwarzane w wielu partiach zamiast jednej. Ta zmiana nie wprowadza nowego interfejsu; implementuje istniejący interfejs API platformy Spark. Ten wyzwalacz obsługuje również wszystkie opcje ograniczania szybkości, które są już obsługiwane przez funkcję Delta jako źródło.

Przykład:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Zobacz pokrycie w temacie Trigger.AvailableNow Co to jest automatyczne ładowanie?.

Trigger.AvailableNow for Auto Loader

Trigger.AvailableNow to nowy tryb wyzwalacza przesyłania strumieniowego podobny do Trigger.Once. Trigger.Once przetwarza wszystkie dostępne dane, a następnie zatrzymuje zapytanie. Trigger.AvailableNow ma lepszą skalowalność, ponieważ dane mogą być przetwarzane w wielu partiach zamiast jednej. Funkcja automatycznego ładowania obsługuje Trigger.AvailableNow teraz tryby wyświetlania listy katalogów i powiadomień dotyczących plików dla języka Scala. Zobacz pokrycie w temacie Trigger.AvailableNow Co to jest automatyczne ładowanie?.

Obsługa funkcji delta dla konfiguracji systemu plików Hadoop przekazywanych za pośrednictwem opcji ramki danych

Podobnie jak Parquet, funkcja Delta obsługuje teraz odczytywanie konfiguracji systemu plików Hadoop z DataFrameReader opcji i DataFrameWriter podczas odczytu lub zapisu tabeli przy użyciu polecenia DataFrameReader.load(path) lub DataFrameWriter.save(path). Zobacz Konfigurowanie poświadczeń usługi Delta Storage.

Asynchroniczne punktowanie punktów kontrolnych stanu jest teraz obsługiwane w stanowych zadaniach przesyłania strumieniowego (publiczna wersja zapoznawcza)

Asynchroniczne tworzenie punktów kontrolnych stanu to nowa funkcja, która potencjalnie zmniejsza opóźnienia mikrobajtowe w stanowych zadaniach przesyłania strumieniowego z dużymi aktualizacjami stanu. Zobacz Asynchroniczne punkty kontrolne stanu dla zapytań stanowych.

Interfejs Sparklyr z przekazywaniem poświadczeń

Teraz możesz używać interfejsów API sparklyr do odczytywania i zapisywania danych w magazynie w chmurze przy użyciu przekazywania poświadczeń. Ta funkcja jest ograniczona do klastrów standardowych z dostępem pojedynczego użytkownika. Zobacz Access Azure Data Lake Storage using Microsoft Entra ID credential passthrough (starsza wersja).

Databricks Utilities data summarize precision control (Publiczna wersja zapoznawcza)

Nowy precise parametr służący do dbutils.data.summarize sterowania dokładnością wyników podsumowania. Gdy precise jest ustawiona wartość false (wartość domyślna), podsumowanie zwraca przybliżone wyniki dla unikatowych liczb, percentylu i częstych liczników elementów. Gdy precise jest ustawiona wartość true, podsumowania są teraz obliczane z dokładną liczbą unikatowych wartości i częstymi liczbami elementów z bardziej precyzyjnymi oszacowaniami percentylu. Zobacz polecenie summarize (dbutils.data.summarize).

Notesy usługi Azure Databricks można teraz używać z jądrem IPython

Teraz można skonfigurować klaster usługi Azure Databricks, aby używać jądra IPython do wykonywania kodu w języku Python. Użycie jądra IPython w usłudze Azure Databricks dodaje obsługę narzędzi wyświetlania i danych wyjściowych IPython. Ponadto jądro IPython przechwytuje dane wyjściowe stdout i stderr procesów podrzędnych utworzonych przez notes, co pozwala na uwzględnianie tych danych wyjściowych w wynikach polecenia notesu.

Aby uzyskać więcej informacji, zobacz jądro IPython.

Nowe funkcje w usłudze Spark SQL

Dodano następujące obiekty i polecenia do pracy z danymi w wykazie aparatu Unity (wersja zapoznawcza):

Do udostępniania różnicowego (wersja zapoznawcza) dodano następujące polecenia, które umożliwiają udostępnianie danych tylko do odczytu adresatom spoza organizacji:

Poprawki błędów

  • Naprawiono warunek wyścigu, który może spowodować niepowodzenie zapytania z elementem IOException takim jak No FileSystem for scheme lub, który może spowodować, że sparkContext.hadoopConfiguration modyfikacje nie zostaną zastosowane w zapytaniach.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • filelock z wersji 3.0.12 do 3.3.1
    • koalas z 1.8.1 do 1.8.2
    • wykres z 5.1.0 do 5.3.0
  • Uaktualnione biblioteki języka R:
    • bslib z 0.3.0 do 0.3.1
    • karetki od 6.0-88 do 6.0-90
    • cpp11 z 0.3.1 do 0.4.0
    • data.table z wersji 1.14.0 do 1.14.2
    • desc z 1.3.0 do 1.4.0
    • diffobj z 0.3.4 do 0.3.5
    • skrót z 0.6.27 do 0.6.28
    • typy ogólne od 0.1.0 do 0.1.1
    • hms od 1.1.0 do 1.1.1
    • knitr z 1.34 do 1.36
    • lattice z 0.20-44 do 0.20-45
    • cykl życia od 1.0.0 do 1.0.1
    • lubridate z wersji 1.7.10 do 1.8.0
    • mgcv z 1.8-37 do 1.8-38
    • mime z 0.11 do 0.12
    • pkgload z 1.2.2 do 1.2.3
    • progressr z 0.8.0 do 0.9.0
    • rcmdcheck z 1.3.3 do 1.4.0
    • readr z wersji 2.0.1 do 2.0.2
    • przepisy od 0.1.16 do 0.1.17
    • zdalne z wersji 2.4.0 do 2.4.1
    • rlang z 0.4.11 do 0.4.12
    • rvest z 1.0.1 do 1.0.2
    • błyszczące z wersji 1.6.0 do 1.7.1
    • stringi z wersji 1.7.4 do 1.7.5
    • testthat z 3.0.4 do 3.1.0
    • od 1.1.3 do 1.1.4
    • tinytex z 0.33 do 0.34
    • usethis z 2.0.1 do 2.1.2
    • xfun z 0.26 do 0.27
  • Uaktualnione biblioteki Java:
    • com.zaxxer.HikariCP z 3.1.0 do 4.0.3

Apache Spark

Środowisko Databricks Runtime 10.1 obejmuje platformę Apache Spark 3.2.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 10.0 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-37037] [SQL] Ulepszanie sortowania tablic bajtów przez ujednolicenie funkcji compareTo funkcji UTF8String i ByteArray
  • [SPARK-37091] [R] Wymagania systemowe dotyczące uwzględnienia języka Java < 18
  • [SPARK-37041] [SQL] Backport HIVE-15025: Obsługa protokołu SECURE-Socket-Layer (SSL) dla HMS
  • [SPARK-37098] [SQL] Zmiana właściwości tabeli powinna unieważnić pamięć podręczną
  • [SPARK-36992] [SQL] Ulepszanie wydajności sortowania tablic bajtów przez ujednolicenie funkcji getPrefix utF8String i ByteArray
  • [SPARK-37047] [SQL] Dodawanie funkcji lpad i rpad dla ciągów binarnych
  • [SPARK-37076] [SQL] Implementowanie jawnego obiektu StructType.toString dla języka Scala 2.13
  • [SPARK-37075] [SQL] Przenoszenie kompilacji wyrażeń UDAF z sql/catalyst do sql/core
  • [SPARK-37084] [SQL] Ustaw spark.sql.files.openCostInBytes na bajtyConf
  • [SPARK-37088] [PYSPARK][SQL] Wątek składnika zapisywania nie może uzyskać dostępu do danych wejściowych po powrocie odbiornika ukończenia zadania
  • [SPARK-37069] [SQL] Prawidłowo rezerwowy, gdy usługa Hive.getWithoutRegisterFns jest niedostępna
  • [SPARK-37050] [PYTHON] Aktualizowanie instrukcji instalacji conda
  • [SPARK-37067] [SQL] Użyj właściwości ZoneId.of() do obsługi ciągu strefy czasowej w narzędziu DatetimeUtils
  • [SPARK-35925] [SQL] Obsługa parametru DayTimeIntervalType w funkcji zasobnika szerokości
  • [SPARK-35926] [SQL] Dodawanie obsługi YearMonthIntervalType dla width_bucket
  • [SPARK-35973] [SQL] Dodaj polecenie SHOW CATALOGS
  • [SPARK-36922] [SQL] Funkcje SIGN/SIGNUM powinny obsługiwać interwały ANSI
  • [SPARK-37078] [CORE] Obsługa starych konstruktorów ujścia 3 parametrów
  • [SPARK-37061] [SQL] Naprawianie metryk niestandardowych podczas używania klas wewnętrznych
  • [SPARK-35918] [AVRO] Ujednolicenie obsługi niezgodności schematu dla odczytu/zapisu i ulepszania komunikatów o błędach
  • [SPARK-36871] [SQL]Migrowanie polecenia CreateViewStatement do wersji 2
  • [SPARK-36898] [SQL] Konfigurowanie współczynnika sprzężenia skrótów mieszania
  • [SPARK-36921] [SQL] Obsługa interwałów ANSI według DIV
  • [SPARK-36794] [SQL] Ignoruj zduplikowane klucze sprzężenia podczas tworzenia relacji dla sprzężenia skrótu SEMI/ANTI
  • [SPARK-36867] [SQL] Naprawianie komunikatu o błędzie za pomocą aliasu GROUP BY
  • [SPARK-36914] [SQL] Implementowanie dropIndex i listIndexes w JDBC (dialekt MySQL)
  • [SPARK-35531] [SQL] Bezpośrednie przekazywanie tabeli hive do klasy HiveClient w przypadku wywołania metody getPartitions w celu uniknięcia niepotrzebnej konwersji z tabeli HiveTable —> CatalogTable — —> HiveTable
  • [SPARK-36718] [SQL] Zwijanie projektów tylko wtedy, gdy nie duplikujemy kosztownych wyrażeń
  • [SPARK-37046] [SQL]: Zmiana widoku nie zachowuje wielkości liter w kolumnie
  • [SPARK-36978] [SQL] Reguła wnioskowania ograniczeń powinna utworzyć ograniczenia IsNotNull dla zagnieżdżonego pola zamiast typu zagnieżdżonego katalogu głównego
  • [SPARK-37052] [CORE] Platforma Spark powinna przekazywać tylko pełny argument do klasy głównej, gdy jest powłoką SQL
  • [SPARK-37017] [SQL] Zmniejsz zakres synchronizacji, aby zapobiec potencjalnemu zakleszczeniu
  • [SPARK-37032] [SQL] Naprawianie przerwanego linku składni SQL na stronie dokumentacji sql
  • [SPARK-36905] [SQL] Naprawianie odczytywania widoków hive bez jawnych nazw kolumn
  • [SPARK-36678] Migrowanie polecenia SHOW TABLES domyślnie przy użyciu polecenia V2
  • [SPARK-36943] [SQL] Zwiększanie czytelności komunikatu o błędzie brakującej kolumny
  • [SPARK-36980] [SQL] Wstawianie zapytania pomocy technicznej przy użyciu języka CTE
  • [SPARK-37001] [SQL] Wyłącz domyślnie dwa poziom mapy dla agregacji końcowego skrótu
  • [SPARK-36970] [SQL] Ręcznie wyłączony format B date_format funkcji, aby język Java 17 był zgodny z językiem Java 8
  • [SPARK-36546] [SQL] Dodawanie obsługi tablicy do unii według nazwy
  • [SPARK-36979] [SQL] Dodawanie reguły RewriteLateralSubquery do reguł nonExcludableRules
  • [SPARK-36949] [SQL] Nie zezwalaj tabelom dostawcy programu Hive na interwały ANSI
  • [SPARK-36849] [SQL] Migrowanie struktury poleceń UseStatement do wersji 2
  • [SPARK-36868] [SQL] Migrowanie polecenia CreateFunctionStatement do platformy poleceń w wersji 2
  • [SPARK-36841] [SQL] Dodawanie składni set catalog xxx ansi w celu zmiany bieżącego wykazu
  • [SPARK-36821] [SQL] Rozszerzanie klasy ColumnarBatch — dodatek
  • [SPARK-36963] [SQL] Dodawanie max_by/min_by do pliku sql.functions
  • [SPARK-36913] [SQL] Implementowanie funkcji createIndex i IndexExists w wersji JDBC DS w wersji JDBC (dialekt MySQL)
  • [SPARK-36848] [SQL] Migrowanie struktury poleceń ShowCurrentNamespaceStatement do platformy poleceń w wersji 2
  • [SPARK-36526] [SQL] Obsługa indeksów DSV2: Dodawanie obsługuje interfejsindex
  • [SPARK-36960] [SQL] Filtry pushdown z wartościami interwału ANSI do ORC
  • [SPARK-36929] [SQL] Usuń nieużywaną metodę EliminateSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL] Obsługa odczytywania i zapisywania interwałów ANSI z/do źródeł danych ORC
  • [SPARK-34980] [SQL] Obsługa dzielenia partycji przez unię w AQE
  • [SPARK-36809] [SQL] Usuwanie emisji dla elementu InSubqueryExec używanego w programie DPP
  • [SPARK-36813] [SQL][PYTHON] Proponowanie infrastruktury dołączania i dołączania ps.merge_asof
  • [SPARK-36918] [SQL] Ignoruj typy podczas porównywania struktur unionByName
  • [SPARK-36891] [SQL] Refaktoryzacja SpecificParquetRecordReaderBase i dodaj więcej pokrycia na wektoryzowanym dekodowaniu Parquet
  • [SPARK-36920] [SQL] Obsługa interwałów ANSI według ABS()
  • [SPARK-36888] [SQL] dodawanie przypadków testów dla funkcji sha2
  • [SPARK-36889] [SQL] Szacunek spark.sql.parquet.filterPushdown przez konstruktora skanów parquet w wersji 2
  • [SPARK-36830] [SQL] Obsługa odczytywania i zapisywania interwałów ANSI z/do źródeł danych JSON
  • [SPARK-36870] [SQL] Wprowadzenie do klasy błędów INTERNAL_ERROR
  • [SPARK-36831] [SQL] Obsługa odczytywania i zapisywania interwałów ANSI z/do źródeł danych CSV.
  • [SPARK-36550] [SQL] Przyczyna propagacji w przypadku niepowodzenia odbicia funkcji zdefiniowanej przez użytkownika
  • [SPARK-36866] [SQL] Filtry pushdown z wartościami interwału ANSI do parquet
  • [SPARK-33832] [SQL] Wymuszanie uproszczenia i ulepszania kodu sprzężenia sprzężenia
  • [SPARK-36642] [SQL] Dodawanie interfejsu API df.withMetadata pyspark
  • [SPARK-35765] [SQL] Unikatowe aggs nie są zduplikowane
  • [SPARK-36825] [SQL] Ramki danych odczytu/zapisu z interwałami ANSI z/do plików parquet
  • [SPARK-36829] [SQL] Refaktoryzacja sprawdzania wartości NULL dla kolekcjiOperators
  • [SPARK-32712] [SQL] Obsługa zapisywania tabeli zasobnika Hive (formaty plików Hive z skrótem Hive)
  • [SPARK-36797] [SQL] Unia powinna rozpoznawać kolumny zagnieżdżone jako kolumny najwyższego poziomu
  • [SPARK-36838] [SQL] Zwiększanie wydajności wygenerowanego kodu w elemecie InSet
  • [SPARK-36683] [SQL] Dodawanie nowych wbudowanych funkcji SQL: SEC i CSC
  • [SPARK-36721] [SQL] Uproszczenie równości logicznej, jeśli jedna strona jest literałem
  • [SPARK-36760] [SQL] Dodawanie interfejsu ObsługujePushDownV2Filters
  • [SPARK-36652] [SQL] Wybór sprzężenia dynamicznego AQE nie powinien mieć zastosowania do sprzężenia innego niż równocze
  • [SPARK-36745] [SQL] Funkcja ExtractEquiJoinKeys powinna zwrócić oryginalne predykaty w kluczach sprzężenia
  • [SPARK-36107] [SQL] Refaktoryzacja pierwszego zestawu 20 błędów wykonywania zapytań w celu używania klas błędów
  • [SPARK-32709] [SQL] Obsługa zapisywania tabeli zasobnika Hive (format Parquet/ORC przy użyciu skrótu Hive)
  • [SPARK-36735] [SQL] Dostosowywanie obciążenia buforowanego relacji dla DPP
  • [SPARK-33832] [SQL] Obsługa optymalizacji niesymetryczności sprzężenia nawet w przypadku wprowadzenia dodatkowego mieszania
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec powinien używać wszystkich warunków zamiast warunku niezrównowego
  • [SPARK-35221] [SQL] Dodawanie sprawdzania obsługiwanych wskazówek sprzężenia
  • [SPARK-36814] [SQL] Rozszerzanie klasy ColumnarBatch
  • [SPARK-36663] [SQL] Obsługa nazw kolumn tylko z numerami w źródłach danych ORC
  • [SPARK-36751] [SQL][PYTHON][R] Dodawanie interfejsów API bit/octet_length do języków Scala, Python i R
  • [SPARK-36733] [SQL] Rozwiązano problem z wydajnością w schemaPruning, gdy struktura ma wiele pól
  • [SPARK-36724] [SQL] Obsługa timestamp_ntz jako typu kolumny czasu sesjiWindow
  • [SPARK-36556] [SQL] Dodawanie filtrów DSV2
  • [SPARK-36687] [SQL][CORE] Zmienianie nazwy klas błędów przy użyciu sufiksu _ERROR
  • [SPARK-35803] [SQL] Obsługa źródła danych w wersji 2 CreateTempViewUsing
  • [SPARK-36642] [SQL] Dodawanie pliku df.withMetadata: składnia suger w celu zaktualizowania metadanych ramki danych

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 10.1.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (rolling ISO) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
wybielacz 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
rowerzysta 0.10.0 Cython 0.29.23 dbus-python 1.2.16
dekorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
dystrybucja informacji 0.23ubuntu1 punkty wejścia 0.3 aspekty — omówienie 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 Koale 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
notes 6.3.0 numpy 1.19.2 opakowanie 20.9
Pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Poduszka 8.2.0 21.0.1 kreślenie 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pirstent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
żądania 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Sześć 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Wytrzymałość 8.0.1
terminado 0.9.4 ścieżka testowa 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlety 5.0.5 nienadzorowane uaktualnienia 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 koło 0.36.2 widgetsnbextension 3.5.1

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2021-10-26.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports (backports) 1.2.1
base 4.1.1 base64enc 0.1-3 bitowe 4.0.4
bit64 4.0.5 blob 1.2.2 rozruch 1.3-28
warzyć 1.0-6 Brio 1.1.2 miotła 0.7.9
bslib 0.3.1 cachem 1.0.6 obiekt wywołujący 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 przestrzeń kolorów 2.0-2
commonmark 1,7 — kompilator 4.1.1 config 0.3.1
cpp11 0.4.0 kredka 1.4.1 poświadczenia 1.3.1
lok 4.3.2 data.table 1.14.2 usługi Power BI 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 trawić 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
wielokropek 0.3.2 evaluate 0,14 fani 0.5.0
farver 2.1.0 szybka mapa 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 zagraniczny 0.8-81
kuźnia 0.2.0 Fs 1.5.0 przyszłość 1.22.1
future.apply 1.8.1 płukać gardło 1.2.0 Generyczne 0.1.1
Gert 1.4.1 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globalna 0.14.0
klej 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 grafika 4.1.1 grDevices 4.1.1
siatka 4.1.1 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 przystań 2.4.3 wysoki 0,9
Hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Identyfikatory 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 Iteratory 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 Etykietowania 0.4.2 później 1.3.0
krata 0.20-45 lawa 1.6.10 cykl życia 1.0.1
nasłuchiwanie 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1.1 MASA 7.3-54 Macierz 1.3-4
zapamiętywanie 2.0.0 metody 4.1.1 mgcv 1.8-38
mim 0,12 Metryki modelu 1.2.2.2 modeler 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
równolegle 1.28.1 filar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 pochwała 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Postęp 1.2.2 progressr 0.9.0 Obietnice 1.2.0.1
Proto 1.0.0 proxy 0.4-26 PS 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 przepisy 0.1.17 rewanż 1.0.1
rewanż2 2.1.2 Piloty 2.4.1 reprex 2.0.1
zmień kształt2 1.4.4 rlang 0.4.12 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions (rversions) 2.1.1 rvest 1.0.2
Sass 0.4.0 waga 1.1.1 selektor 0.4-2
sessioninfo 1.1.1 kształt 1.4.6 błyszczący 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
przestrzenny 7.3-11 Splajnów 4.1.1 sqldf 0.4-11
KWADRAT 2021.1 Statystyki 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 przetrwanie 3.2-13
sys 3.4 tcltk 4.1.1 NauczanieDemos 2.10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 narzędzia 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.5 Waldo 0.3.1 wąs 0,4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zamek 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-klej 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
drzewa maven hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy bluszcz 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc podkładki orc-shim 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet kodowanie parquet 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-cieniowane 4.20
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper jute dozorców 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-kontynuacja 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket —wspólne 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podkładki 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1