Udostępnij za pośrednictwem

Databricks Runtime 4.1 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Usługa Databricks wydała tę wersję w maju 2018 r.

Ważne

Ta wersja została wycofana 17 stycznia 2019 r. Aby uzyskać więcej informacji na temat zasad i harmonogramu wycofywania środowiska Databricks Runtime, zobacz Cykle życia pomocy technicznej usługi Databricks.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 4.1 obsługiwanym przez platformę Apache Spark.

Delta Lake

Środowisko Databricks Runtime w wersji 4.1 dodaje główne ulepszenia jakości i funkcjonalność usługi Delta Lake. Usługa Databricks zdecydowanie zaleca, aby wszyscy klienci usługi Delta Lake uaktualnili środowisko uruchomieniowe do nowego środowiska uruchomieniowego. Ta wersja pozostaje w prywatnej wersji zapoznawczej, ale reprezentuje wydanie kandydata w oczekiwaniu na nadchodzące wydanie ogólnie dostępne.

Usługa Delta Lake jest teraz również dostępna w prywatnej wersji zapoznawczej dla użytkowników usługi Azure Databricks. Skontaktuj się z menedżerem konta lub zarejestruj się pod adresem https://databricks.com/product/databricks-delta.

Zmiany powodujące niezgodność

  • Środowisko Databricks Runtime 4.1 zawiera zmiany w protokole transakcji w celu włączenia nowych funkcji, takich jak walidacja. Tabele utworzone za pomocą środowiska Databricks Runtime 4.1 automatycznie używają nowej wersji i nie mogą być zapisywane w starszych wersjach środowiska Databricks Runtime. Aby skorzystać z tych ulepszeń, należy uaktualnić istniejące tabele. Aby uaktualnić istniejącą tabelę, najpierw uaktualnij wszystkie zadania, które zapisują się w tabeli. Następnie uruchom polecenie:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    Aby uzyskać więcej informacji, zobacz Jak usługa Azure Databricks zarządza zgodnością funkcji usługi Delta Lake?

  • Operacje zapisu są teraz weryfikowane względem bieżącego schematu tabeli zamiast automatycznego dodawania kolumn, których brakuje w tabeli docelowej. Aby włączyć poprzednie zachowanie, ustaw mergeSchema opcję na true.

  • Jeśli używasz wcześniejszych wersji funkcji delta usługi Databricks, przed użyciem środowiska Databricks Runtime 4.1 należy uaktualnić wszystkie zadania. Jeśli wystąpi jeden z tych błędów, uaktualnij środowisko Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • Tabele nie mogą już mieć kolumn, które różnią się tylko wielkością liter.

  • Konfiguracje tabeli specyficzne dla różnicy muszą być teraz poprzedzone prefiksem delta.

Nowe funkcje

  • Zarządzanie schematem — funkcja delta usługi Databricks weryfikuje teraz dołączanie i zastępowanie istniejącej tabeli w celu zapewnienia, że zapisywany schemat jest zgodny ze schematem.

    • Funkcja delta usługi Databricks nadal obsługuje automatyczną ewolucję schematu.
    • Funkcja delta usługi Databricks obsługuje teraz następujący kod DDL w celu jawnego zmodyfikowania schematu:
      • ALTER TABLE ADD COLUMN aby dodać nowe kolumny do tabeli
      • ALTER TABLE CHANGE COLUMNS aby zmienić kolejność kolumn
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    Aby uzyskać szczegółowe informacje, zobacz Wymuszanie schematu.

  • Ulepszona obsługa języka DDL i tabel

    • Pełna obsługa tabel DDL i saveAsTable(). save() i saveAsTable() teraz mają identyczne semantyki.
    • Wszystkie polecenia DDL i DML obsługują zarówno nazwę tabeli, jak i delta.`<path-to-table>`.
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • Szczegółowe informacje o tabeli — bieżące wersje czytników i składników zapisywania tabeli można wyświetlić, uruchamiając polecenie DESCRIBE DETAIL. Zobacz artykuł Jak usługa Azure Databricks zarządza zgodnością funkcji usługi Delta Lake?.
    • Szczegóły tabeli — informacje o pochodzenia są teraz dostępne dla każdego zapisu w tabeli. Pasek boczny Dane zawiera również szczegółowe informacje o tabeli i historię tabel delty usługi Databricks. Zobacz Przeglądanie szczegółów tabeli usługi Delta Lake z opisem.
    • Tabele przesyłania strumieniowego — ramki danych przesyłania strumieniowego można utworzyć przy użyciu polecenia spark.readStream.format("delta").table("<table-name>").
    • Tabele tylko do dołączania — funkcja delta usługi Databricks obsługuje teraz podstawowe zarządzanie danymi. Usunięcie i modyfikacje tabeli można zablokować, ustawiając właściwośćdelta.appendOnly=truetabeli .
    • MERGE INTOsource — dodaje bardziej kompleksową obsługę specyfikacji zapytania źródłowego .MERGE Można na przykład określić LIMITelement i ORDER BYINLINE TABLE w źródle.
    • Pełna obsługa list ACL tabel.

usprawnienia dotyczące wydajności

  • Zmniejszenie obciążenia związanego z zbieraniem statystyk — wydajność zbierania statystyk została ulepszona, a statystyki są teraz zbierane tylko dla konfigurowalnej liczby kolumn ustawionych domyślnie na 32. Wydajność zapisu różnicowego w usłudze Databricks została zwiększona o maksymalnie 2 razy ze względu na zmniejszenie obciążenia związanego z zbieraniem statystyk. Aby skonfigurować liczbę kolumn, ustaw właściwośćdelta.dataSkippingNumIndexedCols=<number-of-columns>tabeli .
  • Obsługa wypychania limitu — statystyki służą do ograniczania liczby plików skanowanych pod kątem zapytań zawierających LIMIT kolumny partycji i predykatów. Dotyczy to zapytań w notesach ze względu na niejawny limit=1000 efekt dla wszystkich poleceń notesu.
  • Przefiltruj wypychanie w źródle przesyłania strumieniowego — zapytania przesyłane strumieniowo używają teraz partycjonowania podczas uruchamiania nowego strumienia, aby pominąć nieistotne dane.
  • Ulepszony równoległość dla OPTIMIZE - OPTIMIZE teraz działa jako pojedyncze zadanie platformy Spark i będzie używać wszystkich równoległości dostępnych w klastrze (wcześniej było ograniczonych do 100 skompaktowanych plików naraz).
  • Pomijanie danych w języku DML — UPDATE, DELETEi MERGE teraz używają statystyk podczas lokalizowania plików, które muszą zostać przepisane.
  • Zmniejszone przechowywanie punktów kontrolnych — punkty kontrolne są teraz przechowywane przez dwa dni (historia jest nadal przechowywana przez 30), aby zmniejszyć koszty magazynowania dziennika transakcji.

Zachowanie interfejsu API

  • Zachowanie funkcji insertInto(<table-name>) delta usługi Databricks jest takie samo jak inne źródła danych.
    • Jeśli żaden tryb nie jest określony lub mode ma ErrorIfExistswartość , Ignorelub Append, dołącza dane w ramce danych do tabeli delty usługi Databricks.
    • Jeśli mode wartość to Overwrite, usuwa wszystkie dane w istniejącej tabeli i wstawia dane z ramki danych do tabeli delty usługi Databricks.
  • W przypadku buforowania tabela docelowa MERGE obiektu musi być ręcznie niebuforowana.

Ulepszenia użyteczności

  • Walidacje migracji obciążeń — typowe błędy występujące podczas migrowania obciążeń do funkcji delta usługi Databricks zgłaszają teraz wyjątek, a nie kończą się niepowodzeniem:
    • Używanie format("parquet") do odczytywania lub zapisywania tabeli.
    • Odczytywanie lub zapisywanie bezpośrednio w partycji (czyli /path/to/delta/part=1).
    • Opróżnianie podkatalogów tabeli.
    • INSERT OVERWRITE DIRECTORY przy użyciu parquet w tabeli.
  • Konfiguracja bez uwzględniania wielkości liter — opcje dla właściwości czytnika/zapisywania i tabeli ramki danych są teraz bez uwzględniania wielkości liter (w tym ścieżki odczytu i ścieżki zapisu).
  • Nazwy kolumn — nazwy kolumn tabeli mogą teraz zawierać kropki.

Znane problemy

  • Wstawki instrukcji z wieloma wstawianiami znajdują się w różnych jednostkach pracy, a nie w tej samej transakcji.

Poprawki błędów

  • Naprawiono pętlę nieskończoną podczas uruchamiania nowego strumienia w tabeli szybkiego aktualizowania.

Przestarzałe elementy

Przesyłanie strumieniowe ze strukturą nie obsługuje danych wejściowych, które nie są dołączane i zgłasza wyjątek, jeśli jakiekolwiek modyfikacje występują w tabeli używanej jako źródło. Wcześniej można było zastąpić to zachowanie za pomocą flagi ignoreFileDeletion , ale jest ona teraz przestarzała. Zamiast tego użyj polecenia ignoreDeletes lub ignoreChanges. Zobacz Tabelę delty jako źródło.

Inne zmiany i ulepszenia

  • Usługa Watchdog zapytań jest włączona dla wszystkich klastrów ogólnego przeznaczenia utworzonych przy użyciu interfejsu użytkownika.
  • Zwiększona wydajność po stronie sterownika dla pamięci podręcznej DBIO
  • Zwiększona wydajność dekodowania Parquet za pośrednictwem nowego natywnego dekodera Parquet
  • Zwiększona wydajność w przypadku wspólnej eliminacji podwyrażenia
  • Ulepszona wydajność pomijania danych dla dużych tabel łączących małe tabele (sprzężenia tabeli faktów)
  • display() teraz renderuje kolumny zawierające typy danych obrazów jako bogaty kod HTML.
  • Ulepszenia dzienników, ładowania i rejestrowania modeli MLflow
    • Uaktualniono plik dbml-local do najnowszej wersji 0.4.1
    • Usunięto usterkę z wyeksportowanymi modelami z określonym parametrem threshold
    • Dodano obsługę eksportowania OneVsRestModelelementu , GBTClassificationModel
  • Uaktualniono niektóre zainstalowane biblioteki języka Python:
    • : od 9.0.1 do 10.0.0b2
    • setuptools: od 38.5.1 do 39.0.1
    • tornado: od 4.5.3 do 5.0.1
    • koło: od 0.30.0 do 0.31.0
  • Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
  • Uaktualniono zestaw SDK usługi Azure Data Lake Store z wersji 2.0.11 do 2.2.8.
  • Uaktualniono cuda do wersji 9.0 z wersji 8.0 i CUDNN do wersji 7.0 z 6.0 dla klastrów gpu.

Apache Spark

Środowisko Databricks Runtime 4.1 obejmuje platformę Apache Spark 2.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia zawarte w środowisku Databricks Runtime 4.0 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-24007][SQL] Wartość EqualNullSafe dla parametrów FloatType i DoubleType może wygenerować nieprawidłowy wynik przez kodgen.
  • [SPARK-23942][PYTHON][SQL] Tworzy zbieranie w narzędziu PySpark jako akcji dla odbiornika funkcji wykonawczej zapytań
  • [SPARK-23815][CORE] Tryb zastępowania partycji dynamicznej modułu zapisywania platformy Spark może zakończyć się niepowodzeniem podczas zapisywania danych wyjściowych na partycji wieloeziomowej
  • [SPARK-23748][SS] Rozwiązanie problemu z ciągłym procesem SS nie obsługuje problemu z podqueryAlias
  • [SPARK-23963][SQL] Prawidłowa obsługa dużej liczby kolumn w zapytaniu w tabeli Hive opartej na tekście
  • [SPARK-23867][SCHEDULER] użyj wartości droppedCount w logWarning
  • [SPARK-23816][CORE] Zabite zadania powinny ignorować FetchFailures.
  • [SPARK-23809][SQL] Aktywne sparkSession należy ustawić za pomocą polecenia getOrCreate
  • [SPARK-23966][SS] Refaktoryzacja całej logiki zapisywania pliku punktu kontrolnego w typowym interfejsie CheckpointFileManager
  • [SPARK-21351][SQL] Aktualizowanie wartości null na podstawie danych wyjściowych elementów podrzędnych
  • [SPARK-23847][PYTHON][SQL] Dodawanie asc_nulls_first, asc_nulls_last do programu PySpark
  • [SPARK-23822][SQL] Ulepszanie komunikatu o błędzie dotyczącego niezgodności schematu Parquet
  • [SPARK-23823][SQL] Zachowaj pochodzenie w transformExpression
  • [SPARK-23838][WEBUI] Uruchamianie zapytania SQL jest wyświetlane jako "ukończone" na karcie SQL
  • [SPARK-23802][SQL] PropagateEmptyRelation może pozostawić plan zapytania w stanie nierozwiązanym
  • [SPARK-23727][SQL] Obsługa wypychania filtrów typu DateType w parquet
  • [SPARK-23574][SQL] Report SinglePartition in DataSourceV2ScanExec when there's exactly 1 data reader factory ( Raport SinglePartition in DataSourceV2ScanExec when there's exactly's 1 data reader factory( Raport SinglePartition in DataSourceV2ScanExec when there's exactly's 1 data reader
  • [SPARK-23533][SS] Dodano obsługę zmiany elementu startOffset elementu ContinuousDataReader
  • [SPARK-23491][SS] Usuwanie jawnego anulowania zadania z funkcji ContinuousExecution — ponowne konfigurowanie
  • [SPARK-23040][CORE] Zwraca iterator przerwalny dla czytnika mieszania
  • [SPARK-23827][SS] StreamingJoinExec powinien upewnić się, że dane wejściowe są podzielone na określoną liczbę partycji
  • [SPARK-23639][SQL] Uzyskiwanie tokenu przed uruchomieniem klienta magazynu metadanych w interfejsie wiersza polecenia platformy SparkSQL
  • [SPARK-23806]Funkcja Broadcast.unpersist może spowodować wyjątek krytyczny w przypadku użycia...
  • [SPARK-23599][SQL] Używanie metody RandomUUIDGenerator w wyrażeniu Uuid
  • [SPARK-23599][SQL] Dodawanie generatora UUID z pseudolosowych liczb
  • [SPARK-23759][Interfejs użytkownika] Nie można powiązać interfejsu użytkownika platformy Spark z określoną nazwą hosta/adresem IP
  • [SPARK-23769][CORE] Usuń komentarze, które niepotrzebnie wyłączają sprawdzanie stylu scala
  • [SPARK-23614][SQL] Naprawianie nieprawidłowego ponownego używania wymiany podczas buforowania
  • [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs powinien poprawnie zapisać/przywrócić stan CSE
  • [SPARK-23729][CORE] Uwzględnianie fragmentu identyfikatora URI podczas rozpoznawania globów
  • [SPARK-23550][CORE] Narzędzia oczyszczania
  • [SPARK-23288][SS] Naprawianie metryk wyjściowych za pomocą ujścia parquet
  • [SPARK-23264][SQL] Napraw scala. MatchError w literals.sql.out
  • [SPARK-23649][SQL] Pomijanie znaków niedozwolonych w utF-8
  • [SPARK-23691][PYTHON] Używanie narzędzia sql_conf w testach PySpark tam, gdzie to możliwe
  • [SPARK-23644][CORE][Interfejs użytkownika] Używanie ścieżki bezwzględnej do wywołania REST w usłudze SHS
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None) powinien wygenerować wartość None w PySpark
  • [SPARK-23623][SS] Unikaj współbieżnego używania buforowanych użytkowników w pamięci podręcznej CachedKafkaConsumer
  • [SPARK-23670][SQL] Naprawianie przecieku pamięci na platformie SparkPlanGraphWrapper
  • [SPARK-23608][CORE][WEBUI] Dodawanie synchronizacji w usłudze SHS między funkcjami attachSparkUI i detachSparkUI w celu uniknięcia współbieżnego problemu z modyfikacjami w programie Jetty Handlers
  • [SPARK-23671][CORE] Warunek naprawy, aby włączyć pulę wątków SHS.
  • [SPARK-23658][LAUNCHER] InProcessAppHandle używa nieprawidłowej klasy w getLogger
  • [SPARK-23642][DOCS] Podklasa akumulatorowaV2 isZero scaladoc fix
  • [SPARK-22915][MLLIB] Testy przesyłania strumieniowego dla funkcji spark.ml., od N do Z
  • [SPARK-23598][SQL] Udostępnij metody w publicznej lokalizacji BufferedRowIterator, aby uniknąć błędu środowiska uruchomieniowego dla dużego zapytania
  • [SPARK-23546][SQL] Refaktoryzacja metod/wartości bezstanowych w kodzieGenContext
  • [SPARK-23523][SQL] Naprawianie nieprawidłowego wyniku spowodowanego przez regułę OptimizeMetadataOnlyQuery
  • [SPARK-23462][SQL] poprawić brakujący komunikat o błędzie pola w StructType
  • [SPARK-23624][SQL] Poprawianie dokumentu metody pushFilters w źródle danych w wersji 2
  • [SPARK-23173][SQL] Unikaj tworzenia uszkodzonych plików parquet podczas ładowania danych z formatu JSON
  • [SPARK-23436][SQL] Wywnioskuj partycję jako datę tylko wtedy, gdy można ją rzutować na datę
  • [SPARK-23406][SS] Włączanie samoobsługowych sprzężeń strumienia
  • [SPARK-23490][SQL] Sprawdź identyfikator storage.locationUri z istniejącą tabelą w tabeli CreateTable
  • [SPARK-23524]Duże lokalne bloki mieszania nie powinny być sprawdzane pod kątem uszkodzenia.
  • [SPARK-23525][SQL] Obsługa ALTER TABLE CHANGE COLUMN COMMENT dla zewnętrznej tabeli Hive
  • [SPARK-23434][SQL] Platforma Spark nie powinna ostrzegać katalogu metadanych dla ścieżki pliku HDFS
  • [SPARK-23457][SQL] Rejestrowanie odbiorników uzupełniania zadań najpierw w pliku ParquetFileFormat
  • [SPARK-23329][SQL] Poprawka dokumentacji funkcji trygonometrycznych
  • [SPARK-23569][PYTHON] Zezwalaj pandas_udf na pracę z funkcjami z adnotacjami typu python3
  • [SPARK-23570][SQL] Dodawanie platformy Spark 2.3.0 w programie HiveExternalCatalogVersionsSuite
  • [SPARK-23517][PYTHON] Utwórz _pyspark.util. exception_message utworzyć ślad ze strony języka Java za pomocą błędu Py4JJavaError
  • [SPARK-23508][CORE] Poprawka blockmanagerId w przypadku blockManagerIdCache przyczyna oom
  • [SPARK-23448][SQL] Wyjaśnienie zachowania analizatora plików JSON i CSV w dokumencie
  • [SPARK-23365][CORE] Nie dopasowuj funkcji wykonawczej liczby podczas zabijania bezczynnych funkcji wykonawczych.
  • [SPARK-23438][DSTREAMS] Naprawianie utraty danych DStreams za pomocą pliku WAL w przypadku awarii sterownika
  • [SPARK-23475][Interfejs użytkownika] Pokaż również pominięte etapy
  • [SPARK-23518][SQL] Unikaj dostępu do magazynu metadanych, gdy użytkownicy chcą tylko odczytywać i zapisywać ramki danych
  • [SPARK-23406][SS] Włączanie samoobsługowych sprzężeń strumienia
  • [SPARK-23541][SS] Zezwalaj źródle platformy Kafka na odczytywanie danych z większą równoległością niż liczba partycji artykułu
  • [SPARK-23097][SQL][SS] Migrowanie źródła gniazda tekstowego do wersji 2
  • [SPARK-23362][SS] Migrowanie źródła mikrobatch platformy Kafka do wersji 2
  • [SPARK-23445]Refaktoryzacja kolumny ColumnStat
  • [SPARK-23092][SQL] Migrowanie strumienia pamięci do interfejsów API dataSourceV2
  • [SPARK-23447][SQL] Oczyszczanie szablonu generowania kodu dla literału
  • [SPARK-23366]Ulepszanie ścieżki odczytu na gorąco w funkcji ReadAheadInputStream
  • [SPARK-22624][PYSPARK] Uwidacznianie mieszania partycjonowania zakresu

Aktualizacje konserwacji

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 4.1.

Środowisko systemu

  • System operacyjny: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 dla klastrów języka Python 2 i 3.5.2 dla klastrów języka Python 3.
  • R: R w wersji 3.4.4 (2018-03-15)
  • Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
    • Kierowca Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
kryptografia 1.5 rowerzysta 0.10.0 Cython 0.24.1
dekorator 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Poduszka 3.3.1
pip 10.0.0b2 warstwa 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
żądania 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 Przeszukać 0.32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Sześć 1.10.0 statsmodels 0.6.1
tornado 5.0.1 traitlety 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 koło 0.31.0
wsgiref 0.1.2

Zainstalowane biblioteki języka R

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
abind 1.4-5 assertthat 0.2.0 backports (backports) 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bitowe 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 rozruch 1.3-20
warzyć 1.0-6 miotła 0.4.4 samochód 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7 codetools 0.2-15 przestrzeń kolorów 1.3-2
commonmark 1.4 — kompilator 3.4.4 kredka 1.3.4
lok 3.2 CVST 0.2-1 data.table 1.10.4-3
usługi Power BI 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 Desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 trawić 0.6.15 dimRed 0.1.0
DoMC 1.3.5 dplyr 0.7.4 Odzyskiwanie po awarii 0.0.3
forcats 0.3.0 foreach 1.4.4 zagraniczny 0.8-69
Gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 klej 1.2.0 Gower 0.1.2
grafika 3.4.4 grDevices 3.4.4 siatka 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
przystań 1.1.1 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iteratory 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 Etykietowania 0.3 krata 0.20-35
lawa 1.6.1 opóźnienie 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 Mapy 3.3.0 maptools 0.9-2
MASA 7.3-49 Macierz 1.2-13 MatrixModels 0.4-1
zapamiętywanie 1.1.0 metody 3.4.4 mgcv 1.8-23
mim 0.5 minqa 1.2.4 mnormt 1.5-5
Metryki modelu 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsxx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 filar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 pochwała 1.0.0 prettyunits 1.0.2
Proc 1.11.0 prodlim 1.6.1 Proto 1.0.0
Psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
przepisy 0.1.2 rewanż 1.0.1 zmień kształt2 1.4.3
Rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 waga 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.0 Rozrzednia 1.77
przestrzenny 7.3-11 Splajnów 3.4.4 sqldf 0.4-11
KWADRAT 2017.10-1 statmod 1.4.30 Statystyki 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
przetrwanie 2.41-3 tcltk 3.4.4 NauczanieDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 narzędzia 3.4.4 viridisLite 0.3.0
wąs 0.3-2 withr 2.1.2 xml2 1.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics strumień 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-cieniowane 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.0.0
com.fasterxml.jackson.core adnotacje jackson 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity parsery jednowołciowości 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metryki —rdzeń 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics serwlety metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx kolekcjoner 0,7
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pirolit 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 0.8.0
org.apache.arrow strzałka w pamięci 0.8.0
org.apache.arrow wektor strzałki 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0 inkubacja
org.apache.calcite calcite-core 1.2.0 inkubacja
org.apache.calcite calcite-linq4j 1.2.0 inkubacja
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy bluszcz 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet kodowanie parquet 1.8.2-databricks1
org.apache.parquet format parquet 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-cieniowany 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-kontynuacja 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 lokalizator hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate moduł sprawdzania poprawności hibernacji 5.1.1.Final
org.iq80.snappy Żwawy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark.spark Nieużywane 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52