Udostępnij za pośrednictwem

Databricks Runtime 16.0 for Machine Learning

  • Artykuł

Środowisko Databricks Runtime 16.0 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 16.0. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również rozproszone trenowanie uczenia głębokiego przy użyciu narzędzi TorchDistributor, DeepSpeed i Ray.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 16.0 ML jest oparte na środowisku Databricks Runtime 16.0. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 16.0, w tym Apache Spark MLlib i SparkR, zobacz uwagi do wydania środowiska Databricks Runtime 16.0.

Nowe pakiety języka Python

Następujące pakiety języka Python zostały dodane do usługi Databricks Runtime ML:

  • kompozytor 0.24.1
  • optuna 3.6.1

Wagi próbek AutoML do prognozowania

Rozwiązanie AutoML obsługuje teraz wagi próbek na potrzeby prognozowania, co pozwala dostosować znaczenie każdego szeregu czasowego na potrzeby trenowania modeli prognozowania w wielu szeregach czasowych. Aby uzyskać więcej informacji, zobacz parametry prognozowania dla interfejsu API Python AutoML.

Użyj widoku w katalogu Unity jako tabeli cech

Teraz możesz użyć widoku w Unity Catalog jako tabeli funkcji. Zobacz Użyj istniejącego widoku w wykazie Unity Catalog jako tabela funkcji.

Inne zmiany

Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor usunięte

Następujące pakiety uwzględnione w poprzednich wersjach środowiska Databricks Runtime ML nie są uwzględniane w środowisku Databricks Runtime 16.0 ML:

  • Horovod
  • HorovodRunner
  • Petastorm
  • spark-tensorflow-distributor

Usługa Databricks zaleca następujące zamienniki:

  • W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow.
  • W przypadku ładowania dużych zestawów danych z magazynu w chmurze usługa Databricks zaleca korzystanie z usługi Mosaic Streaming.
  • W przypadku trenowania rozproszonego dla modelu TensorFlow lub Keras usługa Databricks zaleca korzystanie z technologii Ray. Zobacz Ray on Databricks i dokumentację Ray.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 16.0 ML różni się od środowiska Databricks Runtime 16.0 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 16.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 16.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 16.0 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 16.0 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 16.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db5
  • automl 1.29.0

Aby odtworzyć środowisko Databricks Runtime ML w lokalnym wirtualnym środowisku Python, pobierz plik requirements-16.0.txt i uruchom pip install -r requirements-16.0.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez Databricks, takich jak databricks-automl, databricks-feature-engineering, lub rozwidlenie Databricks hyperopt.

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 alembic 1.13.3
typy z adnotacjami 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 strzała 1.2.3
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
async-lru 2.0.4 attrs 23.1.0 audioread 3.0.1
autokomenda 2.2.2 azure-core 1.31.0 azure-cosmos 4.3.1
azure-identity 1.18.0 azure-storage-blob 12.23.1 azure-storage-file-datalake 12.17.0
Babel 2.11.0 wycofywanie 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 czarny 24.4.2
wybielacz 4.1.0 kierunkowskaz 1.7.0 blis 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cachetools 5.3.3 katalog 2.0.10 kodery kategorii 2.6.3
certyfikat 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer 2.0.4 wyłącznik obwodowy 2.0.0 kliknij 8.1.7
cloudpathlib 0.19.0 cloudpickle 2.2.1 cmdstanpy 1.2.4
kolorowy 0.5.6 colorlog 6.8.2 Komunikacja 0.2.1
kompozytor 0.24.1 słodycze 0.1.5 configparser 5.2.0
contourpy 1.2.0 coolname 2.2.0 kryptografia 42.0.5
rowerzysta 0.11.0 cymem 2.0.8 Cython 3.0.11
dacyt 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.7.0
databricks-sdk 0.30.0 zbiory danych 2.20.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 dekorator 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Przestarzałe 1.2.14
koper 0.3.8 distlib 0.3.8 dm-tree 0.1.8
docstring-to-markdown 0,11 punkty wejścia 0,4 oceniać 0.4.2
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Farama-Powiadomienia 0.0.4
fastjsonschema 2.20.0 koło szybkiego tekstu 0.9.2 filelock 3.13.1
Flask 2.2.5 flatbuffers 24.3.25 fonttools 4.51.0
Fqdn 1.5.1 zamrożona lista 1.4.0 fsspec 2023.5.0
przyszłość 0.18.3 gość 0.4.0 gitdb 4.0.11
GitPython 3.1.37 google-api-core 2.20.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Magazyn w chmurze Google (google-cloud-storage) 2.10.0
google-crc32c 1.6.0 makaron Google 0.2.0 google-resumable-media 2.7.2
googleapis-common-protos 1.65.0 gql 3.5.0 graphql-core 3.2.4
greenlet 3.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 sala gimnastyczna 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
wakacje 0,54 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.27.2 huggingface-hub 0.24.5
idna 3.7 ImageHash 4.3.1 imageio 2.33.1
niezrównoważona nauka 0.12.3 importlib-metadata 6.0.0 importlib_resources 6.4.5
odchylić 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 isoduration 20.11.0 jego niebezpieczeństwo 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.1 Jinja2 3.1.4
jiter 0.5.0 jmespath 1.0.1 joblib 1.4.2
joblibspark 0.5.1 json5 0.9.6 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.19.2 jsonschema-specifications 2023.7.1
jupyter-events 0.10.0 jupyter-lsp 2.2.0 jupyter_client 8.6.0
jupyter_core 5.7.2 jupyter_server 2.14.1 jupyter_server_terminals (terminale serwera Jupyter) 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1
keras 3.5.0 kiwisolver 1.4.4 langchain 0.2.12
langchain-core 0.2.41 langchain-text-splitters (narzędzie do dzielenia tekstu) 0.2.4 kody językowe 3.4.1
langsmith 0.1.129 dane_językowe 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0,4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
narzędzia błyskawiczne 0.11.7 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
matplotlib 3.8.4 moduł matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.14.0
mistune 2.0.4 ml-dtypes 0.4.1 mlflow-skinny 2.15.1
more-itertools 10.3.0 mosaicml-cli 0.6.41 mosaicml-streaming 0.8.0
mpmath 1.3.0 msal 1.31.0 msal-extensions 1.2.0
msgpack 1.1.0 multidict 6.0.4 multimetoda 1.12
przetwarzanie wieloprocesowe 0.70.16 szmurhash 1.0.10 mypy 1.10.0
mypy-extensions 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx 3.2.1 Ninja 1.11.1.1 nltk 3.8.1
nodeenv 1.9.1 notatnik 7.0.8 notebook_shim 0.2.3
numba 0.59.1 numpy 1.26.4 nvidia-ml-py 12.560.30
oauthlib 3.2.0 Oci 2.135.0 openai 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.27.0
opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0 opt_einsum 3.4.0
optree 0.12.1 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.10.7 Zastępuje 7.4.0 opakowanie 24.1
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.3 specyfikacja ścieżki 0.10.3 Patsy 0.5.6
pexpect 4.8.0 phik 0.12.4 poduszka 10.3.0
pip 24.2 platformdirs 3.10.0 kreślenie 5.22.0
wtyczkowy 1.0.0 pmdarima 2.0.4 kundel 1.8.2
portalocker 2.10.1 preshed 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.43 prorok 1.1.5 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.3.14 pyarrow 15.0.2 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
Python-editor 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 kwestionariusz 1.10.0
promień 2.35.0 odwoływanie się 0.30.2 regex 2023.10.3
żądania 2.32.2 requests-oauthlib 1.3.1 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 bogaty 13.3.5 lina 1.12.0
rpds-py 0.10.6 rsa 4.9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 bezpiecznetensory 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 Send2Trash 1.8.2 transformatory zdań 3.0.1
element zdania 0.2.0 setuptools 74.0.0 Shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 Sześć 1.16.0
krajalnica 0.0.8 inteligentne otwieranie 5.2.1 smmap 5.0.0
sniffio 1.3.0 plik dźwiękowy 0.12.1 sitko do zup 2,5
soxr 0.5.0.post1 spacy 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
serio 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.1 statsmodels 0.14.2 sympy 1.12
tabelować 0.9.0 splątane-w-unicode 0.2.0 Wytrzymałość 8.2.2
tablica tensorboard 2.17.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.17.0
tensorboardX 2.6.2.2 tensorflow 2.18.0 tensorflow-estimator 2.15.0
termcolor 2.4.0 zakończony 0.17.1 Tekstowy 0.81.0
tf_keras 2.17.0 cienki 8.2.5 threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizatory 0.19.1 tomli 2.0.1
pochodnia 2.4.0 + procesor optymalizator latarki 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 0.19.0+procesor tornado 6.4.1
tqdm 4.66.4 moduł traitlets 5.14.3 Transformatory 4.44.0
osłona typów 4.3.0 pisarz 0.12.5 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
typy-żądań 2.31.0.0 types-setuptools 68.0.0.0 typy-sześć 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 nienadzorowane uaktualnienia 0.1 Szablon adresu URI 1.3.0
urllib3 1.26.16 moduły sprawdzania poprawności 0.34.0 virtualenv 20.26.2
Wizje 0.7.5 wadllib 1.3.6 wasabi 1.1.3
wcwidth 0.2.5 łasica 0.4.1 kolory sieci Web 24.8.0
webencodings 0.5.1 klient WebSocket 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 whatthepatch 1.0.2 koło 0.43.0
wordcloud 1.9.3 zawinięty 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
Yarl 1.9.3 profilowanie danych 4.9.0 zipp 3.17.0
zstd 1.5.5.1

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 typy z adnotacjami 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 strzałka 1.2.3 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-lru 2.0.4
attrs 23.1.0 audioread 3.0.1 polecenie automatyczne 2.2.2
azure-core 1.31.0 azure-cosmos 4.3.1 azure-identity 1.18.0
usługa Azure Storage Blob 12.23.1 azure-storage-file-datalake 12.17.0 Babel 2.11.0
wycofywanie 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 czarny 24.4.2 wybielacz 4.1.0
kierunkowskaz 1.7.0 błogość 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cachetools 5.3.3
katalog 2.0.10 kodery kategorii 2.6.3 certyfikat 2024.6.2
cffi 1.16.0 chardet 4.0.0 charset-normalizer 2.0.4
wyłącznik obwodowy 2.0.0 kliknij 8.1.7 cloudpathlib 0.19.0
cloudpickle 2.2.1 cmdstanpy 1.2.4 kolorowy 0.5.6
colorlog 6.8.2 comm 0.2.1 kompozytor 0.24.1
słodycze 0.1.5 configparser 5.2.0 contourpy 1.2.0
fajnanazwa 2.2.0 kryptografia 42.0.5 rowerzysta 0.11.0
cymem 2.0.8 Cython 3.0.11 dacyt 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.7.0 databricks-sdk 0.30.0
zbiory danych 2.20.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 dekorator 5.1.1 deepspeed 0.14.4
defusedxml 0.7.1 Przestarzałe 1.2.14 koper 0.3.8
distlib 0.3.8 dm-tree 0.1.8 docstring-to-markdown 0,11
einops 0.8.0 punkty wejścia 0,4 oceniać 0.4.2
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.20.0 koło szybkiego tekstu 0.9.2 filelock 3.13.1
flash_attn 2.5.6 Flask 2.2.5 flatbuffers 24.3.25
fonttools 4.51.0 fqdn 1.5.1 zamrożona lista 1.4.0
fsspec 2023.5.0 przyszłość 0.18.3 gość 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
przechowywanie w chmurze Google 2.10.0 google-crc32c 1.6.0 google-makaron 0.2.0
google-resumable-media 2.7.2 googleapis-common-protos 1.65.0 gql 3.5.0
graphql-core 3.2.4 Zielona nitka (greenlet) 3.0.1 grpcio 1.60.0
status grpcio 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
sala gimnastyczna 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 wakacje 0,54 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
Hugging Face Hub 0.24.5 Idna 3.7 ImageHash 4.3.1
imageio 2.33.1 niezrównoważona nauka 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.4.5 odchylić 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 izoduracja 20.11.0
jegodangerous 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 jedi 0.19.1
Jinja2 3.1.4 dżitter 0.5.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-specifications 2023.7.1 jupyter-events 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 serwer Jupyter 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.5.0 kiwisolver 1.4.4
langchain 0.2.12 langchain-core 0.2.41 langchain-text-splitters 0.2.4
kody językowe 3.4.1 langsmith 0.1.129 language_data 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0,4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 narzędzia-błyskawiczne 0.11.7 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 moduł matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.14.0 rozstrojony 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 msal 1.31.0
msal-extensions 1.2.0 msgpack 1.1.0 multidict 6.0.4
wielometoda 1.12 wieloprocesowość 0.70.16 szmurhash 1.0.10
mypy 1.10.0 mypy-extensions 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 Ninja 1.11.1.1
nltk 3.8.1 nodeenv 1.9.1 notatnik 7.0.8
notebook_shim 0.2.3 numba 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.2.65 nvidia-cuda-cupti-cu12 12.4.99 nvidia-cuda-nvrtc-cu12 12.4.99
nvidia-cuda-runtime-cu12 12.4.99 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.0.44
nvidia-curand-cu12 10.3.5.119 nvidia-cusolver-cu12 11.6.0.99 nvidia-cusparse-cu12 12.3.0.142
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.4.99
nvidia-nvtx-cu12 12.4.99 oauthlib 3.2.0 Oci 2.135.0
openai 1.40.2 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
opt_einsum 3.4.0 optree 0.12.1 optuna 3.6.1
optuna-integration 3.6.0 orjson 3.10.7 Zastępuje 7.4.0
opakowanie 24.1 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.6 pexpect 4.8.0 phik 0.12.4
poduszka 10.3.0 pip 24.2 platformdirs 3.10.0
kreślenie 5.22.0 Pluggy (narzędzie do wtyczek) 1.0.0 pmdarima 2.0.4
kundel 1.8.2 portalocker 2.10.1 preshed 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.43 prorok 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-szpieg 0.3.14 pyarrow 15.0.2
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.65 pycparser 2.21
pydantic 2.8.2 pydantic_core 2.20.1 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing 3.0.9 pyright 1.1.294 pytesseract 0.3.10
python-dateutil 2.9.0.post0 Python-editor 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 python-snappy 0.6.1
pytoolconfig 1.2.6 pytorch-ranger 0.1.1 pytz 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
kwestionariusz 1.10.0 promień 2.35.0 odnoszenie się 0.30.2
regex 2023.10.3 żądania 2.32.2 requests-oauthlib 1.3.1
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 bogaty 13.3.5
lina 1.12.0 rpds-py 0.10.6 rsa 4.9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
safetensors 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
scipy 1.13.1 seaborn 0.13.2 Send2Trash 1.8.2
transformatory zdań 3.0.1 element zdania 0.2.0 setuptools 74.0.0
Shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
Sześć 1.16.0 krajalnica 0.0.8 smart-open 5.2.1
smmap 5.0.0 sniffio 1.3.0 plik dźwiękowy 0.12.1
sitko do zup 2,5 soxr 0.5.0.post1 Proposed Translation: przestronny 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 serio? 2.4.8 ssh-import-id 5,11
stack-data 0.2.0 stanio 0.5.1 statsmodels 0.14.2
sympy 1.12 tabelować 0.9.0 splątane-w-unicode 0.2.0
Wytrzymałość 8.2.2 tablica tensorboard 2.17.0 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.17.0 tensorboardX 2.6.2.2 tensorflow 2.18.0
tensorflow-estimator 2.15.0 termcolor 2.4.0 zakończony 0.17.1
Tekstowy 0.81.0 tf_keras 2.17.0 cienki 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizatory 0.19.1
tomli 2.0.1 pochodnia 2.4.0+cu124 optimizator dla PyTorch 0.3.0
torcheval 0.0.7 torchmetrics 1.4.0.post0 torchvision 0.19.0+cu124
tornado 6.4.1 tqdm 4.66.4 traitlets 5.14.3
Transformatory 4.44.0 triton 3.0.0 strażnik typów 4.3.0
typer 0.12.5 types-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 rodzaje-żądań 2.31.0.0
types-setuptools 68.0.0.0 typy-sześć 1.16.0 types-urllib3 1.26.25.14
typing_extensions 4.11.0 uc-micro-py 1.0.1 ujson 5.10.0
nienadzorowane uaktualnienia 0.1 Szablon URI 1.3.0 urllib3 1.26.16
moduły sprawdzania poprawności 0.34.0 virtualenv 20.26.2 Wizje 0.7.5
wadllib 1.3.6 wasabi 1.1.3 wcwidth 0.2.5
łasica 0.4.1 kolory sieci Web 24.8.0 webencodings 0.5.1
websocket-client 1.8.0 websockets 11.0.3 Werkzeug 3.0.3
whatthepatch 1.0.2 koło 0.43.0 wordcloud 1.9.3
zawinięty 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 Yarl 1.9.3
ydata-profiling - narzędzie do profilowania danych 4.9.0 zipp 3.17.0 zstd 1.5.5.1

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 16.0.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 16.0 środowisko Databricks Runtime 16.0 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0