Udostępnij za pośrednictwem

Databricks Runtime 16.0 for Machine Learning

  • Artykuł

Środowisko Databricks Runtime 16.0 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 16.0. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również rozproszone trenowanie uczenia głębokiego przy użyciu narzędzi TorchDistributor, DeepSpeed i Ray.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 16.0 ML jest oparte na środowisku Databricks Runtime 16.0. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 16.0, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 16.0 .

Nowe pakiety języka Python

Następujące pakiety języka Python zostały dodane do usługi Databricks Runtime ML:

  • kompozytor 0.24.1
  • optuna 3.6.1

Wagi próbek automatycznego uczenia maszynowego na potrzeby prognozowania

Rozwiązanie AutoML obsługuje teraz wagi próbek na potrzeby prognozowania, co pozwala dostosować znaczenie każdego szeregu czasowego na potrzeby trenowania modeli prognozowania w wielu szeregach czasowych. Aby uzyskać więcej informacji, zobacz prognozowanie parameters dla interfejsu API AutoML w języku Python.

Użycie widoku Catalog w Unity jako funkcji table

Teraz możesz użyć widoku w środowisku Unity Catalog jako funkcji table. Zobacz Użyj istniejącego widoku w Unity Catalog jako funkcję table.

Inne zmiany

Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor usunięte

Następujące pakiety uwzględnione w poprzednich wersjach środowiska Databricks Runtime ML nie są uwzględniane w środowisku Databricks Runtime 16.0 ML:

  • Horovod
  • HorovodRunner
  • Petastorm
  • spark-tensorflow-distributor

Usługa Databricks zaleca następujące zamiany:

  • W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow.
  • W przypadku ładowania dużych zestawów danych z magazynu w chmurze usługa Databricks zaleca korzystanie z usługi Mosaic Streaming.
  • W przypadku trenowania rozproszonego dla modelu TensorFlow lub Keras usługa Databricks zaleca korzystanie z technologii Ray. Zobacz Ray on Databricks i dokumentację raya.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 16.0 ML różni się od środowiska Databricks Runtime 16.0 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Biblioteki

W poniższych sekcjach list biblioteki zawarte w środowisku Databricks Runtime 16.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 16.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 16.0 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 16.0 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 16.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db5
  • automl 1.29.0

Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-16.0.txt i uruchom polecenie pip install -r requirements-16.0.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-engineeringlub rozwidlenie usługi Databricks .hyperopt

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 alembic 1.13.3
typy z adnotacjami 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 strzałkę 1.2.3
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
async-lru 2.0.4 attrs 23.1.0 audioread 3.0.1
autopolecenia 2.2.2 azure-core 1.31.0 azure-cosmos 4.3.1
azure-identity 1.18.0 azure-storage-blob 12.23.1 azure-storage-file-datalake 12.17.0
Babel 2.11.0 wycofywanie 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 black (czarny) 24.4.2
wybielacz 4.1.0 kierunkowskaz 1.7.0 blis 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cachetools 5.3.3 katalog 2.0.10 kodery kategorii 2.6.3
certifi 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer 2.0.4 wyłącznik obwodowy 2.0.0 kliknięcie 8.1.7
cloudpathlib 0.19.0 cloudpickle 2.2.1 cmdstanpy 1.2.4
kolorowy 0.5.6 colorlog 6.8.2 Comm 0.2.1
composer 0.24.1 słodycze 0.1.5 configparser 5.2.0
konturowy 1.2.0 nazwa_chłodna 2.2.0 kryptografia 42.0.5
rowerzysta 0.11.0 cymem 2.0.8 Cython 3.0.11
dacite 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.7.0
databricks-sdk 0.30.0 usługi Power BI 2.20.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 dekorator 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Przestarzałe 1.2.14
koper 0.3.8 distlib 0.3.8 dm-tree 0.1.8
docstring-to-markdown 0,11 punkty wejścia 0,4 evaluate 0.4.2
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.20.0 koło szybkiego tekstu 0.9.2 filelock 3.13.1
Flask 2.2.5 flatbuffers 24.3.25 fonttools 4.51.0
Fqdn 1.5.1 zamrożona lista 1.4.0 fsspec 2023.5.0
przyszłość 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.37 google-api-core 2.20.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage 2.10.0
google-crc32c 1.6.0 makaron google 0.2.0 google-resumable-media 2.7.2
googleapis-common-protos 1.65.0 gql 3.5.0 graphql-core 3.2.4
greenlet 3.0.1 grpcio 1.60.0 stan obiektu grpcio 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 sala gimnastyczna 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
wakacje 0,54 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.27.2 przytulanieface-hub 0.24.5
idna 3.7 ImageHash 4.3.1 imageio 2.33.1
niezrównoważona nauka 0.12.3 importlib-metadata 6.0.0 importlib_resources 6.4.5
odchylić 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 isoduration 20.11.0 jegodangerous 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.1 Jinja2 3.1.4
jiter 0.5.0 jmespath 1.0.1 joblib 1.4.2
joblibspark 0.5.1 json5 0.9.6 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.19.2 jsonschema-specifications 2023.7.1
jupyter-events 0.10.0 jupyter-lsp 2.2.0 jupyter_client 8.6.0
jupyter_core 5.7.2 jupyter_server 2.14.1 jupyter_server_terminals 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1
keras 3.5.0 kiwisolver 1.4.4 langchain 0.2.12
langchain-core 0.2.41 langchain-text-splitters 0.2.4 langcodes 3.4.1
langsmith 0.1.129 language_data 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0,4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
lightning-utilities 0.11.7 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Znaczniki języka Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
matplotlib 3.8.4 biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.14.0
mistune 2.0.4 ml-dtypes 0.4.1 mlflow-skinny 2.15.1
więcej itertools 10.3.0 mosaicml-cli 0.6.41 mosaicml-streaming 0.8.0
mpmath 1.3.0 msal 1.31.0 msal-extensions 1.2.0
msgpack 1.1.0 multidict 6.0.4 multimethod 1.12
przetwarzanie wieloprocesowe 0.70.16 szmurhash 1.0.10 mypy 1.10.0
mypy-extensions 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx 3.2.1 Ninja 1.11.1.1 nltk 3.8.1
nodeenv 1.9.1 notes 7.0.8 notebook_shim 0.2.3
numba 0.59.1 numpy 1.26.4 nvidia-ml-py 12.560.30
oauthlib 3.2.0 Oci 2.135.0 openai 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.27.0
opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0 opt_einsum 3.4.0
optree 0.12.1 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.10.7 Zastępuje 7.4.0 opakowanie 24.1
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.6
pexpect 4.8.0 phik 0.12.4 poduszka 10.3.0
pip 24.2 platformdirs 3.10.0 kreślenie 5.22.0
wtyczka 1.0.0 pmdarima 2.0.4 kundel 1.8.2
portalocker 2.10.1 preshed 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.43 prorok 1.1.5 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-szpieg 0.3.14 pyarrow 15.0.2 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
Python-editor 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 pytanie 1.10.0
promień 2.35.0 referencing 0.30.2 regex 2023.10.3
żądania 2.32.2 requests-oauthlib 1.3.1 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rich 13.3.5 lina 1.12.0
rpds-py 0.10.6 rsa 4.9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 bezpiecznetensory 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 Send2Trash 1.8.2 transformatory zdań 3.0.1
element zdania 0.2.0 setuptools 74.0.0 Shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 Sześć 1.16.0
krajalnica 0.0.8 smart-open 5.2.1 smmap 5.0.0
wąchanie 1.3.0 soundfile 0.12.1 zupy 2,5
soxr 0.5.0.post1 spacy 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.1 statsmodels 0.14.2 sympy 1.12
tabulacji 0.9.0 splątane-up-in-unicode 0.2.0 Wytrzymałość 8.2.2
tablica tensorboard 2.17.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.17.0
tensorboardX 2.6.2.2 tensorflow 2.17.0 tensorflow-estimator 2.15.0
termcolor 2.4.0 terminado 0.17.1 Tekstowy 0.81.0
tf_keras 2.17.0 cienki 8.2.5 threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizatory 0.19.1 tomli 2.0.1
pochodnia 2.4.0 + procesor optymalizator latarki 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 0.19.0+procesor tornado 6.4.1
tqdm 4.66.4 traitlety 5.14.3 Transformatory 4.44.0
osłona typów 4.3.0 typer 0.12.5 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
types-requests 2.31.0.0 types-setuptools 68.0.0.0 types-six 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 nienadzorowane uaktualnienia 0.1 Szablon identyfikatora URI 1.3.0
urllib3 1.26.16 moduły sprawdzania poprawności 0.34.0 virtualenv 20.26.2
Wizje 0.7.5 wadllib 1.3.6 wasabi 1.1.3
wcwidth 0.2.5 łasica 0.4.1 kolory sieci Web 24.8.0
webencodings 0.5.1 websocket-client 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 whatthepatch 1.0.2 koło 0.43.0
wordcloud 1.9.3 zawijanie 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
Yarl 1.9.3 profilowanie danych 4.9.0 zipp 3.17.0
zstd 1.5.5.1

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 typy z adnotacjami 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 strzałkę 1.2.3 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-lru 2.0.4
attrs 23.1.0 audioread 3.0.1 autopolecenia 2.2.2
azure-core 1.31.0 azure-cosmos 4.3.1 azure-identity 1.18.0
azure-storage-blob 12.23.1 azure-storage-file-datalake 12.17.0 Babel 2.11.0
wycofywanie 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 black (czarny) 24.4.2 wybielacz 4.1.0
kierunkowskaz 1.7.0 blis 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cachetools 5.3.3
katalog 2.0.10 kodery kategorii 2.6.3 certifi 2024.6.2
cffi 1.16.0 chardet 4.0.0 charset-normalizer 2.0.4
wyłącznik obwodowy 2.0.0 kliknięcie 8.1.7 cloudpathlib 0.19.0
cloudpickle 2.2.1 cmdstanpy 1.2.4 kolorowy 0.5.6
colorlog 6.8.2 Comm 0.2.1 composer 0.24.1
słodycze 0.1.5 configparser 5.2.0 konturowy 1.2.0
nazwa_chłodna 2.2.0 kryptografia 42.0.5 rowerzysta 0.11.0
cymem 2.0.8 Cython 3.0.11 dacite 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.7.0 databricks-sdk 0.30.0
usługi Power BI 2.20.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 dekorator 5.1.1 deepspeed 0.14.4
defusedxml 0.7.1 Przestarzałe 1.2.14 koper 0.3.8
distlib 0.3.8 dm-tree 0.1.8 docstring-to-markdown 0,11
einops 0.8.0 punkty wejścia 0,4 evaluate 0.4.2
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.20.0 koło szybkiego tekstu 0.9.2 filelock 3.13.1
flash_attn 2.5.6 Flask 2.2.5 flatbuffers 24.3.25
fonttools 4.51.0 Fqdn 1.5.1 zamrożona lista 1.4.0
fsspec 2023.5.0 przyszłość 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
google-cloud-storage 2.10.0 google-crc32c 1.6.0 makaron google 0.2.0
google-resumable-media 2.7.2 googleapis-common-protos 1.65.0 gql 3.5.0
graphql-core 3.2.4 greenlet 3.0.1 grpcio 1.60.0
stan obiektu grpcio 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
sala gimnastyczna 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 wakacje 0,54 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
przytulanieface-hub 0.24.5 idna 3.7 ImageHash 4.3.1
imageio 2.33.1 niezrównoważona nauka 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.4.5 odchylić 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 isoduration 20.11.0
jegodangerous 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 jedi 0.19.1
Jinja2 3.1.4 jiter 0.5.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-specifications 2023.7.1 jupyter-events 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.5.0 kiwisolver 1.4.4
langchain 0.2.12 langchain-core 0.2.41 langchain-text-splitters 0.2.4
langcodes 3.4.1 langsmith 0.1.129 language_data 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0,4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 lightning-utilities 0.11.7 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Znaczniki języka Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 biblioteka matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.14.0 mistune 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 więcej itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 msal 1.31.0
msal-extensions 1.2.0 msgpack 1.1.0 multidict 6.0.4
multimethod 1.12 przetwarzanie wieloprocesowe 0.70.16 szmurhash 1.0.10
mypy 1.10.0 mypy-extensions 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 Ninja 1.11.1.1
nltk 3.8.1 nodeenv 1.9.1 notes 7.0.8
notebook_shim 0.2.3 numba 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.2.65 nvidia-cuda-cupti-cu12 12.4.99 nvidia-cuda-nvrtc-cu12 12.4.99
nvidia-cuda-runtime-cu12 12.4.99 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.0.44
nvidia-curand-cu12 10.3.5.119 nvidia-cusolver-cu12 11.6.0.99 nvidia-cusparse-cu12 12.3.0.142
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.4.99
nvidia-nvtx-cu12 12.4.99 oauthlib 3.2.0 Oci 2.135.0
openai 1.40.2 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
opt_einsum 3.4.0 optree 0.12.1 optuna 3.6.1
optuna-integration 3.6.0 orjson 3.10.7 Zastępuje 7.4.0
opakowanie 24.1 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.6 pexpect 4.8.0 phik 0.12.4
poduszka 10.3.0 pip 24.2 platformdirs 3.10.0
kreślenie 5.22.0 wtyczka 1.0.0 pmdarima 2.0.4
kundel 1.8.2 portalocker 2.10.1 preshed 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.43 prorok 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-szpieg 0.3.14 pyarrow 15.0.2
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.65 pycparser 2.21
pydantic 2.8.2 pydantic_core 2.20.1 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing 3.0.9 pyright 1.1.294 pytesseract 0.3.10
python-dateutil 2.9.0.post0 Python-editor 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 python-snappy 0.6.1
pytoolconfig 1.2.6 pytorch-ranger 0.1.1 pytz 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
pytanie 1.10.0 promień 2.35.0 referencing 0.30.2
regex 2023.10.3 żądania 2.32.2 requests-oauthlib 1.3.1
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 13.3.5
lina 1.12.0 rpds-py 0.10.6 rsa 4.9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
bezpiecznetensory 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
scipy 1.13.1 seaborn 0.13.2 Send2Trash 1.8.2
transformatory zdań 3.0.1 element zdania 0.2.0 setuptools 74.0.0
Shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
Sześć 1.16.0 krajalnica 0.0.8 smart-open 5.2.1
smmap 5.0.0 wąchanie 1.3.0 soundfile 0.12.1
zupy 2,5 soxr 0.5.0.post1 spacy 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
stack-data 0.2.0 stanio 0.5.1 statsmodels 0.14.2
sympy 1.12 tabulacji 0.9.0 splątane-up-in-unicode 0.2.0
Wytrzymałość 8.2.2 tablica tensorboard 2.17.0 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.17.0 tensorboardX 2.6.2.2 tensorflow 2.17.0
tensorflow-estimator 2.15.0 termcolor 2.4.0 terminado 0.17.1
Tekstowy 0.81.0 tf_keras 2.17.0 cienki 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizatory 0.19.1
tomli 2.0.1 pochodnia 2.4.0+cu124 optymalizator latarki 0.3.0
torcheval 0.0.7 torchmetrics 1.4.0.post0 torchvision 0.19.0+cu124
tornado 6.4.1 tqdm 4.66.4 traitlety 5.14.3
Transformatory 4.44.0 tryton 3.0.0 osłona typów 4.3.0
typer 0.12.5 types-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 types-requests 2.31.0.0
types-setuptools 68.0.0.0 types-six 1.16.0 types-urllib3 1.26.25.14
typing_extensions 4.11.0 uc-micro-py 1.0.1 ujson 5.10.0
nienadzorowane uaktualnienia 0.1 Szablon identyfikatora URI 1.3.0 urllib3 1.26.16
moduły sprawdzania poprawności 0.34.0 virtualenv 20.26.2 Wizje 0.7.5
wadllib 1.3.6 wasabi 1.1.3 wcwidth 0.2.5
łasica 0.4.1 kolory sieci Web 24.8.0 webencodings 0.5.1
websocket-client 1.8.0 websockets 11.0.3 Werkzeug 3.0.3
whatthepatch 1.0.2 koło 0.43.0 wordcloud 1.9.3
zawijanie 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 Yarl 1.9.3
profilowanie danych 4.9.0 zipp 3.17.0 zstd 1.5.5.1

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 16.0.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 16.0 środowisko Databricks Runtime 16.0 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0