Sdílet prostřednictvím

Databricks Runtime 16.0 pro Machine Learning

  • Článek

Databricks Runtime 16.0 pro Machine Learning poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 16.0. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí torchDistributorutoru, DeepSpeed a Ray.

Tip

Poznámky k verzi pro verze Databricks Runtime, které dosáhly konce podpory (EoS), najdete v poznámkách k verzi Databricks Runtime pro ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Nové funkce a vylepšení

Databricks Runtime 16.0 ML je postaven na Databricks Runtime 16.0. Informace o novinkách v Databricks Runtime 16.0, včetně Apache Spark MLlib a SparkR, najdete ve zprávě k vydání verze Databricks Runtime 16.0 .

Nové balíčky Pythonu

Do databricks Runtime ML byly přidány následující balíčky Pythonu:

  • skladatel 0.24.1
  • optuna 3.6.1

Váhy vzorku AutoML pro prognózování

AutoML teď podporuje ukázkové váhy pro prognózování a umožňuje upravit důležitost každé časové řady pro trénování modelů prognózování s více časovými řadami. Další informace najdete v předpovědi parameters pro rozhraní AutoML Python API.

Použijte zobrazení v Unity Catalog jako funkci table

Nyní můžete použít zobrazení v Unity Catalog jako funkci table. Viz Použití existujícího zobrazení v Unity Catalog jako funkce table.

Další změny

Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor odebraný

Následující balíčky, které byly zahrnuty v předchozích verzích Databricks Runtime ML, nejsou součástí Databricks Runtime 16.0 ML:

  • Horovod
  • HorovodRunner
  • Petastorm
  • spark-tensorflow-distributor

Databricks doporučuje následující náhrady:

  • Pro distribuované hluboké učení doporučuje Databricks používat TorchDistributor pro distribuované trénování pomocí PyTorchu nebo tf.distribute.Strategy rozhraní API pro distribuované trénování pomocí TensorFlow.
  • Pro načítání velkých datových sad z cloudového úložiště doporučuje Databricks používat streaming typu Mosaic.
  • Pro distribuované trénování pro model TensorFlow nebo Keras doporučuje Databricks používat Ray. Podívejte se na Ray na Databricks a dokumentaci k Rayi.

Prostředí systému

Systémové prostředí v Databricks Runtime 16.0 ML se liší od Databricks Runtime 16.0 následujícím způsobem:

  • Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Knihovny

Následující části list knihovny zahrnuté v Databricks Runtime 16.0 ML, které se liší od knihoven zahrnutých v Databricks Runtime 16.0.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 16.0 ML obsahuje následující knihovny nejvyšší úrovně:

Knihovny Pythonu

Databricks Runtime 16.0 ML používá virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 16.0 ML také následující balíčky:

  • hyperopt 0.2.7+db5
  • automl 1.29.0

Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-16.0.txt a spusťte pip install -r requirements-16.0.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-engineeringnebo fork Databricks fork hyperopt.

Knihovny Pythonu v clusterech procesorů

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 alembik 1.13.3
anotované typy 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 šipka 1.2.3
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
async-lru 2.0.4 attrs 23.1.0 audioread 3.0.1
automatické příkazy 2.2.2 Azure-Core 1.31.0 azure-cosmos 4.3.1
azure-identity 1.18.0 azure-storage-blob 12.23.1 azure-storage-file-datalake 12.17.0
Babylón 2.11.0 zásady 2.2.1 backports.tarfile 1.2.0
šifra 3.2.0 krásnásoup4 4.12.3 černý 24.4.2
bělit 4.1.0 blinkr 1.7.0 blis 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cachetools 5.3.3 katalog 2.0.10 kodéry kategorií 2.6.3
certifi 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer 2.0.4 jistič 2.0.0 kliknutí 8.1.7
cloudpathlib 0.19.0 cloudpickle 2.2.1 cmdstanpy 1.2.4
barevný 0.5.6 colorlog 6.8.2 Komunikace 0.2.1
composer 0.24.1 cukroví 0.1.5 configparser 5.2.0
obrysová křivka 1.2.0 coolname 2.2.0 kryptografie 42.0.5
cyklista 0.11.0 cymem 2.0.8 Cython 3.0.11
dacite 1.8.1 databricks-automl-runtime 0.2.21 databricks -feature-engineering 0.7.0
Databricks-sdk 0.30.0 Power BI 2.20.0 dbl-tempo 0.1.26
dbus-python 1.3.2 ladění 1.6.7 dekoratér 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Zastaralé 1.2.14
kopr 0.3.8 distlib 0.3.8 dm-tree 0.1.8
docstring-to-markdown 0,11 vstupní body 0,4 evaluate 0.4.2
vykonávající 0.8.3 přehled omezujících vlastností 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.20.0 fasttext-wheel 0.9.2 filelock 3.13.1
Flask 2.2.5 flatbuffers 24.3.25 fonttools 4.51.0
Fqdn 1.5.1 zmrazený seznam 1.4.0 fsspec 2023.5.0
budoucnost 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.37 google-api-core 2.20.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage 2.10.0
google-crc32c 1.6.0 google-pasta 0.2.0 google-resumable-media 2.7.2
googleapis-common-protos 1.65.0 gql 3.5.0 graphql-core 3.2.4
zelenálet 3.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 tělocvična 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
prázdniny 0.54 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.27.2 huggingface-hub 0.24.5
idna 3.7 ImageHash 4.3.1 imageio 2.33.1
nevyvážené učení 0.12.3 importlib-metadata 6.0.0 importlib_resources 6.4.5
skloňovat 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 isoduration 20.11.0 jehodangerous 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 Jedi 0.19.1 Jinja2 3.1.4
jiter 0.5.0 jmespath 1.0.1 joblib 1.4.2
joblibspark 0.5.1 json5 0.9.6 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.19.2 jsonschema-specifications 2023.7.1
jupyter-events 0.10.0 jupyter-lsp 2.2.0 jupyter_client 8.6.0
jupyter_core 5.7.2 jupyter_server 2.14.1 jupyter_server_terminals 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1
keras 3.5.0 verizonsolver 1.4.4 langchain 0.2.12
langchain-core 0.2.41 langchain-text-splitters 0.2.4 langcodes 3.4.1
langsmith 0.1.129 language_data 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0,4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
bleskové nástroje 0.11.7 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Druh žraloka 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.14.0
špatně zamyšlení 2.0.4 ml-dtypes 0.4.1 mlflow-hubená 2.15.1
more-itertools 10.3.0 mosaicml-cli 0.6.41 mosaicml-streaming 0.8.0
mpmath 1.3.0 msal 1.31.0 msal-extensions 1.2.0
msgpack 1.1.0 multidict 6.0.4 multimethod 1.12
paralelní proces 0.70.16 murmurhash 1.0.10 mypy 1.10.0
mypy-extensions 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx 3.2.1 ninja 1.11.1.1 nltk 3.8.1
nodeenv 1.9.1 poznámkový blok 7.0.8 notebook_shim 0.2.3
numba 0.59.1 numpy 1.26.4 nvidia-ml-py 12.560.30
oauthlib 3.2.0 Oci 2.135.0 openai 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.27.0
opentelemetry-sdk 1.27.0 opentelemetry-sémantic-conventions 0,48b0 opt_einsum 3.4.0
optree 0.12.1 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.10.7 potlačuje 7.4.0 balení 24.1
pandas 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 bábovka 0.5.6
pexpect 4.8.0 Phik 0.12.4 polštář 10.3.0
jádro 24.2 platformdirs 3.10.0 plotly 5.22.0
pluggy 1.0.0 pmdarima 2.0.4 psisko 1.8.2
portalocker 2.10.1 předběžně připravený 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.43 prorok 1.1.5 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.3.14 pyarrow 15.0.2 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
python-editor 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 dotazník 1.10.0
paprsek 2.35.0 referencing 0.30.2 regex 2023.10.3
žádosti 2.32.2 requests-oauthlib 1.3.1 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rich 13.3.5 lano 1.12.0
rpds-py 0.10.6 rsa 4,9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 safetensors 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 Send2Trash 1.8.2 větné transformátory 3.0.1
věta 0.2.0 setuptools 74.0.0 Shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 Šest 1.16.0
kráječ 0.0.8 inteligentní otevření 5.2.1 smmap 5.0.0
sniffio 1.3.0 soundfile 0.12.1 polévky 2.5
soxr 0.5.0.post1 spacy 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.1 statsmodels 0.14.2 sympy 1.12
sestavit v tabulku 0.9.0 tangled-up-in-unicode 0.2.0 houževnatost 8.2.2
tensorboard 2.17.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.17.0
tensorboardX 2.6.2.2 tensorflow 2.17.0 tensorflow-estimator 2.15.0
termcolor 2.4.0 terminado 0.17.1 textový 0.81.0
tf_keras 2.17.0 tenká 8.2.5 threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizátory 0.19.1 tomli 2.0.1
pochodeň 2.4.0+cpu torch-optimizer 0.3.0 torcheval 0.0.7
metriky 1.4.0.post0 torchvision 0.19.0+cpu tornádo 6.4.1
tqdm 4.66.4 vlastnosti 5.14.3 Transformátory 4.44.0
typeguard 4.3.0 Typer 0.12.5 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
types-requests 2.31.0.0 types-setuptools 68.0.0.0 types-six 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 bezobslužné upgrady 0,1 uri-template 1.3.0
urllib3 1.26.16 validátory 0.34.0 virtualenv 20.26.2
vize 0.7.5 wadllib 1.3.6 wasabi 1.1.3
wcwidth 0.2.5 lasice 0.4.1 webcolors 24.8.0
webencodings 0.5.1 websocket-client 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 whatthepatch 1.0.2 kolo 0.43.0
wordcloud 1.9.3 wrapt 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.3 Profilace ydata 4.9.0 zipp 3.17.0
zstd 1.5.5.1

Knihovny Pythonu v clusterech GPU

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anotované typy 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 šipka 1.2.3 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-lru 2.0.4
attrs 23.1.0 audioread 3.0.1 automatické příkazy 2.2.2
Azure-Core 1.31.0 azure-cosmos 4.3.1 azure-identity 1.18.0
azure-storage-blob 12.23.1 azure-storage-file-datalake 12.17.0 Babylón 2.11.0
zásady 2.2.1 backports.tarfile 1.2.0 šifra 3.2.0
krásnásoup4 4.12.3 černý 24.4.2 bělit 4.1.0
blinkr 1.7.0 blis 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cachetools 5.3.3
katalog 2.0.10 kodéry kategorií 2.6.3 certifi 2024.6.2
cffi 1.16.0 chardet 4.0.0 charset-normalizer 2.0.4
jistič 2.0.0 kliknutí 8.1.7 cloudpathlib 0.19.0
cloudpickle 2.2.1 cmdstanpy 1.2.4 barevný 0.5.6
colorlog 6.8.2 Komunikace 0.2.1 composer 0.24.1
cukroví 0.1.5 configparser 5.2.0 obrysová křivka 1.2.0
coolname 2.2.0 kryptografie 42.0.5 cyklista 0.11.0
cymem 2.0.8 Cython 3.0.11 dacite 1.8.1
databricks-automl-runtime 0.2.21 databricks -feature-engineering 0.7.0 Databricks-sdk 0.30.0
Power BI 2.20.0 dbl-tempo 0.1.26 dbus-python 1.3.2
ladění 1.6.7 dekoratér 5.1.1 deepspeed 0.14.4
defusedxml 0.7.1 Zastaralé 1.2.14 kopr 0.3.8
distlib 0.3.8 dm-tree 0.1.8 docstring-to-markdown 0,11
einops 0.8.0 vstupní body 0,4 evaluate 0.4.2
vykonávající 0.8.3 přehled omezujících vlastností 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.20.0 fasttext-wheel 0.9.2 filelock 3.13.1
flash_attn 2.5.6 Flask 2.2.5 flatbuffers 24.3.25
fonttools 4.51.0 Fqdn 1.5.1 zmrazený seznam 1.4.0
fsspec 2023.5.0 budoucnost 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
google-cloud-storage 2.10.0 google-crc32c 1.6.0 google-pasta 0.2.0
google-resumable-media 2.7.2 googleapis-common-protos 1.65.0 gql 3.5.0
graphql-core 3.2.4 zelenálet 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
tělocvična 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 prázdniny 0.54 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
huggingface-hub 0.24.5 idna 3.7 ImageHash 4.3.1
imageio 2.33.1 nevyvážené učení 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.4.5 skloňovat 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 isoduration 20.11.0
jehodangerous 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 Jedi 0.19.1
Jinja2 3.1.4 jiter 0.5.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-specifications 2023.7.1 jupyter-events 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.5.0 verizonsolver 1.4.4
langchain 0.2.12 langchain-core 0.2.41 langchain-text-splitters 0.2.4
langcodes 3.4.1 langsmith 0.1.129 language_data 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0,4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 bleskové nástroje 0.11.7 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Druh žraloka 1.2.0
marisa-trie 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.14.0 špatně zamyšlení 2.0.4 ml-dtypes 0.4.1
mlflow-hubená 2.15.1 more-itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 msal 1.31.0
msal-extensions 1.2.0 msgpack 1.1.0 multidict 6.0.4
multimethod 1.12 paralelní proces 0.70.16 murmurhash 1.0.10
mypy 1.10.0 mypy-extensions 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 ninja 1.11.1.1
nltk 3.8.1 nodeenv 1.9.1 poznámkový blok 7.0.8
notebook_shim 0.2.3 numba 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.2.65 nvidia-cuda-cupti-cu12 12.4.99 nvidia-cuda-nvrtc-cu12 12.4.99
nvidia-cuda-runtime-cu12 12.4.99 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.0.44
nvidia-curand-cu12 10.3.5.119 nvidia-cusolver-cu12 11.6.0.99 nvidia-cusparse-cu12 12.3.0.142
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.4.99
nvidia-nvtx-cu12 12.4.99 oauthlib 3.2.0 Oci 2.135.0
openai 1.40.2 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-sémantic-conventions 0,48b0
opt_einsum 3.4.0 optree 0.12.1 optuna 3.6.1
optuna-integration 3.6.0 orjson 3.10.7 potlačuje 7.4.0
balení 24.1 pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
bábovka 0.5.6 pexpect 4.8.0 Phik 0.12.4
polštář 10.3.0 jádro 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 pmdarima 2.0.4
psisko 1.8.2 portalocker 2.10.1 předběžně připravený 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.43 prorok 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
py-cpuinfo 9.0.0 py-spy 0.3.14 pyarrow 15.0.2
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.65 pycparser 2.21
pydantic 2.8.2 pydantic_core 2.20.1 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing 3.0.9 pyright 1.1.294 pytesseract 0.3.10
python-dateutil 2.9.0.post0 python-editor 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 python-snappy 0.6.1
pytoolconfig 1.2.6 pytorch-ranger 0.1.1 pytz 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
dotazník 1.10.0 paprsek 2.35.0 referencing 0.30.2
regex 2023.10.3 žádosti 2.32.2 requests-oauthlib 1.3.1
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 13.3.5
lano 1.12.0 rpds-py 0.10.6 rsa 4,9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
safetensors 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
scipy 1.13.1 seaborn 0.13.2 Send2Trash 1.8.2
větné transformátory 3.0.1 věta 0.2.0 setuptools 74.0.0
Shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
Šest 1.16.0 kráječ 0.0.8 inteligentní otevření 5.2.1
smmap 5.0.0 sniffio 1.3.0 soundfile 0.12.1
polévky 2.5 soxr 0.5.0.post1 spacy 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
stack-data 0.2.0 stanio 0.5.1 statsmodels 0.14.2
sympy 1.12 sestavit v tabulku 0.9.0 tangled-up-in-unicode 0.2.0
houževnatost 8.2.2 tensorboard 2.17.0 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.17.0 tensorboardX 2.6.2.2 tensorflow 2.17.0
tensorflow-estimator 2.15.0 termcolor 2.4.0 terminado 0.17.1
textový 0.81.0 tf_keras 2.17.0 tenká 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizátory 0.19.1
tomli 2.0.1 pochodeň 2.4.0+cu124 torch-optimizer 0.3.0
torcheval 0.0.7 metriky 1.4.0.post0 torchvision 0.19.0+cu124
tornádo 6.4.1 tqdm 4.66.4 vlastnosti 5.14.3
Transformátory 4.44.0 Triton 3.0.0 typeguard 4.3.0
Typer 0.12.5 types-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 types-requests 2.31.0.0
types-setuptools 68.0.0.0 types-six 1.16.0 types-urllib3 1.26.25.14
typing_extensions 4.11.0 uc-micro-py 1.0.1 ujson 5.10.0
bezobslužné upgrady 0,1 uri-template 1.3.0 urllib3 1.26.16
validátory 0.34.0 virtualenv 20.26.2 vize 0.7.5
wadllib 1.3.6 wasabi 1.1.3 wcwidth 0.2.5
lasice 0.4.1 webcolors 24.8.0 webencodings 0.5.1
websocket-client 1.8.0 websockets 11.0.3 Werkzeug 3.0.3
whatthepatch 1.0.2 kolo 0.43.0 wordcloud 1.9.3
wrapt 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.3
Profilace ydata 4.9.0 zipp 3.17.0 zstd 1.5.5.1

Knihovny jazyka R

Knihovny R jsou stejné jako knihovny R v Databricks Runtime 16.0.

Knihovny Java a Scala (cluster Scala 2.12)

Kromě knihoven Java a Scala v Databricks Runtime 16.0 obsahuje Databricks Runtime 16.0 ML následující jary:

Clustery procesoru

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clustery GPU

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0