Delen via

Databricks Runtime 15.4 LTS voor Machine Learning

  • Artikel

Databricks Runtime 15.4 LTS voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 15.4 LTS. Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML ondersteunt ook gedistribueerde deep learning-training met behulp van TorchDistributor.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Tip

Als u releaseopmerkingen voor Databricks Runtime-versies wilt zien die end-of-support (EoS) hebben bereikt, raadpleegt u de releaseopmerkingen voor Databricks Runtime. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Nieuwe functies en verbeteringen

Databricks Runtime 15.4 LTS ML is gebaseerd op Databricks Runtime 15.4 LTS. Zie de releaseopmerkingen voor Databricks Runtime 15.4 LTS, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 15.4 LTS .

AutoML-voorbeeldgewichten voor classificatie

AutoML ondersteunt nu voorbeeldgewichten voor classificatie, zodat u het belang van elke klasse kunt aanpassen tijdens de training van het classificatiemodel. Zie de classificatieparameters voor de AutoML Python-API voor meer informatie.

Wijzigingen in de Databricks Feature Engineering-client

Zie de releaseopmerkingen van de functie-engineeringclient voor informatie over wat er nieuw is in de Python-API van Databricks Feature Engineering.

Andere wijzigingen

Petastorm is nu afgeschaft

Het Petastorm-pakket is nu afgeschaft. Releases na 15.4 LTS ML hebben dit pakket niet vooraf geïnstalleerd. Mosaic Streaming is de aanbevolen vervanging voor het laden van grote gegevenssets uit cloudopslag.

Spark Tensorflow-distributeur is nu afgeschaft

Het spark-tensorflow-distributor pakket is nu afgeschaft. Releases na 15.4 LTS ML hebben dit pakket niet vooraf geïnstalleerd. Ray on Databricks is de aanbevolen vervanging voor gedistribueerde training van een Tensorflow- of Keras-model.

Systeemomgeving

De systeemomgeving in Databricks Runtime 15.4 LTS ML verschilt als volgt van Databricks Runtime 15.4 LTS:

  • Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Bibliotheken

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 15.4 LTS ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 15.4 LTS.

In deze sectie:

Bibliotheken met de hoogste laag

Databricks Runtime 15.4 LTS ML bevat de volgende bibliotheken met de hoogste laag:

Python-bibliotheken

Databricks Runtime 15.4 LTS ML gebruikt virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 15.4 LTS ML ook de volgende pakketten:

  • hyperopt 0.2.7+db3
  • sparkdl-3.0.0_db1
  • automl 1.28.0

De Python-omgeving van Databricks Runtime ML reproduceren in uw lokale virtuele Python-omgeving:

  1. Download het requirements-15.4.txt-bestand .
  2. Voer op Ubuntu-systemen uit sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev om systeembibliotheken te installeren.
  3. Voer pip install -r requirements-15.4.txt --extra-index-url https://download.pytorch.org/whl/cpu uit. Met deze opdracht worden alle opensourcebibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden er geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, of de Databricks-fork van hyperopt of horovod.

Python-bibliotheken op CPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchrone time-out 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 zwart 23.3.0 bleken 4.1.0
oogklep 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.4.0
catalogus 2.0.10 category-encoders 2.6.3 certifi 2023.7.22
cffiffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
circuitbreaker 1.4.0 klikken 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kleurrijk 0.5.6
comm 0.1.2 suikergoed 0.1.4 configparser 5.2.0
contourpy 1.0.5 cryptografie 41.0.3 wielrijder 0.11.0
cymem 2.0.8 Cython 0.29.32 daciet 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.6.0 databricks-sdk 0.20.0
dataclasses-json 0.6.7 gegevenssets 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 foutopsporing 1.6.7 decorateur 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Afgeschaft 1.2.14
dille 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 invoerpunten 0,4 evaluate 0.4.2
Uitvoeren 0.8.3 facets-overview 1.1.1 Farama-Meldingen 0.0.4
fastjsonschema 2.20.0 fasttext 0.9.2 filelock 3.13.4
Flask 2.2.5 flatbuffers 24.3.25 fonttools 4.25.0
geblokkeerde lijst 1.3.3 fsspec 2023.5.0 toekomst 0.18.3
gast 0.4.0 gitdb 4.0.11 GitPython 3.1.27
google-api-core 2.18.0 google-auth 2.21.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.1 google-cloud-storage 2.10.0 google-crc32c 1.5.0
google-pasta 0.2.0 google-resumable-media 2.7.1 googleapis-common-protos 1.63.0
greenlet 2.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 gymnastiekzaal 0.28.1
h11 0.14.0 h5py 3.10.0 hjson 3.1.0
vakantie 0,45 horovod 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.2 httpx 0.27.0
huggingface-hub 0.23.4 idna 3.4 ImageHash 4.3.1
imageio 2.31.1 onevenwichtig leren 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.4.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jax-jumpy 1.0.0
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.17.3
jupyter-server 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 keras 3.2.1 sleutelhanger 23.5.0
kiwisolver 1.4.4 langchain 0.1.20 langchain-community 0.0.38
langchain-core 0.1.52 langchain-text-splitters 0.0.2 langcodes 3.4.0
langsmith 0.1.63 language_data 1.2.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0,2
libclang 15.0.6.1 librosa 0.10.1 lightgbm 4.3.0
linkify-it-py 2.0.0 llvmlite 0.40.0 lxml 4.9.2
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.1.1
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
marshmallow 3.21.2 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.13.3
mistune 0.8.4 ml-dtypes 0.3.2 mlflow-skinny 2.13.1
more-itertools 8.10.0 mozaïekml-streaming 0.7.4 mpmath 1.3.0
msal 1.29.0 msal-extensions 1.2.0 msgpack 1.0.8
multidict 6.0.2 multimethod 1.12 meerdere processen 0.70.14
murmurhash 1.0.10 mypy-extensions 0.4.3 namex 0.0.8
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
ninja 1.11.1.1 nltk 3.8.1 notebook 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia-ml-py 12.555.43 oauthlib 3.2.0 Oci 2.126.4
openai 1.35.3 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.25.0 opentelemetry-sdk 1.25.0 opentelemetry-semantic-conventions 0.46b0
opt-einsum 3.3.0 optree 0.12.1 orjson 3.10.6
verpakking 23.2 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare 0.7.5 Kussen 9.4.0
pit 23.2.1 platformdirs 3.10.0 plotly 5.9.0
pmdarima 2.0.4 Pooch 1.8.1 portalocker 2.10.1
vooraf geslagen 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
profeet 1.1.5 proto-plus 1.24.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.1 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pyodbc 4.0.38 pyOpenSSL 23.2.0 pyparsing 3.0.9
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 straal 2.20.0 regex 2022.7.9
requests 2.31.0 requests-oauthlib 1.3.1 rich 13.7.1
RSA 4.9 s3transfer 0.10.2 safetensors 0.4.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy 1.11.1
seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
zinstransformatoren 2.7.0 zinsstuk 0.1.99 setuptools 68.0.0
Shap 0.44.0 simplejson 3.17.6 Zes 1.16.0
Slicer 0.0.7 slim openen 5.2.1 smmap 5.0.0
sniffio 1.2.0 soundfile 0.12.1 soepsieve 2.4
soxr 0.3.7 spatie 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
stack-data 0.2.0 stanio 0.5.1 statsmodels 0.14.0
sympy 1.11.1 tangled-up-in-unicode 0.2.0 vasthoudendheid 8.2.2
tensorboard 2.16.2 tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1
tensorboardX 2.6.2.2 tensorflow 2.16.1 tensorflow-estimator 2.15.0
tensorflow-io-gcs-filesystem 0.37.1 termcolor 2.4.0 terminado 0.17.1
Tekstuele 0.63.3 tf_keras 2.16.0 thinc 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizers 0.19.0
fakkel 2.3.1+cpu torcheval 0.0.7 torchvision 0.18.1+cpu
tornado 6.3.2 tqdm 4.65.0 traitlets 5.7.1
Transformers 4.41.2 typeguard 2.13.3 Typer 0.9.4
typen-inspecteren 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 upgrades zonder toezicht 0,1
urllib3 1.26.16 virtualenv 20.24.2 Visioenen 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth 0.2.5
wezel 0.3.4 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.3 wiel 0.38.4 wordcloud 1.9.3
wrapt 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profilering 4.5.1 zipp 3.11.0
zstd 1.5.5.1

Python-bibliotheken op GPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchrone time-out 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 zwart 23.3.0 bleken 4.1.0
oogklep 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.4.0
catalogus 2.0.10 category-encoders 2.6.3 certifi 2023.7.22
cffiffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
circuitbreaker 1.4.0 klikken 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kleurrijk 0.5.6
comm 0.1.2 suikergoed 0.1.4 configparser 5.2.0
contourpy 1.0.5 cryptografie 41.0.3 wielrijder 0.11.0
cymem 2.0.8 Cython 0.29.32 daciet 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.6.0 databricks-sdk 0.20.0
dataclasses-json 0.6.7 gegevenssets 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 foutopsporing 1.6.7 decorateur 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Afgeschaft 1.2.14
dille 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.8.0 invoerpunten 0,4
evaluate 0.4.2 Uitvoeren 0.8.3 facets-overview 1.1.1
Farama-Meldingen 0.0.4 fastjsonschema 2.20.0 fasttext 0.9.2
filelock 3.13.4 flash-attn 2.5.9.post1 Flask 2.2.5
flatbuffers 24.3.25 fonttools 4.25.0 geblokkeerde lijst 1.3.3
fsspec 2023.5.0 toekomst 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
google-cloud-storage 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.0 greenlet 2.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 gymnastiekzaal 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 vakantie 0,45
horovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 huggingface-hub 0.23.4
idna 3.4 ImageHash 4.3.1 imageio 2.31.1
onevenwichtig leren 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
itsdangerous 2.0.1 jax-jumpy 1.0.0 jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.17.3 jupyter-server 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
keras 3.2.1 sleutelhanger 23.5.0 kiwisolver 1.4.4
langchain 0.1.20 langchain-community 0.0.38 langchain-core 0.1.52
langchain-text-splitters 0.0.2 langcodes 3.4.0 langsmith 0.1.63
language_data 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0,2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 linkify-it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.1.1 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 marshmallow 3.21.2
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.13.4 mistune 0.8.4
ml-dtypes 0.3.2 mlflow-skinny 2.13.1 more-itertools 8.10.0
mozaïekml-streaming 0.7.4 mpmath 1.3.0 msal 1.30.0
msal-extensions 1.2.0 msgpack 1.0.8 multidict 6.0.2
multimethod 1.12 meerdere processen 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 namex 0.0.8 nbclassic 0.5.5
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 3.1 ninja 1.11.1.1
nltk 3.8.1 notebook 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy 1.23.5 nvidia-cublas-cu12 12.1.3.1
nvidia-cuda-cupti-cu12 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105
nvidia-cudnn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106
nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106 nvidia-ml-py 12.555.43
nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.5.82 nvidia-nvtx-cu12 12.1.105
oauthlib 3.2.0 Oci 2.126.4 openai 1.35.3
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.25.0
opentelemetry-sdk 1.25.0 opentelemetry-semantic-conventions 0.46b0 opt-einsum 3.3.0
optree 0.12.1 orjson 3.10.6 verpakking 23.2
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Kussen 9.4.0 pit 23.2.1
platformdirs 3.10.0 plotly 5.9.0 pmdarima 2.0.4
Pooch 1.8.1 portalocker 2.10.1 vooraf geslagen 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 profeet 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.1 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing 3.0.9 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6,0 pyzmq 23.2.0
straal 2.20.0 regex 2022.7.9 requests 2.31.0
requests-oauthlib 1.3.1 rich 13.7.1 RSA 4.9
s3transfer 0.10.2 safetensors 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 zinstransformatoren 2.7.0
zinsstuk 0.1.99 setuptools 68.0.0 Shap 0.44.0
simplejson 3.17.6 Zes 1.16.0 Slicer 0.0.7
slim openen 5.2.1 smmap 5.0.0 sniffio 1.2.0
soundfile 0.12.1 soepsieve 2.4 soxr 0.3.7
spatie 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.1 statsmodels 0.14.0 sympy 1.11.1
tangled-up-in-unicode 0.2.0 vasthoudendheid 8.2.2 tensorboard 2.16.2
tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2
tensorflow 2.16.1 tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.37.1
termcolor 2.4.0 terminado 0.17.1 Tekstuele 0.63.3
tf_keras 2.16.0 thinc 8.2.3 threadpoolctl 2.2.0
tifffile 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizers 0.19.0 fakkel 2.3.1+cu121
torcheval 0.0.7 torchvision 0.18.1+cu121 tornado 6.3.2
tqdm 4.65.0 traitlets 5.7.1 Transformers 4.41.2
Triton 2.3.1 typeguard 2.13.3 Typer 0.9.4
typen-inspecteren 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 upgrades zonder toezicht 0,1
urllib3 1.26.16 virtualenv 20.24.2 Visioenen 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth 0.2.5
wezel 0.3.4 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.3 wiel 0.38.4 wordcloud 1.9.3
wrapt 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profilering 4.5.1 zipp 3.11.0
zstd 1.5.5.1

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 15.4 LTS.

Java- en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 15.4 LTS bevat Databricks Runtime 15.4 LTS ML de volgende JAR's:

CPU-clusters

Groeps-id Artefact-id Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-clusters

Groeps-id Artefact-id Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0