Databricks Runtime 16.0 för Machine Learning
Databricks Runtime 16.0 för Machine Learning ger en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 16.0. Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med TorchDistributor, DeepSpeed och Ray.
Dricks
Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.
Nya funktioner och förbättringar
Databricks Runtime 16.0 ML bygger på Databricks Runtime 16.0. Information om nyheter i Databricks Runtime 16.0, inklusive Apache Spark MLlib och SparkR, finns i viktig information om Databricks Runtime 16.0 .
Nya Python-paket
Följande Python-paket har lagts till i Databricks Runtime ML:
- kompositör 0.24.1
- optuna 3.6.1
AutoML-exempelvikter för prognostisering
AutoML har nu stöd för exempelvikter för prognostisering, så att du kan justera vikten för varje tidsserie för träning av prognosmodeller för flera serier. Mer information finns i prognosparametrarna för AutoML Python API.
Använda en vy i Unity Catalog som en funktionstabell
Nu kan du använda en vy i Unity Catalog som en funktionstabell. Se Använda en befintlig vy i Unity Catalog som en funktionstabell.
Andra förändringar
Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor borttagen
Följande paket som ingick i tidigare versioner av Databricks Runtime ML ingår inte i Databricks Runtime 16.0 ML:
- Horovod
- HorovodRunner
- Petastorm
spark-tensorflow-distributor
Databricks rekommenderar följande ersättningar:
- För distribuerad djupinlärning rekommenderar Databricks att du använder TorchDistributor för distribuerad träning med PyTorch eller API:et
tf.distribute.Strategyför distribuerad träning med TensorFlow. - För att läsa in stora datamängder från molnlagring rekommenderar Databricks att du använder Mosaic Streaming.
- För distribuerad träning för en TensorFlow- eller Keras-modell rekommenderar Databricks att du använder Ray. Se Ray on Databricks och Ray-dokumentationen.
Systemmiljö
Systemmiljön i Databricks Runtime 16.0 ML skiljer sig från Databricks Runtime 16.0 på följande sätt:
- För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 16.0 ML som skiljer sig från de som ingår i Databricks Runtime 16.0.
I detta avsnitt:
- Bibliotek på den översta nivån
- Python-bibliotek
- R-bibliotek
- Java- och Scala-bibliotek (Scala 2.12-kluster)
Bibliotek på den översta nivån
Databricks Runtime 16.0 ML innehåller följande bibliotek på den översta nivån:
- datauppsättningar
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- direktuppspelning
- TensorFlow
- TensorBoard
- Transformatorer
Python-bibliotek
Databricks Runtime 16.0 ML använder virtualenv sig av Python-pakethantering och innehåller många populära ML-paket.
Förutom de paket som anges i följande avsnitt innehåller Även Databricks Runtime 16.0 ML följande paket:
- hyperopt 0.2.7+db5
- automl 1.29.0
Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned filen requirements-16.0.txt och kör pip install -r requirements-16.0.txt. Det här kommandot installerar alla öppen källkod bibliotek som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-engineeringeller Databricks-förgreningen för hyperopt.
Python-bibliotek i CPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | alembic | 1.13.3 |
| annotated-types | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindningar | 21.2.0 | arrow | 1.2.3 |
| Astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 23.1.0 | audioread | 3.0.1 |
| autocommand | 2.2.2 | azure-core | 1.31.0 | azure-cosmos | 4.3.1 |
| azure-identity | 1.18.0 | azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 |
| Babel | 2.11.0 | backoff | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | svart | 24.4.2 |
| blekmedel | 4.1.0 | blinker | 1.7.0 | blis | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| cachetools | 5.3.3 | katalog | 2.0.10 | kategorikodare | 2.6.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kretsbrytare | 2.0.0 | klicka | 8.1.7 |
| cloudpathlib | 0.19.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.4 |
| färgstark | 0.5.6 | colorlog | 6.8.2 | Comm | 0.2.1 |
| composer | 0.24.1 | konfekt | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.2.0 | coolname | 2.2.0 | kryptografi | 42.0.5 |
| cyklist | 0.11.0 | cymem | 2.0.8 | Cython | 3.0.11 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.7.0 |
| databricks-sdk | 0.30.0 | datauppsättningar | 2.20.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | felsökning | 1.6.7 | dekoratör | 5.1.1 |
| djupspeed | 0.14.4 | defusedxml | 0.7.1 | Inaktuell | 1.2.14 |
| dill | 0.3.8 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| docstring-to-markdown | 0,11 | entrypoints | 0,4 | evaluate (utvärdera) | 0.4.2 |
| Verkställande | 0.8.3 | facets-overview | 1.1.1 | Farama-meddelanden | 0.0.4 |
| fastjsonschema | 2.20.0 | fasttexthjul | 0.9.2 | filelock | 3.13.1 |
| Flask | 2.2.5 | flatbuffers | 24.3.25 | fonttools | 4.51.0 |
| Fqdn | 1.5.1 | frozenlist | 1.4.0 | fsspec | 2023.5.0 |
| framtid | 0.18.3 | Gast | 0.4.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 | google-cloud-storage | 2.10.0 |
| google-crc32c | 1.6.0 | google-pasta | 0.2.0 | google-resumable-media | 2.7.2 |
| googleapis-common-protos | 1.65.0 | gql | 3.5.0 | graphql-core | 3.2.4 |
| greenlet | 3.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | gymnastiksal | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.11.0 | hjson | 3.1.0 |
| ferier | 0,54 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.4 | httpx | 0.27.2 | huggingface-hub | 0.24.5 |
| idna | 3.7 | ImageHash | 4.3.1 | imageio | 2.33.1 |
| obalanserad inlärning | 0.12.3 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.5 |
| böja | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | isoduration | 20.11.0 | itsdangerous | 2.2.0 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| jax-jumpy | 1.0.0 | jedi | 0.19.1 | Jinja2 | 3.1.4 |
| jiter | 0.5.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
| joblibspark | 0.5.1 | json5 | 0.9.6 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.19.2 | jsonschema-specifications | 2023.7.1 |
| jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 |
| jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 | jupyterlab_server | 2.25.1 |
| keras | 3.5.0 | kiwisolver | 1.4.4 | langchain | 0.2.12 |
| langchain-core | 0.2.41 | langchain-text-splitters | 0.2.4 | langcodes | 3.4.1 |
| langsmith | 0.1.129 | language_data | 1.2.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | lazy_loader | 0,4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | lightgbm | 4.5.0 |
| lightning-utilities | 0.11.7 | linkify-it-py | 2.0.0 | llvmlite | 0.42.0 |
| lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | memray | 1.14.0 |
| mistune | 2.0.4 | ml-dtypes | 0.4.1 | mlflow-skinny | 2.15.1 |
| more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.8.0 |
| mpmath | 1.3.0 | msal | 1.31.0 | msal-extensions | 1.2.0 |
| msgpack | 1.1.0 | multidict | 6.0.4 | multimethod | 1.12 |
| multiprocess | 0.70.16 | murmurhash | 1.0.10 | mypy | 1.10.0 |
| mypy-extensions | 1.0.0 | namex | 0.0.8 | nbclient | 0.8.0 |
| nbconvert | 7.10.0 | nbformat | 5.9.2 | nest-asyncio | 1.6.0 |
| networkx | 3.2.1 | ninja | 1.11.1.1 | nltk | 3.8.1 |
| nodeenv | 1.9.1 | notebook-fil | 7.0.8 | notebook_shim | 0.2.3 |
| numba | 0.59.1 | numpy | 1.26.4 | nvidia-ml-py | 12.560.30 |
| oauthlib | 3.2.0 | Oci | 2.135.0 | openai | 1.40.2 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.27.0 |
| opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 | opt_einsum | 3.4.0 |
| optree | 0.12.1 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.7 | Åsidosätter | 7.4.0 | emballage | 24.1 |
| Pandas | 1.5.3 | pandocfilter | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | Patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | kudde | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | Pooch | 1.8.2 |
| portalocker | 2.10.1 | fördefinierad | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | profet | 1.1.5 | proto-plus | 1.24.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.3.14 | pyarrow | 15.0.2 | pyarrow-hotfix | 0,6 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 |
| pyccolo | 0.0.65 | pycparser | 2.21 | pydantisk | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 |
| python-editor | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.10.0 | python-snappy | 0.6.1 | pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | frågetecken | 1.10.0 |
| stråle | 2.35.0 | refererar | 0.30.2 | regex | 2023.10.3 |
| begäranden | 2.32.2 | requests-oauthlib | 1.3.1 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | rik | 13.3.5 | rep | 1.12.0 |
| rpds-py | 0.10.6 | RSA | 4,9 | ruamel.yaml | 0.18.6 |
| ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | meningstransformatorer | 3.0.1 |
| meningsstycke | 0.2.0 | setuptools | 74.0.0 | Shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | sex | 1.16.0 |
| Slicer | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | soundfile | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.4.8 | ssh-import-id | 5,11 | stack-data | 0.2.0 |
| stanio | 0.5.1 | statsmodels | 0.14.2 | sympy | 1.12 |
| Tabellform | 0.9.0 | trasslig upp-i-unicode | 0.2.0 | orubblighet | 8.2.2 |
| tensorboard | 2.17.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.17.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.17.0 | tensorflow-estimator | 2.15.0 |
| termcolor | 2.4.0 | terminado | 0.17.1 | text | 0.81.0 |
| tf_keras | 2.17.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizers | 0.19.1 | tomli | 2.0.1 |
| fackla | 2.4.0+cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.4.0.post0 | torchvision | 0.19.0+cpu | tromb | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformatorer | 4.44.0 |
| typeguard | 4.3.0 | typer | 0.12.5 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| types-requests | 2.31.0.0 | types-setuptools | 68.0.0.0 | types-six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | obevakade uppgraderingar | 0,1 | URI-mall | 1.3.0 |
| urllib3 | 1.26.16 | validatorer | 0.34.0 | virtualenv | 20.26.2 |
| Visioner | 0.7.5 | wadllib | 1.3.6 | Wasabi | 1.1.3 |
| wcwidth | 0.2.5 | vessla | 0.4.1 | webcolors | 24.8.0 |
| webencodings | 0.5.1 | websocket-client | 1.8.0 | websockets | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch | 1.0.2 | hjul | 0.43.0 |
| wordcloud | 1.9.3 | wrapt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| Yarl | 1.9.3 | ydata-profilering | 4.9.0 | zipp | 3.17.0 |
| zstd | 1.5.5.1 |
Python-bibliotek i GPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 0.33.0 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annotated-types | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.0 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindningar | 21.2.0 | arrow | 1.2.3 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| attrs | 23.1.0 | audioread | 3.0.1 | autocommand | 2.2.2 |
| azure-core | 1.31.0 | azure-cosmos | 4.3.1 | azure-identity | 1.18.0 |
| azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 | Babel | 2.11.0 |
| backoff | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | svart | 24.4.2 | blekmedel | 4.1.0 |
| blinker | 1.7.0 | blis | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| katalog | 2.0.10 | kategorikodare | 2.6.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| kretsbrytare | 2.0.0 | klicka | 8.1.7 | cloudpathlib | 0.19.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.4 | färgstark | 0.5.6 |
| colorlog | 6.8.2 | Comm | 0.2.1 | composer | 0.24.1 |
| konfekt | 0.1.5 | configparser | 5.2.0 | contourpy | 1.2.0 |
| coolname | 2.2.0 | kryptografi | 42.0.5 | cyklist | 0.11.0 |
| cymem | 2.0.8 | Cython | 3.0.11 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.7.0 | databricks-sdk | 0.30.0 |
| datauppsättningar | 2.20.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| felsökning | 1.6.7 | dekoratör | 5.1.1 | djupspeed | 0.14.4 |
| defusedxml | 0.7.1 | Inaktuell | 1.2.14 | dill | 0.3.8 |
| distlib | 0.3.8 | dm-tree | 0.1.8 | docstring-to-markdown | 0,11 |
| einops | 0.8.0 | entrypoints | 0,4 | evaluate (utvärdera) | 0.4.2 |
| Verkställande | 0.8.3 | facets-overview | 1.1.1 | Farama-meddelanden | 0.0.4 |
| fastjsonschema | 2.20.0 | fasttexthjul | 0.9.2 | filelock | 3.13.1 |
| flash_attn | 2.5.6 | Flask | 2.2.5 | flatbuffers | 24.3.25 |
| fonttools | 4.51.0 | Fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | framtid | 0.18.3 | Gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| google-cloud-storage | 2.10.0 | google-crc32c | 1.6.0 | google-pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gymnastiksal | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | ferier | 0,54 | htmlmin | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.4 | httpx | 0.27.2 |
| huggingface-hub | 0.24.5 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | obalanserad inlärning | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.4.5 | böja | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| itsdangerous | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.5.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-specifications | 2023.7.1 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.2.12 | langchain-core | 0.2.41 | langchain-text-splitters | 0.2.4 |
| langcodes | 3.4.1 | langsmith | 0.1.129 | language_data | 1.2.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0,4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.7 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.14.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.8.0 | mpmath | 1.3.0 | msal | 1.31.0 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimethod | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.10 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | notebook-fil | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.2.65 | nvidia-cuda-cupti-cu12 | 12.4.99 | nvidia-cuda-nvrtc-cu12 | 12.4.99 |
| nvidia-cuda-runtime-cu12 | 12.4.99 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.0.44 |
| nvidia-curand-cu12 | 10.3.5.119 | nvidia-cusolver-cu12 | 11.6.0.99 | nvidia-cusparse-cu12 | 12.3.0.142 |
| nvidia-ml-py | 12.560.30 | nvidia-nccl-cu12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.4.99 |
| nvidia-nvtx-cu12 | 12.4.99 | oauthlib | 3.2.0 | Oci | 2.135.0 |
| openai | 1.40.2 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 |
| opt_einsum | 3.4.0 | optree | 0.12.1 | optuna | 3.6.1 |
| optuna-integration | 3.6.0 | orjson | 3.10.7 | Åsidosätter | 7.4.0 |
| emballage | 24.1 | Pandas | 1.5.3 | pandocfilter | 1.5.0 |
| paramiko | 3.4.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| Patsy | 0.5.6 | pexpect | 4.8.0 | phik | 0.12.4 |
| kudde | 10.3.0 | pip | 24.2 | platformdirs | 3.10.0 |
| plotly | 5.22.0 | pluggy | 1.0.0 | pmdarima | 2.0.4 |
| Pooch | 1.8.2 | portalocker | 2.10.1 | fördefinierad | 3.0.9 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.43 | profet | 1.1.5 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | py-spy | 0.3.14 | pyarrow | 15.0.2 |
| pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.6 | pyccolo | 0.0.65 | pycparser | 2.21 |
| pydantisk | 2.8.2 | pydantic_core | 2.20.1 | pyflakes | 3.2.0 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| PyNaCl | 1.5.0 | pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pytesseract | 0.3.10 |
| python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 | python-json-logger | 2.0.7 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | python-snappy | 0.6.1 |
| pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 | pytz | 2024.1 |
| PyWavelets | 1.5.0 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| frågetecken | 1.10.0 | stråle | 2.35.0 | refererar | 0.30.2 |
| regex | 2023.10.3 | begäranden | 2.32.2 | requests-oauthlib | 1.3.1 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | rik | 13.3.5 |
| rep | 1.12.0 | rpds-py | 0.10.6 | RSA | 4,9 |
| ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | s3transfer | 0.10.2 |
| safetensors | 0.4.4 | scikit-image | 0.23.2 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | Send2Trash | 1.8.2 |
| meningstransformatorer | 3.0.1 | meningsstycke | 0.2.0 | setuptools | 74.0.0 |
| Shap | 0.46.0 | shellingham | 1.5.4 | simplejson | 3.17.6 |
| sex | 1.16.0 | Slicer | 0.0.8 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.3.0 | soundfile | 0.12.1 |
| soupsieve | 2.5 | soxr | 0.5.0.post1 | spacy | 3.7.5 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 |
| sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5,11 |
| stack-data | 0.2.0 | stanio | 0.5.1 | statsmodels | 0.14.2 |
| sympy | 1.12 | Tabellform | 0.9.0 | trasslig upp-i-unicode | 0.2.0 |
| orubblighet | 8.2.2 | tensorboard | 2.17.0 | tensorboard-data-server | 0.7.2 |
| tensorboard-plugin-profile | 2.17.0 | tensorboardX | 2.6.2.2 | tensorflow | 2.17.0 |
| tensorflow-estimator | 2.15.0 | termcolor | 2.4.0 | terminado | 0.17.1 |
| text | 0.81.0 | tf_keras | 2.17.0 | thinc | 8.2.5 |
| threadpoolctl | 2.2.0 | tifffile | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizers | 0.19.1 |
| tomli | 2.0.1 | fackla | 2.4.0+cu124 | torch-optimizer | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.4.0.post0 | torchvision | 0.19.0+cu124 |
| tromb | 6.4.1 | tqdm | 4.66.4 | traitlets | 5.14.3 |
| Transformatorer | 4.44.0 | Triton | 3.0.0 | typeguard | 4.3.0 |
| typer | 0.12.5 | types-protobuf | 3.20.3 | types-psutil | 5.9.0 |
| types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 | types-requests | 2.31.0.0 |
| types-setuptools | 68.0.0.0 | types-six | 1.16.0 | types-urllib3 | 1.26.25.14 |
| typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 | ujson | 5.10.0 |
| obevakade uppgraderingar | 0,1 | URI-mall | 1.3.0 | urllib3 | 1.26.16 |
| validatorer | 0.34.0 | virtualenv | 20.26.2 | Visioner | 0.7.5 |
| wadllib | 1.3.6 | Wasabi | 1.1.3 | wcwidth | 0.2.5 |
| vessla | 0.4.1 | webcolors | 24.8.0 | webencodings | 0.5.1 |
| websocket-client | 1.8.0 | websockets | 11.0.3 | Werkzeug | 3.0.3 |
| whatthepatch | 1.0.2 | hjul | 0.43.0 | wordcloud | 1.9.3 |
| wrapt | 1.14.1 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.4.1 | yapf | 0.33.0 | Yarl | 1.9.3 |
| ydata-profilering | 4.9.0 | zipp | 3.17.0 | zstd | 1.5.5.1 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 16.0.
Java- och Scala-bibliotek (Scala 2.12-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 16.0 innehåller Databricks Runtime 16.0 ML följande JAR:er:
CPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |