Databricks Runtime 16.2 för Machine Learning
Databricks Runtime 16.2 för Machine Learning erbjuder en färdigto-go miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 16.2. Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för automatisk träning av maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med TorchDistributor, DeepSpeed och Ray.
Tips
Information om hur du ser versionsinformation för Databricks Runtime-versioner som har nått slutet på supporten (EoS) finns i Versionsinformation för Databricks Runtime med avslutad support. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.
Nya funktioner och förbättringar
Databricks Runtime 16.2 ML bygger på Databricks Runtime 16.2. Nyheter om Databricks Runtime 16.2, inklusive Apache Spark MLlib och SparkR, finns i Databricks Runtime 16.2 versionsinformation.
Systemmiljö
Systemmiljön i Databricks Runtime 16.2 ML skiljer sig från Databricks Runtime 16.2 på följande sätt.
- För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 16.2 ML som skiljer sig från de som ingår i Databricks Runtime 16.2.
I det här avsnittet:
- bibliotek på den översta nivån
- Python-bibliotek
- R-bibliotek
- Java- och Scala-bibliotek (Scala 2.12-kluster)
Bibliotek på den översta nivån
Databricks Runtime 16.2 ML innehåller följande -bibliotek på den översta nivån:
- datauppsättningar
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- strömmande
- TensorFlow
- TensorBoard
- transformatorer
Python-bibliotek
Databricks Runtime 16.2 ML använder virtualenv för Python-pakethantering och innehåller många populära ML-paket.
Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 16.2 ML även följande paket:
- hyperopt 0.2.8+db1
- automl 1.30.0
Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned requirements-16.2.txt-filen och kör pip install -r requirements-16.2.txt. Det här kommandot installerar alla bibliotek med öppen källkod som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-engineeringeller Databricks-förgrening av hyperopt.
Python-bibliotek i CPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 1.2.1 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | alembic | 1.14.0 |
| annoterade typer | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.3 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindningar | 21.2.0 | pil | 1.2.3 |
| Astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 23.1.0 | audioread | 3.0.1 |
| automatikkommando | 2.2.2 | azure-core | 1.32.0 | azure-cosmos | 4.3.1 |
| azure-identity | 1.19.0 | azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 |
| Babel | 2.11.0 | dra sig tillbaka | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | svart | 24.4.2 |
| blekmedel | 4.1.0 | blinker | 1.7.0 | lycka | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| cachetools | 5.3.3 | katalog | 2.0.10 | kategorikodare | 2.6.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kretsbrytare | 2.0.0 | klicka | 8.1.7 |
| cloudpathlib | 0.20.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 |
| färgstark | 0.5.6 | colorlog | 6.9.0 | Kommunikation | 0.2.1 |
| kompositör | 0.28.0 | konfekt | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.2.0 | coolname | 2.2.0 | kryptografi | 42.0.5 |
| cyklist | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.11 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-funktionsteknik | 0.8.0 |
| databricks-sdk | 0.30.0 | Datamängder | 3.2.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | dekoratör | 5.1.1 |
| DeepSpeed | 0.16.2 | defusedxml | 0.7.1 | Utfasad | 1.2.15 |
| dill | 0.3.8 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| docstring-to-markdown | 0.11 | einops | 0.8.0 | ingångspunkter | 0.4 |
| evaluera | 0.4.3 | utförande | 0.8.3 | facetter-översikt | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastjsonschema | 2.21.1 | Fasttext-hjul | 0.9.2 |
| filelock | 3.13.1 | Flaska | 2.2.5 | flatbuffers | 24.12.23 |
| fonttools | 4.51.0 | Fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | framtid | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| google-cloud-storage lagringstjänst | 2.10.0 | google-crc32c | 1.6.0 | Google-pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gymnasieskola | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | ferier | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.27.1 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | obalanserad inlärning | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | böja | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| itsdangerous | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-specifikationer | 2023.7.1 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.14 | langchain-core | 0.3.30 | språkkedje-textdelare | 0.3.5 |
| språkkoder | 3.5.0 | langsmith | 0.1.133 | language_data | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | blixtverktyg | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown –it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | felstämd | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.10.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimetod | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | anteckningsbok | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.59.6 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions | 0.50b0 | opt_einsum | 3.4.0 |
| optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | Åsidosätter | 7.4.0 | emballage | 24.1 |
| Pandor | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | Patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | kudde | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggliknande | 1.0.0 | pmdarima | 2.0.4 | Pooch | 1.8.2 |
| portalocker | 2.10.1 | förberedd | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | profet | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantisk | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | frågeformulär | 2.1.0 | stråle | 2.37.0 |
| Referenser | 0.30.2 | regex | 2023-10-03 | Förfrågningar | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | rik | 13.3.5 | rep | 1.12.0 |
| rpds-py | 0.10.6 | RSA | 4.9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | meningstransformatorer | 3.3.1 |
| meningsstycke | 0.2.0 | setuptools | 74.0.0 | Shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | sex | 1.16.0 |
| Skivare | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | ljudfil | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | rymdlik | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| stanio | 0.5.1 | statsmodels | 0.14.2 | sympy | 1.13.1 |
| Tabellform | 0.9.0 | trasslig-up-in-unicode | 0.2.0 | uthållighet | 8.2.2 |
| TensorBoard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.18.0 | tensorflow-estimator (en komponent i TensorFlow för modeller) | 2.15.0 |
| termcolor | 2.5.0 | färdig | 0.17.1 | text | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokeniserare | 0.21.0 | tomli | 2.0.1 |
| fackla | 2.5.1+cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.6.0 | torchvision | 0.20.1+cpu | tornado | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformatorer | 4.48.0 |
| typskydd | 4.4.1 | typer | 0.15.1 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| typer av förfrågningar | 2.31.0.0 | types-setuptools | 68.0.0.0 | types-six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | obevakade uppgraderingar | 0.1 | URI-mall | 1.3.0 |
| urllib3 | 1.26.16 | validatorer | 0.34.0 | virtualenv | 20.26.2 |
| Visioner | 0.7.5 | wadllib | 1.3.6 | Wasabi | 1.1.3 |
| wcwidth | 0.2.5 | vessla | 0.4.1 | webcolors | 24.11.1 |
| webencodings | 0.5.1 | websocket-klient | 1.8.0 | websockets | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch | 1.0.2 | hjul | 0.43.0 |
| ordmoln | 1.9.4 | wrapt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| Yarl | 1.9.3 | ydata-profilering | 4.9.0 | blixtlås | 3.17.0 |
| zstd | 1.5.5.1 |
Python-bibliotek i CPU-kluster
Observera
PyTorch använder CUDA PyPI-beroenden för att tillhandahålla CUDA-stöd i stället för CUDA-biblioteksversionerna som är inbyggda i Databricks Runtime 16.2 ML.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 1.2.1 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annoterade typer | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.3 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindningar | 21.2.0 | pil | 1.2.3 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| attrs | 23.1.0 | audioread | 3.0.1 | automatikkommando | 2.2.2 |
| azure-core | 1.32.0 | azure-cosmos | 4.3.1 | azure-identity | 1.19.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | Babel | 2.11.0 |
| dra sig tillbaka | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | svart | 24.4.2 | blekmedel | 4.1.0 |
| blinker | 1.7.0 | lycka | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| katalog | 2.0.10 | kategorikodare | 2.6.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| kretsbrytare | 2.0.0 | klicka | 8.1.7 | cloudpathlib | 0.20.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 | färgstark | 0.5.6 |
| colorlog | 6.9.0 | Kommunikation | 0.2.1 | kompositör | 0.28.0 |
| konfekt | 0.1.5 | configparser | 5.2.0 | contourpy | 1.2.0 |
| coolname | 2.2.0 | kryptografi | 42.0.5 | cyklist | 0.11.0 |
| cymem | 2.0.11 | Cython | 3.0.11 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-funktionsteknik | 0.8.0 | databricks-sdk | 0.30.0 |
| Datamängder | 3.2.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | dekoratör | 5.1.1 | DeepSpeed | 0.16.2 |
| defusedxml | 0.7.1 | Utfasad | 1.2.15 | dill | 0.3.8 |
| distlib | 0.3.8 | dm-tree | 0.1.8 | docstring-to-markdown | 0.11 |
| einops | 0.8.0 | ingångspunkter | 0.4 | evaluera | 0.4.3 |
| utförande | 0.8.3 | facetter-översikt | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.21.1 | Fasttext-hjul | 0.9.2 | filelock | 3.13.1 |
| flash-attn | 2.7.2.post1 | Flaska | 2.2.5 | flatbuffers | 24.12.23 |
| fonttools | 4.51.0 | Fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | framtid | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| google-cloud-storage lagringstjänst | 2.10.0 | google-crc32c | 1.6.0 | Google-pasta | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gymnasieskola | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | ferier | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.27.1 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | obalanserad inlärning | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | böja | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| itsdangerous | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | jedi | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-specifikationer | 2023.7.1 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.14 | langchain-core | 0.3.30 | språkkedje-textdelare | 0.3.5 |
| språkkoder | 3.5.0 | langsmith | 0.1.133 | language_data | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | blixtverktyg | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown –it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | felstämd | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.10.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimetod | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | ninja | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | anteckningsbok | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 |
| nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 |
| nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.59.6 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions | 0.50b0 | opt_einsum | 3.4.0 |
| optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | Åsidosätter | 7.4.0 | emballage | 24.1 |
| Pandor | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | Patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | kudde | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggliknande | 1.0.0 | pmdarima | 2.0.4 | Pooch | 1.8.2 |
| portalocker | 2.10.1 | förberedd | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | profet | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantisk | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | frågeformulär | 2.1.0 | stråle | 2.37.0 |
| Referenser | 0.30.2 | regex | 2023-10-03 | Förfrågningar | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | rik | 13.3.5 | rep | 1.12.0 |
| rpds-py | 0.10.6 | RSA | 4.9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | meningstransformatorer | 3.3.1 |
| meningsstycke | 0.2.0 | setuptools | 74.0.0 | Shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | sex | 1.16.0 |
| Skivare | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | ljudfil | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | rymdlik | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| stanio | 0.5.1 | statsmodels | 0.14.2 | sympy | 1.13.1 |
| Tabellform | 0.9.0 | trasslig-up-in-unicode | 0.2.0 | uthållighet | 8.2.2 |
| TensorBoard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.18.0 | tensorflow-estimator (en komponent i TensorFlow för modeller) | 2.15.0 |
| termcolor | 2.5.0 | färdig | 0.17.1 | text | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokeniserare | 0.21.0 | tomli | 2.0.1 |
| fackla | 2.5.1+cu124 | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.6.0 | torchvision | 0.20.1+cu124 | tornado | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | Transformatorer | 4.48.0 |
| Triton | 3.1.0 | typskydd | 4.4.1 | typer | 0.15.1 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | typer av förfrågningar | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| types-six | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | obevakade uppgraderingar | 0.1 |
| URI-mall | 1.3.0 | urllib3 | 1.26.16 | validatorer | 0.34.0 |
| virtualenv | 20.26.2 | Visioner | 0.7.5 | wadllib | 1.3.6 |
| Wasabi | 1.1.3 | wcwidth | 0.2.5 | vessla | 0.4.1 |
| webcolors | 24.11.1 | webencodings | 0.5.1 | websocket-klient | 1.8.0 |
| websockets | 11.0.3 | Werkzeug | 3.0.3 | whatthepatch | 1.0.2 |
| hjul | 0.43.0 | ordmoln | 1.9.4 | wrapt | 1.14.1 |
| xgboost | 2.0.3 | xgboost-ray | 0.1.19 | xxhash | 3.4.1 |
| yapf | 0.33.0 | Yarl | 1.9.3 | ydata-profilering | 4.9.0 |
| blixtlås | 3.17.0 | zstd | 1.5.5.1 |
R-bibliotek
R-biblioteken är identiska med de R-bibliotek i Databricks Runtime 16.2.
Java- och Scala-bibliotek (Scala 2.12-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 16.2 innehåller Databricks Runtime 16.2 ML följande JAR:er:
CPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |