Databricks Runtime 15.0 för Machine Learning (EoS)
Kommentar
Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.
Databricks Runtime 15.0 för Machine Learning ger en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 15.0 (EoS). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med Horovod.
Nya funktioner och förbättringar
Databricks Runtime 15.0 ML bygger på Databricks Runtime 15.0. Information om nyheter i Databricks Runtime 15.0, inklusive Apache Spark MLlib och SparkR, se versionsinformationen för Databricks Runtime 15.0 (EoS).
Brytande ändringar
Äldre Databricks CLI installeras inte längre som standard
I Databricks Runtime 14.3 LTS ML och nedan, eftersom den förinstallerade versionen av MLflow krävde äldre Databricks CLI (databricks/databricks-cli), installerades den automatiskt i $PATH. Databricks Runtime 15.0 ML innehåller MLflow version 2.10.2, som inte kräver det äldre CLI.
Från och med Databricks Runtime 15.0 ML installeras inte längre äldre Databricks CLI automatiskt i $PATH. Det här är en icke-bakåtkompatibel ändring för användare som är beroende av att det äldre CLI installeras i körningen. Kommandon som %sh databricks ... inte längre fungerar i Databricks Runtime 15.0 ML och senare.
Om du vill fortsätta använda den äldre versionen av Databricks CLI från en notebook, installerar du det som ett klusterbibliotek eller notebook-bibliotek. Det nya Databricks CLI (databricks/cli) är tillgängligt från webbterminalen. Mer information finns i Använda webbterminal och Databricks CLI.
MLeap är inte längre tillgängligt från och med Databricks Runtime 15.0 ML
MLeap är inte längre tillgängligt i Databricks Runtime 15.0 ML och senare. För att paketera modeller för distribution till JVM-baserade ramverk rekommenderar Databricks att du använder ONNX-formatet.
Utfasning av Horovod och HorovodRunner
Horovod och HorovodRunner är nu inaktuella. För distribuerad djupinlärning rekommenderar Databricks att du använder TorchDistributor för distribuerad träning med PyTorch eller API:et tf.distribute.Strategy för distribuerad träning med TensorFlow. Horovod och HorovodRunner är förinstallerade i Databricks Runtime 15.0 ML, men tas bort i nästa större Databricks Runtime ML-version.
Anmärkning
horovod.spark stöder inte pyarrowversionerna 11.0 och senare (se relevant GitHub-problem). Databricks Runtime 15.0 ML innehåller pyarrow version 14.0.1. Om du vill använda horovod.spark med Databricks Runtime 15.0 ML eller senare måste du installera pyarrow manuellt och ange en version under 11.0.
Systemmiljö
Systemmiljön i Databricks Runtime 15.0 ML skiljer sig från Databricks Runtime 15.0 på följande sätt:
- För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 15.0 ML som skiljer sig från de som ingår i Databricks Runtime 15.0.
I detta avsnitt:
- Bibliotek på den översta nivån
- Python-bibliotek
- R-bibliotek
- Java- och Scala-bibliotek (Scala 2.12-kluster)
Bibliotek på den översta nivån
Databricks Runtime 15.0 ML innehåller följande bibliotek på den översta nivån:
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
- (Inaktuell) Horovod och HorovodRunner
Python-bibliotek
Databricks Runtime 15.0 ML används virtualenv för Python-pakethantering och innehåller många populära ML-paket.
Förutom de paket som anges i följande avsnitt innehåller Databricks Runtime 15.0 ML även följande paket:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned filen requirements-15.0.txt och kör pip install -r requirements-15.0.txt. Det här kommandot installerar alla öppen källkod bibliotek som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-storeeller Databricks-förgreningen för hyperopt.
Python-bibliotek i CPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindningar | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| attrs | 22.1.0 | ljudläsning | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
| återanrop | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| svart | 23.3.0 | blekmedel | 4.1.0 | välsignad | 1.20.0 |
| blinker | 1.4 | lycka | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | katalog | 2.0.10 |
| kategorikodare | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | klicka | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| färgstark | 0.5.6 | Comm | 0.1.2 | konfekt | 0.1.4 |
| configparser | 5.2.0 | contourpy | 1.0.5 | kryptografi | 41.0.3 |
| cyklist | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-funktionsteknik | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | datauppsättningar | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| dekoratör | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| dill | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | ingångspunkter | 0,4 | utvärdera | 0.4.1 |
| utförande | 0.8.3 | facetter-översikt | 1.1.1 | Farama-meddelanden | 0.0.4 |
| fastjsonschema | 2.19.1 | snabbtext | 0.9.2 | filelock | 3.9.0 |
| Flaska | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
| frozenlist | 1.3.3 | fsspec | 2023.5.0 | framtid | 0.18.3 |
| Gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.17.1 | google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 |
| google-pasta | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
| gpustat | 1.1.1 | greenlet | 2.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| gymnasium | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
| hjson | 3.1.0 | ferier | 0,38 | horovod (slaviskt ringdans) | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
| ImageHash | 4.3.1 | imageio | 2.31.1 | obalanserad inlärning | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 8.0.4 | isodate | 0.6.1 | itsdangerous | 2.0.1 |
| jax-jumpy | 1.0.0 | jedi | 0.18.1 | Jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2.4 |
| jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
| keras | 2.15.0 | nyckelring | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.3 | langchain-community | 0.0.20 | langchain-core | 0.1.23 |
| språkkoder | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0.2 |
| libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| Mako | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.1 | skumgodis | 3.21.1 | matplotlib | 3.7.2 |
| matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | felställa | 0.8.4 |
| ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
| mpmath | 1.3.0 | msgpack | 1.0.8 | multidict | 6.0.2 |
| multimetod | 1.11.2 | multiprocess | 0.70.14 | murmurhash | 1.0.10 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| networkx | 3.1 | ninja | 1.11.1.1 | nltk | 3.8.1 |
| anteckningsbok | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
| numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
| openai | 1.9.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opt-einsum | 3.3.0 | emballage | 23.2 | Pandas | 2.0.3 |
| pandocfilter | 1.5.0 | paramiko | 2.9.2 | parso | 0.8.3 |
| pathspec | 0.10.3 | Patsy | 0.5.3 | petastorm | 0.12.1 |
| pexpect | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
| Kudde | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | pmdarima | 2.0.4 | Pooch | 1.8.1 |
| fördefinierad | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| profet | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantisk | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc | 4.0.38 | pyparsing | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
| PyYAML | 6,0 | pyzmq | 23.2.0 | stråle | 2.9.3 |
| regex | 2022.7.9 | begäranden | 2.31.0 | requests-oauthlib | 1.3.1 |
| Svaren | 0.13.3 | rik | 13.7.1 | RSA | 4,9 |
| s3transfer | 0.10.0 | safetensors | 0.3.2 | scikit-image | 0.20.0 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | meningstransformatorer | 2.2.2 |
| meningsstycke | 0.1.99 | setuptools | 68.0.0 | Shap | 0.44.0 |
| simplejson | 3.17.6 | sex | 1.16.0 | Skivare | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
| ljudfil | 0.12.1 | soupsieve | 2.4 | soxr | 0.3.7 |
| flummig | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| seriöst | 2.4.8 | ssh-import-id | 5,11 | stack-data | 0.2.0 |
| stanio | 0.3.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
| trasslig upp-i-unicode | 0.2.0 | ihärdighet | 8.2.2 | tensorboard | 2.15.1 |
| tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 | tensorboardX | 2.6.2.2 |
| tensorflow-cpu | 2.15.0 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
| termcolor | 2.4.0 | slutförd | 0.17.1 | thinc | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokeniserare | 0.15.0 |
| fackla | 2.1.2+cpu | torcheval | 0.0.7 | torchvision | 0.16.2+cpu |
| tornado | 6.3.2 | tqdm | 4.65.0 | traitlets | 5.7.1 |
| Transformatorer | 4.36.2 | typvakt | 2.13.3 | typer | 0.9.0 |
| skrivkontroll | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
| ujson | 5.4.0 | obevakade uppgraderingar | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Visioner | 0.7.5 | wadllib | 1.3.6 |
| Wasabi | 1.1.2 | wcwidth | 0.2.5 | vessla | 0.3.4 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
| hjul | 0.38.4 | widgetsnbextension | 4.0.5 | Ordmoln | 1.9.3 |
| wrapt | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| Jarl | 1.8.1 | ydata-profilering | 4.5.1 | blixtlås | 3.11.0 |
Python-bibliotek i GPU-kluster
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindningar | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| attrs | 22.1.0 | Ljuduppläsning | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
| Återringning | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| svart | 23.3.0 | blekmedel | 4.1.0 | välsignad | 1.20.0 |
| körriktningsvisare | 1.4 | lycka | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | katalog | 2.0.10 |
| kategorikodare | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | klicka | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| färgstark | 0.5.6 | Kommunikation | 0.1.2 | konfekt | 0.1.4 |
| configparser | 5.2.0 | contourpy | 1.0.5 | kryptografi | 41.0.3 |
| cyklist | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-funktionsutveckling | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | datauppsättningar | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| dekoratör | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| dill | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | einops | 0.7.0 | ingångspunkter | 0,4 |
| utvärdera | 0.4.1 | Utföra | 0.8.3 | översikt över aspekter | 1.1.1 |
| Farama-meddelanden | 0.0.4 | fastjsonschema | 2.19.1 | snabbtext | 0.9.2 |
| filelock | 3.9.0 | flash-attn | 2.5.0 | Flaska | 2.2.5 |
| flatbuffers | 23.5.26 | fonttools-verktyg | 4.25.0 | frozenlist | 1.3.3 |
| fsspec | 2023.5.0 | framtid | 0.18.3 | Gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 | google-pasta | 0.2.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
| greenlet | 2.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | gymnasium | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
| ferier | 0,38 | horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
| httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub | 0.20.2 | idna | 3.4 | ImageHash | 4.3.1 |
| imageio | 2.31.1 | obalanserad inlärning | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | jax-jumpy | 1.0.0 |
| jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 2.4 | jsonschema | 4.17.3 |
| jupyter-server | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 | keras | 2.15.0 |
| nyckelring | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
| langchain-community | 0.0.20 | langchain-core | 0.1.23 | langcodes | 3.3.0 |
| langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0.2 | libclang | 16.0.6 |
| librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| marshmallow | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | feljustera | 0.8.4 | ml-dtypes | 0.2.0 |
| mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
| msgpack | 1.0.8 | multidikt | 6.0.2 | multimetod | 1.11.2 |
| multiprocess | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| ninja | 1.11.1.1 | nltk | 3.8.1 | anteckningsbok | 6.5.4 |
| notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
| nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | openai | 1.9.0 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
| emballage | 23.2 | Pandas | 2.0.3 | pandocfilter | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
| Patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.4 | pickleshare | 0.7.5 | Kudde | 9.4.0 |
| pip | 23.2.1 | platformdirs | 3.10.0 | plotly | 5.9.0 |
| pmdarima | 2.0.4 | Pooch | 1.8.1 | förbeskärd | 3.0.9 |
| prompt-toolkit | 3.0.36 | profet | 1.1.5 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantisk | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
| Python-redigerare | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
| PyWavelets | 1.4.1 | PyYAML | 6,0 | pyzmq | 23.2.0 |
| stråle | 2.9.3 | regex | 2022.7.9 | begäranden | 2.31.0 |
| requests-oauthlib | 1.3.1 | Svaren | 0.13.3 | rik | 13.7.1 |
| RSA | 4,9 | s3transfer | 0.10.0 | safetensors | 0.3.2 |
| scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
| seaborn | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| meningstransformatorer | 2.2.2 | meningsstycke | 0.1.99 | setuptools | 68.0.0 |
| Shap | 0.44.0 | simplejson | 3.17.6 | sex | 1.16.0 |
| Skärare | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.2.0 | ljudfil | 0.12.1 | soupsieve | 2.4 |
| soxr | 0.3.7 | rymlig | 3.7.2 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | seriöst | 2.4.8 | ssh-import-id | 5,11 |
| stack-data | 0.2.0 | antimon | 0.3.0 | statsmodels | 0.14.0 |
| sympy | 1.11.1 | trasslad i unicode | 0.2.0 | ihärdighet | 8.2.2 |
| tensorboard | 2.15.1 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.15.0 | tensorflow-estimator | 2.15.0 |
| tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 | färdig | 0.17.1 |
| thinc | 8.2.3 | threadpoolctl | 2.2.0 | tifffile | 2021.7.2 |
| tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| tokenizers | 0.15.0 | fackla | 2.1.2+cu121 | torcheval | 0.0.7 |
| torchvision | 0.16.2+cu121 | tornado | 6.3.2 | tqdm | 4.65.0 |
| traitlets | 5.7.1 | Transformatorer | 4.36.2 | Triton | 2.1.0 |
| typeguard | 2.13.3 | typer | 0.9.0 | skriva-inspektera | 0.9.0 |
| typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
| obevakade uppgraderingar | 0,1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
| Visioner | 0.7.5 | wadllib | 1.3.6 | Wasabi | 1.1.2 |
| wcwidth | 0.2.5 | vessla | 0.3.4 | webbkodningar | 0.5.1 |
| websocket-client | 0.58.0 | Werkzeug | 2.2.3 | hjul | 0.38.4 |
| widgetsnbextension | 4.0.5 | ordmoln | 1.9.3 | wrapt | 1.14.1 |
| xgboost | 2.0.3 | xxhash | 3.4.1 | Yarl | 1.8.1 |
| ydata-profilering | 4.5.1 | zipp | 3.11.0 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 15.0.
Java- och Scala-bibliotek (Scala 2.12-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 15.0 innehåller Databricks Runtime 15.0 ML följande JAR:er:
CPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-kluster
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |