Udostępnij za pośrednictwem

Databricks Runtime 15.4 LTS for Machine Learning

  • Artykuł

Środowisko Databricks Runtime 15.4 LTS for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.4 LTS. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu narzędzia TorchDistributor.

Uwaga

LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 15.4 LTS ML jest oparte na środowisku Databricks Runtime 15.4 LTS. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 15.4 LTS, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 15.4 LTS .

Wagi próbek automatycznego uczenia maszynowego na potrzeby klasyfikacji

Rozwiązanie AutoML obsługuje teraz wagi próbek klasyfikacji, co pozwala dostosować znaczenie każdej klasy podczas trenowania modelu klasyfikacji. Aby uzyskać więcej informacji, zobacz parametry klasyfikacji dla interfejsu API języka Python rozwiązania AutoML.

Zmiany w kliencie inżynierii funkcji usługi Databricks

Aby uzyskać informacje na temat nowości w interfejsie API języka Python inżynierii funkcji usługi Databricks, zobacz informacje o wersji klienta inżynierii funkcji.

Inne zmiany

Petastorm jest teraz przestarzała

Pakiet Petastorm jest teraz przestarzały. Wersje po wersji 15.4 LTS ML nie będą miały wstępnie zainstalowanego pakietu. Mozaika Streaming jest zalecanym zamiennikiem ładowania dużych zestawów danych z magazynu w chmurze.

Dystrybutor Platformy Spark Tensorflow jest teraz przestarzały

Pakiet spark-tensorflow-distributor jest teraz przestarzały. Wersje po wersji 15.4 LTS ML nie będą miały wstępnie zainstalowanego pakietu. Ray on Databricks jest zalecanym zamiennikiem rozproszonego trenowania modelu Tensorflow lub Keras.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 15.4 LTS ML różni się od środowiska Databricks Runtime 15.4 LTS w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.4 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.4 LTS.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 15.4 LTS ML zawiera następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 15.4 LTS ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.4 LTS ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.28.0

Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python:

  1. Pobierz plik requirements-15.4.txt.
  2. W systemach Ubuntu uruchom polecenie sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev , aby zainstalować biblioteki systemowe.
  3. Uruchom program pip install -r requirements-15.4.txt --extra-index-url https://download.pytorch.org/whl/cpu. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, lub rozwidlenie hyperopt usługi Databricks lub horovod.

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 black (czarny) 23.3.0 wybielacz 4.1.0
kierunkowskaz 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.4.0
katalog 2.0.10 kodery kategorii 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
wyłącznik obwodowy 1.4.0 kliknięcie 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kolorowy 0.5.6
Comm 0.1.2 słodycze 0.1.4 configparser 5.2.0
konturowy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.6.0 databricks-sdk 0.20.0
dataclasses-json 0.6.7 usługi Power BI 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekorator 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Przestarzałe 1.2.14
koper 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 punkty wejścia 0,4 evaluate 0.4.2
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.20.0 fasttext 0.9.2 filelock 3.13.4
Flask 2.2.5 flatbuffers 24.3.25 fonttools 4.25.0
zamrożona lista 1.3.3 fsspec 2023.5.0 przyszłość 0.18.3
Gast 0.4.0 gitdb 4.0.11 GitPython 3.1.27
google-api-core 2.18.0 google-auth 2.21.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.1 google-cloud-storage 2.10.0 google-crc32c 1.5.0
makaron google 0.2.0 google-resumable-media 2.7.1 googleapis-common-protos 1.63.0
greenlet 2.0.1 grpcio 1.60.0 stan obiektu grpcio 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 sala gimnastyczna 0.28.1
h11 0.14.0 h5py 3.10.0 hjson 3.1.0
wakacje 0,45 horovod 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.2 httpx 0.27.0
przytulanieface-hub 0.23.4 idna 3.4 ImageHash 4.3.1
imageio 2.31.1 niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.4.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jegodangerous 2.0.1 jax-jumpy 1.0.0
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.17.3
jupyter-server 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 keras 3.2.1 keyring 23.5.0
kiwisolver 1.4.4 langchain 0.1.20 langchain-community 0.0.38
langchain-core 0.1.52 langchain-text-splitters 0.0.2 langcodes 3.4.0
langsmith 0.1.63 language_data 1.2.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0,2
libclang 15.0.6.1 librosa 0.10.1 lightgbm 4.3.0
linkify-it-py 2.0.0 llvmlite 0.40.0 lxml 4.9.2
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.1.1
Znaczniki języka Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
Zefir 3.21.2 matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.13.3
mistune 0.8.4 ml-dtypes 0.3.2 mlflow-skinny 2.13.1
więcej itertools 8.10.0 mosaicml-streaming 0.7.4 mpmath 1.3.0
msal 1.29.0 msal-extensions 1.2.0 msgpack 1.0.8
multidict 6.0.2 multimethod 1.12 przetwarzanie wieloprocesowe 0.70.14
szmurhash 1.0.10 mypy-extensions 0.4.3 namex 0.0.8
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
Ninja 1.11.1.1 nltk 3.8.1 notes 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia-ml-py 12.555.43 oauthlib 3.2.0 Oci 2.126.4
openai 1.35.3 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.25.0 opentelemetry-sdk 1.25.0 opentelemetry-semantic-conventions 0.46b0
opt-einsum 3.3.0 optree 0.12.1 orjson 3.10.6
opakowanie 23.2 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare 0.7.5 Poduszka 9.4.0
23.2.1 platformdirs 3.10.0 kreślenie 5.9.0
pmdarima 2.0.4 kundel 1.8.1 portalocker 2.10.1
preshed 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
prorok 1.1.5 proto-plus 1.24.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-szpieg 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.1 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pyodbc 4.0.38 pyOpenSSL 23.2.0 pyparsing 3.0.9
pirstent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
Python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 promień 2.20.0 regex 2022.7.9
żądania 2.31.0 requests-oauthlib 1.3.1 rich 13.7.1
rsa 4.9 s3transfer 0.10.2 bezpiecznetensory 0.4.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy 1.11.1
seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformatory zdań 2.7.0 element zdania 0.1.99 setuptools 68.0.0
Shap 0.44.0 simplejson 3.17.6 Sześć 1.16.0
krajalnica 0.0.7 smart-open 5.2.1 smmap 5.0.0
wąchanie 1.2.0 soundfile 0.12.1 zupy 2,4
soxr 0.3.7 spacy 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
stack-data 0.2.0 stanio 0.5.1 statsmodels 0.14.0
sympy 1.11.1 splątane-up-in-unicode 0.2.0 Wytrzymałość 8.2.2
tablica tensorboard 2.16.2 tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1
tensorboardX 2.6.2.2 tensorflow 2.16.1 tensorflow-estimator 2.15.0
tensorflow-io-gcs-filesystem 0.37.1 termcolor 2.4.0 terminado 0.17.1
Tekstowy 0.63.3 tf_keras 2.16.0 cienki 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizatory 0.19.0
pochodnia 2.3.1+ procesor torcheval 0.0.7 torchvision 0.18.1+ procesor
tornado 6.3.2 tqdm 4.65.0 traitlety 5.7.1
Transformatory 4.41.2 osłona typów 2.13.3 typer 0.9.4
inspekcja wpisywania 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 nienadzorowane uaktualnienia 0.1
urllib3 1.26.16 virtualenv 20.24.2 Wizje 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth 0.2.5
łasica 0.3.4 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.3 koło 0.38.4 wordcloud 1.9.3
zawijanie 1.14.1 xgboost 2.0.3 xxhash 3.4.1
Yarl 1.8.1 profilowanie danych 4.5.1 zipp 3.11.0
zstd 1.5.5.1

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 black (czarny) 23.3.0 wybielacz 4.1.0
kierunkowskaz 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.4.0
katalog 2.0.10 kodery kategorii 2.6.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
wyłącznik obwodowy 1.4.0 kliknięcie 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kolorowy 0.5.6
Comm 0.1.2 słodycze 0.1.4 configparser 5.2.0
konturowy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.6.0 databricks-sdk 0.20.0
dataclasses-json 0.6.7 usługi Power BI 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekorator 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Przestarzałe 1.2.14
koper 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.8.0 punkty wejścia 0,4
evaluate 0.4.2 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
Farama-Notifications 0.0.4 fastjsonschema 2.20.0 fasttext 0.9.2
filelock 3.13.4 flash-attn 2.5.9.post1 Flask 2.2.5
flatbuffers 24.3.25 fonttools 4.25.0 zamrożona lista 1.3.3
fsspec 2023.5.0 przyszłość 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
google-cloud-storage 2.10.0 google-crc32c 1.5.0 makaron google 0.2.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.0 greenlet 2.0.1
grpcio 1.60.0 stan obiektu grpcio 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 sala gimnastyczna 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 wakacje 0,45
horovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 przytulanieface-hub 0.23.4
idna 3.4 ImageHash 4.3.1 imageio 2.31.1
niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
jegodangerous 2.0.1 jax-jumpy 1.0.0 jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.17.3 jupyter-server 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
keras 3.2.1 keyring 23.5.0 kiwisolver 1.4.4
langchain 0.1.20 langchain-community 0.0.38 langchain-core 0.1.52
langchain-text-splitters 0.0.2 langcodes 3.4.0 langsmith 0.1.63
language_data 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0,2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 linkify-it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.1.1 Znaczniki języka Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 Zefir 3.21.2
matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.13.4 mistune 0.8.4
ml-dtypes 0.3.2 mlflow-skinny 2.13.1 więcej itertools 8.10.0
mosaicml-streaming 0.7.4 mpmath 1.3.0 msal 1.30.0
msal-extensions 1.2.0 msgpack 1.0.8 multidict 6.0.2
multimethod 1.12 przetwarzanie wieloprocesowe 0.70.14 szmurhash 1.0.10
mypy-extensions 0.4.3 namex 0.0.8 nbclassic 0.5.5
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 3.1 Ninja 1.11.1.1
nltk 3.8.1 notes 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy 1.23.5 nvidia-cublas-cu12 12.1.3.1
nvidia-cuda-cupti-cu12 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105
nvidia-cudnn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106
nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106 nvidia-ml-py 12.555.43
nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.5.82 nvidia-nvtx-cu12 12.1.105
oauthlib 3.2.0 Oci 2.126.4 openai 1.35.3
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.25.0
opentelemetry-sdk 1.25.0 opentelemetry-semantic-conventions 0.46b0 opt-einsum 3.3.0
optree 0.12.1 orjson 3.10.6 opakowanie 23.2
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Poduszka 9.4.0 23.2.1
platformdirs 3.10.0 kreślenie 5.9.0 pmdarima 2.0.4
kundel 1.8.1 portalocker 2.10.1 preshed 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 prorok 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-szpieg 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.1 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing 3.0.9 pirstent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 Python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
promień 2.20.0 regex 2022.7.9 żądania 2.31.0
requests-oauthlib 1.3.1 rich 13.7.1 rsa 4.9
s3transfer 0.10.2 bezpiecznetensory 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.7.0
element zdania 0.1.99 setuptools 68.0.0 Shap 0.44.0
simplejson 3.17.6 Sześć 1.16.0 krajalnica 0.0.7
smart-open 5.2.1 smmap 5.0.0 wąchanie 1.2.0
soundfile 0.12.1 zupy 2,4 soxr 0.3.7
spacy 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.1 statsmodels 0.14.0 sympy 1.11.1
splątane-up-in-unicode 0.2.0 Wytrzymałość 8.2.2 tablica tensorboard 2.16.2
tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2
tensorflow 2.16.1 tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.37.1
termcolor 2.4.0 terminado 0.17.1 Tekstowy 0.63.3
tf_keras 2.16.0 cienki 8.2.3 threadpoolctl 2.2.0
tifffile 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizatory 0.19.0 pochodnia 2.3.1+cu121
torcheval 0.0.7 torchvision 0.18.1+cu121 tornado 6.3.2
tqdm 4.65.0 traitlety 5.7.1 Transformatory 4.41.2
tryton 2.3.1 osłona typów 2.13.3 typer 0.9.4
inspekcja wpisywania 0.9.0 typing_extensions 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 nienadzorowane uaktualnienia 0.1
urllib3 1.26.16 virtualenv 20.24.2 Wizje 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth 0.2.5
łasica 0.3.4 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.3 koło 0.38.4 wordcloud 1.9.3
zawijanie 1.14.1 xgboost 2.0.3 xxhash 3.4.1
Yarl 1.8.1 profilowanie danych 4.5.1 zipp 3.11.0
zstd 1.5.5.1

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.4 LTS.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.4 LTS środowisko Databricks Runtime 15.4 LTS ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0