Databricks Runtime 16.0 para Aprendizado de Máquina
O Databricks Runtime 16.0 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 16.0. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando TorchDistributor, DeepSpeed e Ray.
Gorjeta
Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.
Novos recursos e melhorias
O Databricks Runtime 16.0 ML é construído sobre o Databricks Runtime 16.0. Para obter informações sobre o que há de novo no Databricks Runtime 16.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 16.0 .
Novos pacotes Python
Os seguintes pacotes Python foram adicionados ao Databricks Runtime ML:
- compositor 0.24.1
- Optuna 3.6.1
Pesos de amostra AutoML para previsão
O AutoML agora suporta pesos de amostra para previsão, permitindo ajustar a importância de cada série temporal para treinar modelos de previsão de várias séries temporais. Para obter mais informações, consulte a previsão parameters de para a API AutoML Python.
Usar uma exibição no Unity Catalog como um recurso table
Agora você pode usar uma exibição no Unity Catalog como um recurso table. Veja Utilizar uma vista existente no Unity Catalog como uma funcionalidade table.
Outras alterações
Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor removido
Os seguintes pacotes que foram incluídos em versões anteriores do Databricks Runtime ML não estão incluídos no Databricks Runtime 16.0 ML:
- Horovod
- HorovodRunner
- Petastorm
spark-tensorflow-distributor
A Databricks recomenda as seguintes substituições:
- Para aprendizagem profunda distribuída, a Databricks recomenda o uso do TorchDistributor para treinamento distribuído com o PyTorch ou a API para treinamento distribuído com o
tf.distribute.StrategyTensorFlow. - Para carregar grandes conjuntos de dados do armazenamento em nuvem, o Databricks recomenda o uso do Mosaic Streaming.
- Para treinamento distribuído para um modelo TensorFlow ou Keras, a Databricks recomenda o uso do Ray. Consulte Ray on Databricks e a documentação do Ray.
Ambiente do sistema
O ambiente do sistema no Databricks Runtime 16.0 ML difere do Databricks Runtime 16.0 da seguinte maneira:
- Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
- CUDA 12,6
- cublas 12.6.0.22-1
- Cusolver 11.6.4.38-1
- Cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliotecas
As seções a seguir list as bibliotecas incluídas no Databricks Runtime 16.0 ML que diferem daquelas incluídas no Databricks Runtime 16.0.
Nesta secção:
- Bibliotecas de nível superior
- Bibliotecas Python
- Bibliotecas R
- Bibliotecas Java e Scala (cluster Scala 2.12)
Bibliotecas de nível superior
O Databricks Runtime 16.0 ML inclui as seguintes bibliotecas de camada superior:
- conjuntos de dados
- GraphFrames
- MLflow
- PyTorch
- conector spark-tensorflow;
- Scikit-learn
- Transmissão em fluxo
- TensorFlow
- TensorBoard
- transformadores
Bibliotecas Python
O Databricks Runtime 16.0 ML é usado virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes ML populares.
Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 16.0 ML também inclui os seguintes pacotes:
- hiperopt 0.2.7+db5
- AutoML 1.29.0 |
Para reproduzir o ambiente Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-16.0.txt e execute pip install -r requirements-16.0.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineeringou a bifurcação Databricks do hyperopt.
Bibliotecas Python em clusters de CPU
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ABSL-PY | 1.0.0 | acelerar | 0.33.0 | AIOHTTP | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | Alambique | 1.13.3 |
| tipos anotados | 0.7.0 | Anyio | 4.2.0 | argcomplete | 3.5.0 |
| Argônio2-CFFI | 21.3.0 | argon2-cffi-ligações | 21.2.0 | seta | 1.2.3 |
| Astor | 0.8.1 | AstTokens | 2.0.5 | Astunparse | 1.6.3 |
| Async-LRU | 2.0.4 | ATRs | 23.1.0 | leitura de áudio | 3.0.1 |
| Comando automático | 2.2.2 | azure-core | 1.31.0 | Azure-Cosmos | 4.3.1 |
| azure-identity | 1.18.0 | azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 |
| Babel | 2.11.0 | recuo | 2.2.1 | backports.tarfile | 1.2.0 |
| Cripta | 3.2.0 | sopa bonita4 | 4.12.3 | preto | 24.4.2 |
| lixívia | 4.1.0 | pisca-pisca | 1.7.0 | Blis | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| Ferramentas de cache | 5.3.3 | catálogo | 2.0.10 | categoria-codificadores | 2.6.3 |
| certifi | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| Normalizador de Charset | 2.0.4 | Disjuntor | 2.0.0 | clicar | 8.1.7 |
| CloudPathlib | 0.19.0 | Cloudpickle | 2.2.1 | CMDSTANPY | 1.2.4 |
| colorido | 0.5.6 | colorlog | 6.8.2 | Comm | 0.2.1 |
| compositor | 0.24.1 | Confeção | 0.1.5 | ConfigParser | 5.2.0 |
| contorno | 1.2.0 | nome fresco | 2.2.0 | criptografia | 42.0.5 |
| cycler | 0.11.0 | cymem | 2.0.8 | Quisto | 3.0.11 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | Databricks-Feature-Engineering | 0.7.0 |
| Databricks-SDK | 0.30.0 | conjuntos de dados | 2.20.0 | DBL-TEMPO | 0.1.26 |
| dbus-python | 1.3.2 | depuração | 1.6.7 | decorador | 5.1.1 |
| velocidade profunda | 0.14.4 | DeUsedXML | 0.7.1 | Preterido | 1.2.14 |
| endro | 0.3.8 | Distlib | 0.3.8 | dm-árvore | 0.1.8 |
| docstring-para-markdown | 0,11 | pontos de entrada | 0.4 | evaluate | 0.4.2 |
| execução | 0.8.3 | facetas-visão geral | 1.1.1 | Farama-Notificações | 0.0.4 |
| fastjsonschema | 2.20.0 | roda de texto rápido | 0.9.2 | filelock | 3.13.1 |
| Flask | 2.2.5 | flatbuffers | 24.3.25 | Fonttools | 4.51.0 |
| FQDN | 1.5.1 | Frozenlist | 1.4.0 | FSspec | 2023.5.0 |
| Futuro | 0.18.3 | gast | 0.4.0 | GitDB | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | Google-Auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-nuvem-core | 2.4.1 | google-nuvem-armazenamento | 2.10.0 |
| Google-CRC32C | 1.6.0 | google-massas | 0.2.0 | google-retomable-media | 2.7.2 |
| googleapis-comuns-protos | 1.65.0 | GQL | 3.5.0 | GraphQL-CORE | 3.2.4 |
| Greenlet | 3.0.1 | Grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| Gunicorn | 20.1.0 | GVIZ-API | 1.10.0 | ginásio | 0.28.1 |
| h11 | 0.14.0 | H5PY | 3.11.0 | HJSON | 3.1.0 |
| feriados | 0,54 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.4 | Disponível em: | 0.27.2 | abraçar-face-hub | 0.24.5 |
| idna | 3.7 | ImagemHash | 4.3.1 | imagem | 2.33.1 |
| aprendizagem desequilibrada | 0.12.3 | importlib-metadados | 6.0.0 | importlib_resources | 6.4.5 |
| flexionar | 7.3.1 | ipyflow-núcleo | 0.0.201 | Ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Isodato | 0.6.1 | isoduração | 20.11.0 | é perigoso | 2.2.0 |
| jaraco.contexto | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.texto | 3.12.1 |
| Jax-Jumpy | 1.0.0 | Jedi | 0.19.1 | Jinja2 | 3.1.4 |
| Jiter | 0.5.0 | jmespath | 1.0.1 | Joblib | 1.4.2 |
| Joblibspark | 0.5.1 | JSON5 | 0.9.6 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.19.2 | jsonschema-especificações | 2023.7.1 |
| Jupyter-Eventos | 0.10.0 | Jupyter-LSP | 2.2.0 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 |
| Jupyterlab | 4.0.11 | Jupyterlab-Pygments | 0.1.2 | jupyterlab_server | 2.25.1 |
| keras | 3.5.0 | Kiwisolver | 1.4.4 | langchain | 0.2.12 |
| langchain-núcleo | 0.2.41 | divisores langchain-text-splitters | 0.2.4 | códigos de lang | 3.4.1 |
| Langsmith | 0.1.129 | language_data | 1.2.0 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | lazy_loader | 0.4 |
| libclang | 15.0.6.1 | librosa | 0.10.2 | LightGBM | 4.5.0 |
| utilitários relâmpagos | 0.11.7 | linkify-it-py | 2.0.0 | llvmlite | 0.42.0 |
| lz4 | 4.3.2 | Mako | 1.2.0 | Marisa-Trie | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-em linha | 0.1.6 | Mccabe | 0.7.0 |
| mdit-py-plugins | 0.3.0 | Mdurl | 0.1.0 | Memray | 1.14.0 |
| Mistune | 2.0.4 | ml-dtypes | 0.4.1 | mlflow-magro | 2.15.1 |
| mais-itertools | 10.3.0 | mosaicml-cli | | 0.6.41 | mosaicml-streaming | 0.8.0 |
| MPMmath | 1.3.0 | MSAL | 1.31.0 | msal-extensões | 1.2.0 |
| msgpack | 1.1.0 | multiditado | 6.0.4 | multimétodo | 1.12 |
| multiprocesso | 0.70.16 | Murmurhash | 1.0.10 | mypy | 1.10.0 |
| mypy-extensões | 1.0.0 | NomeX | 0.0.8 | nbclient | 0.8.0 |
| nbconvert | 7.10.0 | nbformat | 5.9.2 | Ninho-Asyncio | 1.6.0 |
| redex | 3.2.1 | ninja | 1.11.1.1 | NLTK | 3.8.1 |
| nodeenv | 1.9.1 | bloco de notas | 7.0.8 | notebook_shim | 0.2.3 |
| numba | 0.59.1 | numpy | 1.26.4 | nvidia-ml-py | 12.560.30 |
| OAuthlib | 3.2.0 | OCI | 2.135.0 | openai | 1.40.2 |
| OpenCensus | 0.11.4 | contexto opencensus | 0.1.3 | OpenTelemetry-API | 1.27.0 |
| OpenTelemetry-SDK | 1.27.0 | OpenTelemetria-Semântica-Convenções | 0,48b0 | opt_einsum | 3.4.0 |
| Optree | 0.12.1 | Optuna | 3.6.1 | Optuna-Integração | 3.6.0 |
| Orjson | 3.10.7 | substituições | 7.4.0 | embalagem | 24.1 |
| pandas | 1.5.3 | PandocFilters | 1.5.0 | Paramiko | 3.4.0 |
| Parso | 0.8.3 | PathSpec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | Phik | 0.12.4 | travesseiro | 10.3.0 |
| pip | 24.2 | plataformadirs | 3.10.0 | enredo | 5.22.0 |
| pluggy | 1.0.0 | PMDARIMA | 2.0.4 | cachorrinho | 1.8.2 |
| Portalocker | 2.10.1 | Preshed | 3.0.9 | Prometheus-cliente | 0.14.1 |
| prompt-toolkit | 3.0.43 | profeta | 1.1.5 | Proto-Plus | 1.24.0 |
| protobuf | 4.24.1 | PSUTIL | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | puro-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-espião | 0.3.14 | pyarrow | 15.0.2 | pyarrow-hotfix | 0,6 |
| pyasn1 | 0.4.8 | pyasn1-módulos | 0.2.8 | Pybind11 | 2.13.6 |
| Pyccolo | 0.0.65 | pycparser | 2.21 | Pidântico | 2.8.2 |
| pydantic_core | 2.20.1 | Pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| Pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 |
| Pyright | 1.1.294 | Pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 |
| python-editor | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-servidor | 1.10.0 | Python-Snappy | 0.6.1 | pytoolconfig | 1.2.6 |
| Pytorch-Ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | Pyzmq | 25.1.2 | Interrogatório | 1.10.0 |
| raio | 2.35.0 | referencing | 0.30.2 | regex | 2023.10.3 |
| pedidos | 2.32.2 | pedidos-oauthlib | 1.3.1 | rfc3339-validador | 0.1.4 |
| rfc3986-validador | 0.1.1 | Adriático | 13.3.5 | corda | 1.12.0 |
| RPDS-PY | 0.10.6 | RSA | 4,9 | ruamel.yaml | 0.18.6 |
| ruamel.yaml.clib | 0.2.8 | s3transferir | 0.10.2 | Safetensores | 0.4.4 |
| scikit-imagem | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Enviar2Lixo | 1.8.2 | transformadores de sentenças | 3.0.1 |
| Peça de frase | 0.2.0 | setuptools | 74.0.0 | PASP | 0.46.0 |
| Shellingham | 1.5.4 | simplejson | 3.17.6 | seis | 1.16.0 |
| segmentação de dados | 0.0.8 | inteligente-aberto | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | arquivo de som | 0.12.1 | Soupsieve | 2.5 |
| SOXR | 0.5.0.post1 | espaçado | 3.7.5 | Spacy-legado | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | SQLPARSE | 0.4.2 |
| SRSLY | 2.4.8 | ssh-import-id | 5.11 | dados de pilha | 0.2.0 |
| Estanio | 0.5.1 | statsmodels | 0.14.2 | Sympy | 1.12 |
| tabular | 0.9.0 | emaranhado em unicode | 0.2.0 | tenacidade | 8.2.2 |
| TensorBoard | 2.17.0 | Tensorboard-Data-Server | 0.7.2 | Tensorboard-plugin-profile | 2.17.0 |
| tensorboardX | 2.6.2.2 | TensorFlow | 2.17.0 | TensorFlow-Estimador | 2.15.0 |
| Termcolor | 2.4.0 | terminado | 0.17.1 | textual | 0.81.0 |
| tf_keras | 2.17.0 | fino | 8.2.5 | ThreadPoolCtl | 2.2.0 |
| arquivo tiff | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tokenizadores | 0.19.1 | Tomli | 2.0.1 |
| tocha | 2.4.0+CPU | otimizador de tocha | 0.3.0 | Torcheval | 0.0.7 |
| tocha | 1.4.0.post0 | Torchvision | 0.19.0+CPU | tornado | 6.4.1 |
| TQDM | 4.66.4 | traços | 5.14.3 | transformadores | 4.44.0 |
| Protetor de Tipografia | 4.3.0 | datilógrafo | 0.12.5 | tipos-protobuf | 3.20.3 |
| tipos-psutil | 5.9.0 | tipos-pytz | 2023.3.1.1 | tipos-PyYAML | 6.0.0 |
| tipos-pedidos | 2.31.0.0 | tipos-setuptools | 68.0.0.0 | tipos-seis | 1.16.0 |
| tipos-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | UC-Micro-PY | 1.0.1 |
| Ujson | 5.10.0 | Upgrades autônomos | 0.1 | uri-modelo | 1.3.0 |
| urllib3 | 1.26.16 | validadores | 0.34.0 | virtualenv | 20.26.2 |
| visões | 0.7.5 | wadllib | 1.3.6 | Wasabi | 1.1.3 |
| largura de wc | 0.2.5 | doninha | 0.4.1 | Webcolors | 24.8.0 |
| WebEncodings | 0.5.1 | Websocket-cliente | 1.8.0 | WebSockets | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch | 1.0.2 | roda | 0.43.0 |
| nuvem de palavras | 1.9.3 | embrulhado | 1.14.1 | xgboost | 2.0.3 |
| xgboost-raio | 0.1.19 | xxhash | 3.4.1 | Yapf | 0.33.0 |
| fios | 1.9.3 | ydata-profiling | 4.9.0 | zipp | | 3.17.0 |
| ZSTD | 1.5.5.1 |
Bibliotecas Python em clusters GPU
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ABSL-PY | 1.0.0 | acelerar | 0.33.0 | AIOHTTP | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | tipos anotados | 0.7.0 |
| Anyio | 4.2.0 | argcomplete | 3.5.0 | Argônio2-CFFI | 21.3.0 |
| argon2-cffi-ligações | 21.2.0 | seta | 1.2.3 | Astor | 0.8.1 |
| AstTokens | 2.0.5 | Astunparse | 1.6.3 | Async-LRU | 2.0.4 |
| ATRs | 23.1.0 | leitura de áudio | 3.0.1 | Comando automático | 2.2.2 |
| azure-core | 1.31.0 | Azure-Cosmos | 4.3.1 | azure-identity | 1.18.0 |
| azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 | Babel | 2.11.0 |
| recuo | 2.2.1 | backports.tarfile | 1.2.0 | Cripta | 3.2.0 |
| sopa bonita4 | 4.12.3 | preto | 24.4.2 | lixívia | 4.1.0 |
| pisca-pisca | 1.7.0 | Blis | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | Ferramentas de cache | 5.3.3 |
| catálogo | 2.0.10 | categoria-codificadores | 2.6.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | Normalizador de Charset | 2.0.4 |
| Disjuntor | 2.0.0 | clicar | 8.1.7 | CloudPathlib | 0.19.0 |
| Cloudpickle | 2.2.1 | CMDSTANPY | 1.2.4 | colorido | 0.5.6 |
| colorlog | 6.8.2 | Comm | 0.2.1 | compositor | 0.24.1 |
| Confeção | 0.1.5 | ConfigParser | 5.2.0 | contorno | 1.2.0 |
| nome fresco | 2.2.0 | criptografia | 42.0.5 | cycler | 0.11.0 |
| cymem | 2.0.8 | Quisto | 3.0.11 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | Databricks-Feature-Engineering | 0.7.0 | Databricks-SDK | 0.30.0 |
| conjuntos de dados | 2.20.0 | DBL-TEMPO | 0.1.26 | dbus-python | 1.3.2 |
| depuração | 1.6.7 | decorador | 5.1.1 | velocidade profunda | 0.14.4 |
| DeUsedXML | 0.7.1 | Preterido | 1.2.14 | endro | 0.3.8 |
| Distlib | 0.3.8 | dm-árvore | 0.1.8 | docstring-para-markdown | 0,11 |
| einops | 0.8.0 | pontos de entrada | 0.4 | evaluate | 0.4.2 |
| execução | 0.8.3 | facetas-visão geral | 1.1.1 | Farama-Notificações | 0.0.4 |
| fastjsonschema | 2.20.0 | roda de texto rápido | 0.9.2 | filelock | 3.13.1 |
| flash_attn | 2.5.6 | Flask | 2.2.5 | flatbuffers | 24.3.25 |
| Fonttools | 4.51.0 | FQDN | 1.5.1 | Frozenlist | 1.4.0 |
| FSspec | 2023.5.0 | Futuro | 0.18.3 | gast | 0.4.0 |
| GitDB | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| Google-Auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-nuvem-core | 2.4.1 |
| google-nuvem-armazenamento | 2.10.0 | Google-CRC32C | 1.6.0 | google-massas | 0.2.0 |
| google-retomable-media | 2.7.2 | googleapis-comuns-protos | 1.65.0 | GQL | 3.5.0 |
| GraphQL-CORE | 3.2.4 | Greenlet | 3.0.1 | Grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | Gunicorn | 20.1.0 | GVIZ-API | 1.10.0 |
| ginásio | 0.28.1 | h11 | 0.14.0 | H5PY | 3.11.0 |
| HJSON | 3.1.0 | feriados | 0,54 | htmlmin | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.4 | Disponível em: | 0.27.2 |
| abraçar-face-hub | 0.24.5 | idna | 3.7 | ImagemHash | 4.3.1 |
| imagem | 2.33.1 | aprendizagem desequilibrada | 0.12.3 | importlib-metadados | 6.0.0 |
| importlib_resources | 6.4.5 | flexionar | 7.3.1 | ipyflow-núcleo | 0.0.201 |
| Ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | Isodato | 0.6.1 | isoduração | 20.11.0 |
| é perigoso | 2.2.0 | jaraco.contexto | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.texto | 3.12.1 | Jax-Jumpy | 1.0.0 | Jedi | 0.19.1 |
| Jinja2 | 3.1.4 | Jiter | 0.5.0 | jmespath | 1.0.1 |
| Joblib | 1.4.2 | Joblibspark | 0.5.1 | JSON5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-especificações | 2023.7.1 | Jupyter-Eventos | 0.10.0 | Jupyter-LSP | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | Jupyterlab | 4.0.11 | Jupyterlab-Pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.5.0 | Kiwisolver | 1.4.4 |
| langchain | 0.2.12 | langchain-núcleo | 0.2.41 | divisores langchain-text-splitters | 0.2.4 |
| códigos de lang | 3.4.1 | Langsmith | 0.1.129 | language_data | 1.2.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| LightGBM | 4.5.0 | utilitários relâmpagos | 0.11.7 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Marisa-Trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-em linha | 0.1.6 |
| Mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 | Mdurl | 0.1.0 |
| Memray | 1.14.0 | Mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-magro | 2.15.1 | mais-itertools | 10.3.0 | mosaicml-cli | | 0.6.41 |
| mosaicml-streaming | 0.8.0 | MPMmath | 1.3.0 | MSAL | 1.31.0 |
| msal-extensões | 1.2.0 | msgpack | 1.1.0 | multiditado | 6.0.4 |
| multimétodo | 1.12 | multiprocesso | 0.70.16 | Murmurhash | 1.0.10 |
| mypy | 1.10.0 | mypy-extensões | 1.0.0 | NomeX | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| Ninho-Asyncio | 1.6.0 | redex | 3.2.1 | ninja | 1.11.1.1 |
| NLTK | 3.8.1 | nodeenv | 1.9.1 | bloco de notas | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.2.65 | nvidia-cuda-cupti-cu12 | 12.4.99 | nvidia-cuda-nvrtc-cu12 | 12.4.99 |
| nvidia-cuda-runtime-cu12 | 12.4.99 | NVIDIA-CUDNN-CU12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.0.44 |
| NVIDIA-Curand-CU12 | 10.3.5.119 | NVIDIA-CUSOLVER-CU12 | 11.6.0.99 | nvidia-cusparse-cu12 | 12.3.0.142 |
| nvidia-ml-py | 12.560.30 | NVIDIA-NCCL-CU12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.4.99 |
| NVIDIA-NVTX-CU12 | 12.4.99 | OAuthlib | 3.2.0 | OCI | 2.135.0 |
| openai | 1.40.2 | OpenCensus | 0.11.4 | contexto opencensus | 0.1.3 |
| OpenTelemetry-API | 1.27.0 | OpenTelemetry-SDK | 1.27.0 | OpenTelemetria-Semântica-Convenções | 0,48b0 |
| opt_einsum | 3.4.0 | Optree | 0.12.1 | Optuna | 3.6.1 |
| Optuna-Integração | 3.6.0 | Orjson | 3.10.7 | substituições | 7.4.0 |
| embalagem | 24.1 | pandas | 1.5.3 | PandocFilters | 1.5.0 |
| Paramiko | 3.4.0 | Parso | 0.8.3 | PathSpec | 0.10.3 |
| patsy | 0.5.6 | pexpect | 4.8.0 | Phik | 0.12.4 |
| travesseiro | 10.3.0 | pip | 24.2 | plataformadirs | 3.10.0 |
| enredo | 5.22.0 | pluggy | 1.0.0 | PMDARIMA | 2.0.4 |
| cachorrinho | 1.8.2 | Portalocker | 2.10.1 | Preshed | 3.0.9 |
| Prometheus-cliente | 0.14.1 | prompt-toolkit | 3.0.43 | profeta | 1.1.5 |
| Proto-Plus | 1.24.0 | protobuf | 4.24.1 | PSUTIL | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | puro-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | py-espião | 0.3.14 | pyarrow | 15.0.2 |
| pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | pyasn1-módulos | 0.2.8 |
| Pybind11 | 2.13.6 | Pyccolo | 0.0.65 | pycparser | 2.21 |
| Pidântico | 2.8.2 | pydantic_core | 2.20.1 | Pyflakes | 3.2.0 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| PyNaCl | 1.5.0 | Pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 |
| pyparsing | 3.0.9 | Pyright | 1.1.294 | Pytesseract | 0.3.10 |
| python-dateutil | 2.9.0.post0 | python-editor | 1.0.4 | python-json-logger | 2.0.7 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-servidor | 1.10.0 | Python-Snappy | 0.6.1 |
| pytoolconfig | 1.2.6 | Pytorch-Ranger | 0.1.1 | pytz | 2024.1 |
| PyWavelets | 1.5.0 | PyYAML | 6.0.1 | Pyzmq | 25.1.2 |
| Interrogatório | 1.10.0 | raio | 2.35.0 | referencing | 0.30.2 |
| regex | 2023.10.3 | pedidos | 2.32.2 | pedidos-oauthlib | 1.3.1 |
| rfc3339-validador | 0.1.4 | rfc3986-validador | 0.1.1 | Adriático | 13.3.5 |
| corda | 1.12.0 | RPDS-PY | 0.10.6 | RSA | 4,9 |
| ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | s3transferir | 0.10.2 |
| Safetensores | 0.4.4 | scikit-imagem | 0.23.2 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | Enviar2Lixo | 1.8.2 |
| transformadores de sentenças | 3.0.1 | Peça de frase | 0.2.0 | setuptools | 74.0.0 |
| PASP | 0.46.0 | Shellingham | 1.5.4 | simplejson | 3.17.6 |
| seis | 1.16.0 | segmentação de dados | 0.0.8 | inteligente-aberto | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.3.0 | arquivo de som | 0.12.1 |
| Soupsieve | 2.5 | SOXR | 0.5.0.post1 | espaçado | 3.7.5 |
| Spacy-legado | 3.0.12 | spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 |
| SQLPARSE | 0.4.2 | SRSLY | 2.4.8 | ssh-import-id | 5.11 |
| dados de pilha | 0.2.0 | Estanio | 0.5.1 | statsmodels | 0.14.2 |
| Sympy | 1.12 | tabular | 0.9.0 | emaranhado em unicode | 0.2.0 |
| tenacidade | 8.2.2 | TensorBoard | 2.17.0 | Tensorboard-Data-Server | 0.7.2 |
| Tensorboard-plugin-profile | 2.17.0 | tensorboardX | 2.6.2.2 | TensorFlow | 2.17.0 |
| TensorFlow-Estimador | 2.15.0 | Termcolor | 2.4.0 | terminado | 0.17.1 |
| textual | 0.81.0 | tf_keras | 2.17.0 | fino | 8.2.5 |
| ThreadPoolCtl | 2.2.0 | arquivo tiff | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizadores | 0.19.1 |
| Tomli | 2.0.1 | tocha | 2.4.0+CU124 | otimizador de tocha | 0.3.0 |
| Torcheval | 0.0.7 | tocha | 1.4.0.post0 | Torchvision | 0.19.0+CU124 |
| tornado | 6.4.1 | TQDM | 4.66.4 | traços | 5.14.3 |
| transformadores | 4.44.0 | Tritão | 3.0.0 | Protetor de Tipografia | 4.3.0 |
| datilógrafo | 0.12.5 | tipos-protobuf | 3.20.3 | tipos-psutil | 5.9.0 |
| tipos-pytz | 2023.3.1.1 | tipos-PyYAML | 6.0.0 | tipos-pedidos | 2.31.0.0 |
| tipos-setuptools | 68.0.0.0 | tipos-seis | 1.16.0 | tipos-urllib3 | 1.26.25.14 |
| typing_extensions | 4.11.0 | UC-Micro-PY | 1.0.1 | Ujson | 5.10.0 |
| Upgrades autônomos | 0.1 | uri-modelo | 1.3.0 | urllib3 | 1.26.16 |
| validadores | 0.34.0 | virtualenv | 20.26.2 | visões | 0.7.5 |
| wadllib | 1.3.6 | Wasabi | 1.1.3 | largura de wc | 0.2.5 |
| doninha | 0.4.1 | Webcolors | 24.8.0 | WebEncodings | 0.5.1 |
| Websocket-cliente | 1.8.0 | WebSockets | 11.0.3 | Werkzeug | 3.0.3 |
| whatthepatch | 1.0.2 | roda | 0.43.0 | nuvem de palavras | 1.9.3 |
| embrulhado | 1.14.1 | xgboost | 2.0.3 | xgboost-raio | 0.1.19 |
| xxhash | 3.4.1 | Yapf | 0.33.0 | fios | 1.9.3 |
| ydata-profiling | 4.9.0 | zipp | | 3.17.0 | ZSTD | 1.5.5.1 |
Bibliotecas R
As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 16.0.
Bibliotecas Java e Scala (cluster Scala 2.12)
Além das bibliotecas Java e Scala no Databricks Runtime 16.0, o Databricks Runtime 16.0 ML contém os seguintes JARs:
Clusters de CPU
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| com.typesafe.akka | AKKA-actor_2,12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2,12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-DB1-Faísca3,5 |
| org.mlflow | mlflow-cliente | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clusters GPU
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| com.typesafe.akka | AKKA-actor_2,12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2,12 | 1.7.3 |
| ml.dmlc | xgboost4j-faísca-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-DB1-Faísca3,5 |
| org.mlflow | mlflow-cliente | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |