Databricks Runtime 10.1 para ML (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
O Databricks Runtime 10.1 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 10.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. Ele também suporta treinamento distribuído de aprendizagem profunda usando Horovod.
Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.
Novos recursos e melhorias
O Databricks Runtime 10.1 ML é construído sobre o Databricks Runtime 10.1. Para obter informações sobre o que há de novo no Databricks Runtime 10.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 10.1 (EoS ).
Melhorias no AutoML
No Databricks Runtime 10.1, o AutoML inclui deteção de tipo semântica aprimorada, novos alertas para possíveis problemas de dados durante o treinamento, novos recursos para evitar modelos de sobreajuste e a capacidade de dividir o conjunto de dados de entrada em conjuntos de treinamento, validação e teste cronologicamente.
Deteções de tipo semântico adicionais
O AutoML agora suporta deteção de tipo semântico adicional:
- As colunas numéricas que contêm rótulos categóricos são tratadas como um tipo categórico.
- As colunas de cadeia de caracteres que contêm texto em inglês são tratadas como um recurso de texto.
Agora você também pode adicionar anotações para especificar um tipo de dados de coluna. Para obter detalhes, consulte Deteção de tipo semântico.
Alertas durante o treinamento para possíveis problemas de dados
O AutoML agora deteta e gera alertas para possíveis problemas com o conjunto de dados. Exemplos de alertas incluem tipos de coluna não suportados e colunas de cardinalidade alta. Esses alertas aparecem na página do experimento na nova guia Alertas . Informações adicionais sobre alertas estão incluídas no bloco de anotações de exploração de dados. Para obter mais informações, consulte Executar o experimento e monitorar os resultados.
Redução do sobreajuste do modelo
Dois novos recursos reduzem as chances de sobremontagem de um modelo ao usar o AutoML:
- O AutoML agora relata métricas de teste adicionais às métricas de validação e treinamento.
- O AutoML agora usa a parada antecipada. Ele interrompe o treinamento e o ajuste de modelos se a métrica de validação não estiver mais melhorando.
Dividir o conjunto de dados em conjuntos de treino/validação/teste cronologicamente
Para problemas de classificação e regressão, você pode dividir o conjunto de dados em conjuntos de treinamento, validação e teste cronologicamente. Consulte Dividir dados em conjuntos de treinamento, validação e teste para obter detalhes.
Aprimoramentos no Databricks Feature Store
O Databricks Feature Store agora oferece suporte a tipos de dados adicionais para tabelas de recursos: BinaryType, DecimalTypee MapType.
Mlflow
As melhorias a seguir estão disponíveis a partir da versão 1.21.0 do Mlflow, que está incluída no Databricks Runtime 10.1 ML.
- [Modelos] Atualize o sabor do
fastaimodelo para suportar fastai v2 (2.4.1 e superior). - [Modelos] Introduza um modelo mlflow.prophet para modelos de séries cronológicas Prophet.
- [Pontuação] Corrija um erro de imposição de esquema que converte incorretamente cadeias de caracteres semelhantes a data para objetos de datetime.
Hyperopt
SparkTrials agora suporta o early_stopping_fn parâmetro para fmin. Você pode usar a função de parada antecipada para especificar condições em que o Hyperopt deve interromper o ajuste de hiperparâmetros antes que o número máximo de avaliações seja atingido. Por exemplo, você pode usar esse parâmetro para encerrar o ajuste se a função objetiva não estiver mais diminuindo. Para obter detalhes, consulte fmin().
Principais alterações no ambiente Python do Databricks Runtime ML
Pacotes Python atualizados
- AutoML 1.3.1 => 1.4.1
- feature_store 0.3.4 => 0.3.5
- feriados 0.11.2 => 0.11.3.1
- Horovod 0.22.1 => 0.23.0
- hiperoptia 0.2.5.db2 => 0.2.5.db4
- aprendizagem desequilibrada 0,8,0 => 0,8,1
- LightGBM 3.1.1 => 3.3.0
- mlflow 1,20,2 => 1,21,0
- petastorm 0.11.2 => 0.11.3
- Gráfico 5.1.0 => 5.3.0
- Pitocha 1.9.0 => 1.9.1
- Espaçamento 3.1.2 => 3.1.3
- sparkdl 2.2.0_db3 => 2.2.0_db4
- Torchvision 0.10.0 => 0.10.1
- transformadores 4.9.2 => 4.11.3
Pacotes Python adicionados
- texto rápido => 0.9.2
- Tensorboard-plugin-profile => 2.5.0
Preterições
O rastreamento automatizado de MLflow MLlib foi preterido em clusters que executam o Databricks Runtime 10.1 ML e superior. Em vez disso, use o registro automático do MLflow PySpark ML chamando mlflow.pyspark.ml.autolog(). O registro automático é habilitado por padrão com o Databricks Autologging.
Ambiente do sistema
O ambiente do sistema no Databricks Runtime 10.1 ML difere do Databricks Runtime 10.1 da seguinte forma:
-
DBUtils: Databricks Runtime ML não inclui o utilitário Biblioteca (dbutils.library) (legado).
Em vez disso, use
%pipcomandos. Veja Bibliotecas em Python com âmbito de bloco de notas. - Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
- CUDA 11,0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
Bibliotecas
As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 10.1 ML que diferem daquelas incluídas no Databricks Runtime 10.1.
Nesta secção:
- Bibliotecas de nível superior
- Bibliotecas Python
- Bibliotecas R
- Bibliotecas Java e Scala (cluster Scala 2.12)
Bibliotecas de nível superior
O Databricks Runtime 10.1 ML inclui as seguintes bibliotecas de camada superior:
- GraphFrames
- Horovod e HorovodRunner
- MLflow
- PyTorch
- conector spark-tensorflow;
- TensorFlow
- TensorBoard
Bibliotecas Python
O Databricks Runtime 10.1 ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.
Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 10.1 ML também inclui os seguintes pacotes:
- hiperopt 0.2.5.db4
- Faísca 2.2.0-DB4
- feature_store 0.3.5
- AutoML 1.4.0 |
Nota
O Databricks Runtime 10.1 ML inclui a versão scikit-learn 0.24 em vez da versão 1.0 devido a problemas de incompatibilidade. O pacote scikit-learn interage com muitos outros pacotes no Databricks Runtime 10.1 ML.
Você pode atualizar para scikit-learn versão 1.0; no entanto, Databricks não suporta esta versão.
Para atualizar, use bibliotecas com escopo de bloco de anotações. A partir de um bloco de notas, execute %pip install --upgrade "scikit-learn>=1.0,<1.1".
Uma alternativa é usar este script de inicialização de cluster:
#!/bin/bash
set -e
pip install --upgrade "scikit-learn>=1.0,<1.1"
Bibliotecas Python em clusters de CPU
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ABSL-PY | 0.11.0 | Antergos Linux | 2015.10 (Laminação ISO) | Appdirs | 1.4.4 |
| Argônio2-CFFI | 20.1.0 | Astor | 0.8.1 | Astunparse | 1.6.3 |
| gerador assíncrono | 1.10 | ATRs | 20.3.0 | Backcall | 0.2.0 |
| Cripta | 3.2.0 | lixívia | 3.3.0 | Blis | 0.7.4 |
| boto3 | 1.16.7 | botocore | 1.19.7 | Ferramentas de cache | 4.2.4 |
| catálogo | 2.0.6 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | Clang | 5.0 | clicar | 7.1.2 |
| Cloudpickle | 1.6.0 | CMDSTANPY | 0.9.68 | ConfigParser | 5.0.1 |
| convertdate | 2.3.2 | criptografia | 3.4.7 | cycler | 0.10.0 |
| cymem | 2.0.5 | Quisto | 0.29.23 | databricks-automl-runtime | 0.2.3 |
| databricks-cli | 0.14.3 | dbus-python | 1.2.16 | decorador | 5.0.6 |
| DeUsedXML | 0.7.1 | endro | 0.3.2 | cache de disco | 5.2.1 |
| Distlib | 0.3.3 | distro-info | 0,23ubuntu1 | pontos de entrada | 0.3 |
| Ephem | 4.1 | facetas-visão geral | 1.0.0 | texto rápido | 0.9.2 |
| filelock | 3.0.12 | Flask | 1.1.2 | flatbuffers | 1.12 |
| FSspec | 0.9.0 | Futuro | 0.18.2 | gast | 0.4.0 |
| GitDB | 4.0.7 | GitPython | 3.1.12 | Google-Auth | 1.22.1 |
| google-auth-oauthlib | 0.4.2 | google-massas | 0.2.0 | Grpcio | 1.39.0 |
| Gunicorn | 20.0.4 | GVIZ-API | 1.10.0 | H5PY | 3.1.0 |
| Hijri-Conversor | 2.2.2 | feriados | 0.11.3.1 | Horovod | 0.23.0 |
| htmlmin | 0.1.12 | abraçar-face-hub | 0.0.19 | idna | 2.10 |
| ImagemHash | 4.2.1 | aprendizagem desequilibrada | 0.8.1 | importlib-metadados | 3.10.0 |
| Ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | Isodato | 0.6.0 | é perigoso | 1.1.0 |
| Jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| Joblib | 1.0.1 | Joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-cliente | 6.1.12 | Jupyter-core | 4.7.1 | Jupyterlab-Pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keras | 2.6.0 | Pré-processamento de Keras | 1.1.2 |
| Kiwisolver | 1.3.1 | coalas | 1.8.2 | Coreano-Lunar-Calendário | 0.2.1 |
| LightGBM | 3.3.0 | llvmlite | 0.37.0 | LunarCalendário | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | faltandonão | 0.5.0 | Mistune | 0.8.4 |
| PEAML | 0.18.1 | mlflow-magro | 1.21.0 | multimétodo | 1.6 |
| Murmurhash | 1.0.5 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | Ninho-Asyncio | 1.5.1 | redex | 2.5 |
| NLTK | 3.6.1 | bloco de notas | 6.3.0 | numba | 0.54.1 |
| numpy | 1.19.2 | OAuthlib | 3.1.0 | opt-einsum | 3.3.0 |
| embalagem | 20.9 | pandas | 1.2.4 | criação de perfis de pandas | 3.1.0 |
| PandocFilters | 1.4.3 | Paramiko | 2.7.2 | Parso | 0.7.0 |
| Patia | 0.6.0 | patsy | 0.5.1 | petastorm | 0.11.3 |
| pexpect | 4.8.0 | Phik | 0.12.0 | pickleshare | 0.7.5 |
| Travesseiro | 8.2.0 | pip | 21.0.1 | enredo | 5.3.0 |
| Preshed | 3.0.5 | Prometheus-cliente | 0.10.1 | prompt-toolkit | 3.0.17 |
| profeta | 1.0.1 | protobuf | 3.17.2 | PSUTIL | 5.8.0 |
| psycopg2 | 2.8.5 | ptyprocess | 0.7.0 | pyarrow | 4.0.0 |
| pyasn1 | 0.4.8 | pyasn1-módulos | 0.2.8 | Pybind11 | 2.8.0 |
| pycparser | 2,20 | Pidântico | 1.8.2 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.4.0 |
| Pyodbc | 4.0.30 | pyparsing | 2.4.7 | pirsistent | 0.17.3 |
| Pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 |
| python-editor | 1.0.4 | pytz | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | Pyzmq | 20.0.0 | regex | 2021.4.4 |
| pedidos | 2.25.1 | pedidos-oauthlib | 1.3.0 | pedidos-unixsocket | 0.2.0 |
| RSA | 4.7.2 | s3transferir | 0.3.7 | sacremoses | 0.0.46 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Enviar2Lixo | 1.5.0 | setuptools | 52.0.0 | setuptools-git | 1.2 |
| PASP | 0.39.0 | simplejson | 3.17.2 | seis | 1.15.0 |
| segmentação de dados | 0.0.7 | inteligente-aberto | 5.2.0 | smmap | 3.0.5 |
| espaçado | 3.1.3 | Spacy-legado | 3.0.8 | spark-tensorflow-distributor | 1.0.0 |
| SQLPARSE | 0.4.1 | SRSLY | 2.4.1 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabular | 0.8.7 | emaranhado em unicode | 0.1.0 |
| tenacidade | 6.2.0 | TensorBoard | 2.6.0 | Tensorboard-Data-Server | 0.6.1 |
| Tensorboard-plugin-profile | 2.5.0 | Tensorboard-plugin-wit | 1.8.0 | TensorFlow-CPU | 2.6.0 |
| TensorFlow-Estimador | 2.6.0 | Termcolor | 1.1.0 | terminado | 0.9.4 |
| caminho de teste | 0.4.4 | fino | 8.0.9 | ThreadPoolCtl | 2.1.0 |
| tokenizadores | 0.10.3 | tocha | 1.9.1+CPU | Torchvision | 0.10.1+CPU |
| tornado | 6.1 | TQDM | 4.59.0 | traços | 5.0.5 |
| transformadores | 4.11.3 | datilógrafo | 0.3.2 | extensões de digitação | 3.7.4.3 |
| Ujson | 4.0.2 | Upgrades autônomos | 0.1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | visões | 0.7.4 | Wasabi | 0.8.2 |
| largura de wc | 0.2.5 | WebEncodings | 0.5.1 | Websocket-cliente | 0.57.0 |
| Werkzeug | 1.0.1 | roda | 0.36.2 | widgetsnbextension | 3.5.1 |
| embrulhado | 1.12.1 | xgboost | 1.4.2 | zipp | | 3.4.1 |
Bibliotecas Python em clusters GPU
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ABSL-PY | 0.11.0 | Antergos Linux | 2015.10 (Laminação ISO) | Appdirs | 1.4.4 |
| Argônio2-CFFI | 20.1.0 | Astor | 0.8.1 | Astunparse | 1.6.3 |
| gerador assíncrono | 1.10 | ATRs | 20.3.0 | Backcall | 0.2.0 |
| Cripta | 3.2.0 | lixívia | 3.3.0 | Blis | 0.7.4 |
| boto3 | 1.16.7 | botocore | 1.19.7 | Ferramentas de cache | 4.2.4 |
| catálogo | 2.0.6 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | Clang | 5.0 | clicar | 7.1.2 |
| Cloudpickle | 1.6.0 | CMDSTANPY | 0.9.68 | ConfigParser | 5.0.1 |
| convertdate | 2.3.2 | criptografia | 3.4.7 | cycler | 0.10.0 |
| cymem | 2.0.5 | Quisto | 0.29.23 | databricks-automl-runtime | 0.2.3 |
| databricks-cli | 0.14.3 | dbus-python | 1.2.16 | decorador | 5.0.6 |
| DeUsedXML | 0.7.1 | endro | 0.3.2 | cache de disco | 5.2.1 |
| Distlib | 0.3.3 | distro-info | 0,23ubuntu1 | pontos de entrada | 0.3 |
| Ephem | 4.1 | facetas-visão geral | 1.0.0 | texto rápido | 0.9.2 |
| filelock | 3.0.12 | Flask | 1.1.2 | flatbuffers | 1.12 |
| FSspec | 0.9.0 | Futuro | 0.18.2 | gast | 0.4.0 |
| GitDB | 4.0.7 | GitPython | 3.1.12 | Google-Auth | 1.22.1 |
| google-auth-oauthlib | 0.4.2 | google-massas | 0.2.0 | Grpcio | 1.39.0 |
| Gunicorn | 20.0.4 | GVIZ-API | 1.10.0 | H5PY | 3.1.0 |
| Hijri-Conversor | 2.2.2 | feriados | 0.11.3.1 | Horovod | 0.23.0 |
| htmlmin | 0.1.12 | abraçar-face-hub | 0.0.19 | idna | 2.10 |
| ImagemHash | 4.2.1 | aprendizagem desequilibrada | 0.8.1 | importlib-metadados | 3.10.0 |
| Ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | Isodato | 0.6.0 | é perigoso | 1.1.0 |
| Jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| Joblib | 1.0.1 | Joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-cliente | 6.1.12 | Jupyter-core | 4.7.1 | Jupyterlab-Pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keras | 2.6.0 | Pré-processamento de Keras | 1.1.2 |
| Kiwisolver | 1.3.1 | coalas | 1.8.2 | Coreano-Lunar-Calendário | 0.2.1 |
| LightGBM | 3.3.0 | llvmlite | 0.37.0 | LunarCalendário | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | faltandonão | 0.5.0 | Mistune | 0.8.4 |
| PEAML | 0.18.1 | mlflow-magro | 1.21.0 | multimétodo | 1.6 |
| Murmurhash | 1.0.5 | nbclient | 0.5.3 | nbconvert | 6.0.7 |
| nbformat | 5.1.3 | Ninho-Asyncio | 1.5.1 | redex | 2.5 |
| NLTK | 3.6.1 | bloco de notas | 6.3.0 | numba | 0.54.1 |
| numpy | 1.19.2 | OAuthlib | 3.1.0 | opt-einsum | 3.3.0 |
| embalagem | 20.9 | pandas | 1.2.4 | criação de perfis de pandas | 3.1.0 |
| PandocFilters | 1.4.3 | Paramiko | 2.7.2 | Parso | 0.7.0 |
| Patia | 0.6.0 | patsy | 0.5.1 | petastorm | 0.11.3 |
| pexpect | 4.8.0 | Phik | 0.12.0 | pickleshare | 0.7.5 |
| Travesseiro | 8.2.0 | pip | 21.0.1 | enredo | 5.3.0 |
| Preshed | 3.0.5 | prompt-toolkit | 3.0.17 | profeta | 1.0.1 |
| protobuf | 3.17.2 | PSUTIL | 5.8.0 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | pyasn1 | 0.4.8 |
| pyasn1-módulos | 0.2.8 | Pybind11 | 2.8.1 | pycparser | 2,20 |
| Pidântico | 1.8.2 | Pygments | 2.8.1 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.4.0 | Pyodbc | 4.0.30 |
| pyparsing | 2.4.7 | pirsistent | 0.17.3 | Pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-editor | 1.0.4 |
| pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| Pyzmq | 20.0.0 | regex | 2021.4.4 | pedidos | 2.25.1 |
| pedidos-oauthlib | 1.3.0 | pedidos-unixsocket | 0.2.0 | RSA | 4.7.2 |
| s3transferir | 0.3.7 | sacremoses | 0.0.46 | scikit-learn | 0.24.1 |
| scipy | 1.6.2 | seaborn | 0.11.1 | Enviar2Lixo | 1.5.0 |
| setuptools | 52.0.0 | setuptools-git | 1.2 | PASP | 0.39.0 |
| simplejson | 3.17.2 | seis | 1.15.0 | segmentação de dados | 0.0.7 |
| inteligente-aberto | 5.2.0 | smmap | 3.0.5 | espaçado | 3.1.3 |
| Spacy-legado | 3.0.8 | spark-tensorflow-distributor | 1.0.0 | SQLPARSE | 0.4.1 |
| SRSLY | 2.4.1 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tabular | 0.8.7 | emaranhado em unicode | 0.1.0 | tenacidade | 6.2.0 |
| TensorBoard | 2.6.0 | Tensorboard-Data-Server | 0.6.1 | Tensorboard-plugin-profile | 2.5.0 |
| Tensorboard-plugin-wit | 1.8.0 | TensorFlow | 2.6.0 | TensorFlow-Estimador | 2.6.0 |
| Termcolor | 1.1.0 | terminado | 0.9.4 | caminho de teste | 0.4.4 |
| fino | 8.0.9 | ThreadPoolCtl | 2.1.0 | tokenizadores | 0.10.3 |
| tocha | 1.9.1+CU111 | Torchvision | 0.10.1+CU111 | tornado | 6.1 |
| TQDM | 4.59.0 | traços | 5.0.5 | transformadores | 4.11.3 |
| datilógrafo | 0.3.2 | extensões de digitação | 3.7.4.3 | Ujson | 4.0.2 |
| Upgrades autônomos | 0.1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| visões | 0.7.4 | Wasabi | 0.8.2 | largura de wc | 0.2.5 |
| WebEncodings | 0.5.1 | Websocket-cliente | 0.57.0 | Werkzeug | 1.0.1 |
| roda | 0.36.2 | widgetsnbextension | 3.5.1 | embrulhado | 1.12.1 |
| xgboost | 1.4.2 | zipp | | 3.4.1 |
Pacotes Spark contendo módulos Python
| Pacote Spark | Módulo Python | Versão |
|---|---|---|
| quadros gráficos | quadros gráficos | 0.8.2-DB1-Faísca3.2 |
Bibliotecas R
As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 10.1.
Bibliotecas Java e Scala (cluster Scala 2.12)
Além das bibliotecas Java e Scala no Databricks Runtime 10.1, o Databricks Runtime 10.1 ML contém os seguintes JARs:
Clusters de CPU
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| com.typesafe.akka | AKKA-actor_2,12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
| ml.dmlc | xgboost4j-spark_2,12 | 1.4.1 |
| ml.dmlc | xgboost4j_2.12 | 1.4.1 |
| org.graphframes | graphframes_2.12 | 0.8.1-db6-faísca3.2 |
| org.mlflow | mlflow-cliente | 1.20.2 |
| org.mlflow | MLFLOW-Faísca | 1.20.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clusters GPU
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| com.typesafe.akka | AKKA-actor_2,12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23EB1EF |
| ml.dmlc | xgboost4j-gpu_2,12 | 1.4.1 |
| ml.dmlc | xgboost4j-faísca-gpu_2.12 | 1.4.1-faísca3.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-DB1-Faísca3.2 |
| org.mlflow | mlflow-cliente | 1.21.0 |
| org.mlflow | MLFLOW-Faísca | 1.21.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |