Que ferramentas inclui a Máquina Virtual de Ciência de Dados do Azure?
Você pode usar a Máquina Virtual de Ciência de Dados (DSVM) para explorar facilmente os dados e lidar com o aprendizado de máquina na nuvem. Uma DSVM é pré-configurada com patches de segurança, drivers, software popular de ciência de dados e desenvolvimento e um sistema operacional completo. Você pode escolher o ambiente de hardware que funciona para você, desde máquinas centradas em CPU de baixo custo até máquinas poderosas com várias GPUs, armazenamento NVMe e grandes quantidades de memória. Para máquinas com GPUs, todos os drivers são instalados e todas as estruturas de aprendizado de máquina são compatíveis com a versão para compatibilidade com GPU. Além disso, a aceleração está habilitada em todos os softwares de aplicativos que suportam GPUs.
A DSVM vem com as ferramentas de ciência de dados mais úteis pré-instaladas.
Crie soluções de aprendizagem profunda e aprendizagem automática
| Ferramenta | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Notas de utilização |
|---|---|---|---|---|
| Controlador CUDA, cuDNN, NVIDIA | ✅ | ✅ | ✅ |
CUDA, cuDNN, driver NVIDIA na DSVM |
| Horovod | ❌ | ❌ | ✅ | Horovod na DSVM |
| Interface de gerenciamento de sistema NVidia (nvidia-smi) | ✅ | ✅ | ✅ | nvidia-smi na DSVM |
| PyTorch | ✅ | ✅ | ✅ | PyTorch na DSVM |
| TensorFlow | ✅ | ✅ |
✅ | TensorFlow na DSVM |
| Integração com o Azure Machine Learning (Python) | ✅ (Python SDK, exemplos) |
✅ (Python SDK, exemplos) |
✅ (Python SDK, CLI, exemplos) |
Azure Machine Learning SDK |
| XGBoost | ✅ (Suporte CUDA) |
✅ (Suporte CUDA) |
✅ (Suporte CUDA) |
XGBoost na DSVM |
| Vowpal Wabbit | ✅ | ✅ | ✅ |
Vowpal Wabbit na DSVM |
| Weka | ❌ | ❌ | ❌ | |
| LightGBM | ❌ | ❌ | ✅ (GPU, suporte MPI) |
|
| H2O | ❌ | ❌ | ✅ | |
| CatBoost | ❌ | ❌ | ✅ | |
| Intel MKL | ❌ | ❌ | ✅ | |
| OpenCV | ❌ | ❌ | ✅ | |
| Dlib | ❌ | ❌ | ✅ | |
| Docker | ✅ (Somente contêineres do Windows) |
✅ (Somente contêineres do Windows) |
✅ | |
| Nccl | ❌ | ❌ | ✅ | |
| Rattle | ❌ | ❌ | ❌ | |
| PostgreSQL | ❌ | ❌ | ✅ | |
| ONNX Runtime | ❌ | ❌ | ✅ |
Armazenar, recuperar e manipular dados
| Ferramenta | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Notas de utilização |
|---|---|---|---|---|
| Bases de dados relacionais | SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server na DSVM |
| Ferramentas de bases de dados | SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
SQuirreL SQL (ferramenta de consulta), bcp, sqlcmd Drivers ODBC/JDBC |
|
| Explorador do Storage do Azure | ✅ |
✅ |
||
| CLI do Azure | ✅ |
✅ |
✅ |
|
| AzCopy | ✅ |
✅ |
❌ | AzCopy na DSVM |
| Controlador Blob FUSE | ❌ | ❌ | ❌ |
blobfuse na DSVM |
| Ferramenta de Migração de Dados do Azure Cosmos DB | ✅ | ✅ | ❌ | Azure Cosmos DB na DSVM |
| Ferramentas de linha de comando Unix/Linux | ❌ | ❌ | ✅ | |
| Apache Spark 3.1 (autônomo) | ✅ | ✅ | ✅ |
Programa em Python, R, Julia e Node.js
| Ferramenta | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Notas de utilização |
|---|---|---|---|---|
| CRAN-R com pacotes populares pré-instalados | ✅ | ✅ | ✅ | |
| Anaconda Python com pacotes populares pré-instalados | ✅ | ✅ (Miniconda) |
✅ (Miniconda) |
|
| Júlia (Julialang) | ✅ | ✅ | ✅ | |
| JupyterHub (servidor de notebook multiusuário) | ❌ | ❌ | ✅ | |
| JupyterLab (servidor de notebook multiusuário) | ✅ | ✅ | ✅ | |
| Node.js | ✅ | ✅ | ✅ | |
| Jupyter Notebook Server com os seguintes kernels: | ✅ |
✅ |
✅ | Amostras do Jupyter Notebook |
| R | R Jupyter Amostras | |||
| Python | Exemplos de Python Jupyter | |||
| Julia | Julia Jupyter Amostras | |||
| PySpark | Amostras de Jupyter pySpark |
A DSVM do Ubuntu 20.04, a DSVM do Windows Server 2019 e a DSVM do Windows Server 2022 têm estes kernels Jupyter:
- Python3.8-padrão
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
- R
- Python 3.7 - Spark (local)
- Júlia 1.6.0
- R Spark – HDInsight
- Scala Spark – HDInsight
- Python 3 Spark – HDInsight
A DSVM do Ubuntu 20.04, a DSVM do Windows Server 2019 e a DSVM do Windows Server 2022 têm os seguintes ambientes de conda:
- Python3.8-padrão
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
Use seu editor ou IDE preferido
| Ferramenta | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Notas de utilização |
|---|---|---|---|---|
| Bloco de notas ++ | ✅ |
✅ |
❌ |
|
| Nano | ✅ |
✅ |
❌ |
|
| Edição da comunidade do Visual Studio 2019 | ✅ |
✅ | ❌ | Visual Studio na DSVM |
| Visual Studio Code | ✅ |
✅ |
✅ |
Código do Visual Studio na DSVM |
| PyCharm Community Edition | ✅ |
✅ |
✅ |
PyCharm na DSVM |
| IntelliJ IDEIA | ❌ | ❌ | ✅ | |
| Vim | ❌ | ❌ | ✅ |
|
| Emacs | ❌ | ❌ | ✅ |
|
| Git e Git Bash | ✅ |
✅ |
✅ |
|
| OpenJDK 11 | ✅ |
✅ |
✅ |
|
| .NET Framework | ✅ |
✅ |
❌ | |
| SDK do Azure | ✅ |
✅ | ✅ |
Organizar e apresentar resultados
| Ferramenta | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Notas de utilização |
|---|---|---|---|---|
| Microsoft 365 (Word, Excel, PowerPoint) | ✅ | ✅ | ❌ | |
| Microsoft Teams | ✅ | ✅ | ❌ | |
| O Power BI Desktop | ✅ | ✅ |
❌ | |
| Navegador Microsoft Edge | ✅ | ✅ | ✅ |