Какие средства включают Виртуальная машина для обработки и анализа данных Azure?
Вы можете использовать Виртуальная машина для обработки и анализа данных (DSVM), чтобы легко изучить данные и обрабатывать машинное обучение в облаке. DSVM предварительно настроен с помощью исправлений безопасности, драйверов, популярного программного обеспечения для обработки и разработки данных и полной операционной системы. Вы можете выбрать аппаратную среду, которая работает для вас, начиная от компьютеров с более низкой стоимостью ЦП до мощных компьютеров с несколькими GPU, хранилищем NVMe и большим объемом памяти. Для компьютеров с графическими процессорами устанавливаются все драйверы, а все платформы машинного обучения соответствуют версии для совместимости GPU. Кроме того, ускорение включено во всех приложениях, поддерживающих GPU.
DSVM поставляется с самыми полезными средствами обработки и анализа данных.
Создание решений для глубокого и машинного обучения
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| CUDA, cuDNN, драйвер NVIDIA | ✅ | ✅ | ✅ |
CUDA, cuDNN, драйвер NVIDIA на DSVM |
| Horovod | ❌ | ❌ | ✅ | Horovod на DSVM |
| NVidia System Management Interface (nvidia-smi) | ✅ | ✅ | ✅ | nvidia-smi на DSVM |
| PyTorch | ✅ | ✅ | ✅ | PyTorch на DSVM |
| TensorFlow | ✅ | ✅ |
✅ | TensorFlow на DSVM |
| Инструменты, интегрирующиеся с Машинным обучением Azure (Python) | ✅ (пакет SDK для Python, примеры) |
✅ (пакет SDK для Python, примеры) |
✅ (пакет SDK для Python, CLI, примеры) |
Пакет SDK для Машинного обучения Azure |
| XGBoost | ✅ (поддержка CUDA) |
✅ (поддержка CUDA) |
✅ (поддержка CUDA) |
XGBoost на DSVM |
| Vowpal Wabbit | ✅ | ✅ | ✅ |
Vowpal Wabbit на DSVM |
| Weka | ❌ | ❌ | ❌ | |
| LightGBM | ❌ | ❌ | ✅ (поддержка GPU и MPI) |
|
| H2O | ❌ | ❌ | ✅ | |
| CatBoost | ❌ | ❌ | ✅ | |
| Intel MKL | ❌ | ❌ | ✅ | |
| OpenCV | ❌ | ❌ | ✅ | |
| Dlib | ❌ | ❌ | ✅ | |
| Docker | ✅ (Только контейнеры Windows) |
✅ (Только контейнеры Windows) |
✅ | |
| Nccl | ❌ | ❌ | ✅ | |
| Rattle | ❌ | ❌ | ❌ | |
| PostgreSQL | ❌ | ❌ | ✅ | |
| Среда выполнения ONNX | ❌ | ❌ | ✅ |
Хранение, извлечение и обработка данных
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| Реляционные базы данных | SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server на DSVM |
| Средства работы с базами данных | Среда SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
Среда SQL Server Management Studio SQL Server Integration Services bcp, sqlcmd |
SQuirreL SQL (средство запроса), bcp, sqlcmd Драйверы ODBC и JDBC |
|
| Обозреватель службы хранилища Azure | ✅ |
✅ |
||
| Azure CLI | ✅ |
✅ |
✅ |
|
| AzCopy | ✅ |
✅ |
❌ | AzCopy на DSVM |
| Драйвер больших двоичных объектов FUSE | ❌ | ❌ | ❌ |
blobfuse на DSVM |
| Средство переноса данных Azure Cosmos DB | ✅ | ✅ | ❌ | Azure Cosmos DB в DSVM |
| Программы командной строки для Unix и Linux | ❌ | ❌ | ✅ | |
| Apache Spark 3.1 (изолированный экземпляр) | ✅ | ✅ | ✅ |
Программы на языках Python, R, Julia и Node.js
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| CRAN-R с популярными пакетами, предварительно установленными | ✅ | ✅ | ✅ | |
| Anaconda Python с популярными пакетами, предварительно установленными | ✅ | ✅ (Miniconda) |
✅ (Miniconda) |
|
| Julia (Julialang) | ✅ | ✅ | ✅ | |
| JupyterHub (многопользовательский сервер записной книжки) | ❌ | ❌ | ✅ | |
| JupyterLab (многопользовательский сервер записной книжки) | ✅ | ✅ | ✅ | |
| Node.js | ✅ | ✅ | ✅ | |
| Сервер Jupyter Notebook со следующими ядрами: | ✅ |
✅ |
✅ | Примеры записной книжки Jupyter |
| R | Примеры R Jupyter | |||
| Python | Примеры Python Jupyter | |||
| Julia | Примеры Julia Jupyter | |||
| PySpark | Примеры pySpark Jupyter |
Ubuntu 20.04 DSVM, Windows Server 2019 DSVM и WINDOWS Server 2022 DSVM имеют следующие ядра Jupyter:
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
- R
- Python 3.7 — Spark (локально);
- Julia 1.6.0
- R Spark — HDInsight;
- Scala Spark — HDInsight;
- Python 3 Spark — HDInsight.
Ubuntu 20.04 DSVM, Windows Server 2019 DSVM и WINDOWS Server 2022 DSVM имеют следующие среды conda:
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
Использование предпочтительного редактора или интегрированной среды разработки
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| Notepad++ | ✅ |
✅ |
❌ |
|
| Nano | ✅ |
✅ |
❌ |
|
| Visual Studio 2019 Community Edition | ✅ |
✅ | ❌ | Visual Studio на DSVM |
| Visual Studio Code | ✅ |
✅ |
✅ |
Visual Studio Code на DSVM |
| PyCharm Community Edition | ✅ |
✅ |
✅ |
PyCharm на DSVM |
| IntelliJ IDEA | ❌ | ❌ | ✅ | |
| Vim | ❌ | ❌ | ✅ |
|
| Emacs | ❌ | ❌ | ✅ |
|
| Git и Git Bash | ✅ |
✅ |
✅ |
|
| OpenJDK 11 | ✅ |
✅ |
✅ |
|
| .NET Framework | ✅ |
✅ |
❌ | |
| Пакет Azure SDK | ✅ |
✅ | ✅ |
Упорядочение и представление результатов
| Средство | DSVM под управлением Windows Server 2019 | Windows Server 2022 DSVM | DSVM под управлением Ubuntu 20.04 | Примечания об использовании |
|---|---|---|---|---|
| Microsoft 365 (Word, Excel, PowerPoint) | ✅ | ✅ | ❌ | |
| Microsoft Teams | ✅ | ✅ | ❌ | |
| Power BI Desktop. | ✅ | ✅ |
❌ | |
| Браузер Microsoft Edge | ✅ | ✅ | ✅ |