Поделиться через


Средства приема данных виртуальных машин для обработки и анализа данных

На раннем этапе в проекте обработки и анализа данных или ИИ необходимо определить необходимые наборы данных, а затем перенести их в среду аналитики. Виртуальная машина для обработки и анализа данных (DSVM) предоставляет средства и библиотеки для переноса данных из разных источников в локальные ресурсы хранилища аналитических данных в DSVM. DSVM также может привести данные в платформу данных, расположенную в облаке или локальной среде.

DSVM предлагает следующие средства перемещения данных:

Azure CLI

Категория Значение
Что это такое? Средство управления для Azure. Она предлагает команды для перемещения данных с платформ данных Azure, например хранилища BLOB-объектов Azure и Azure Data Lake Store.
Поддерживаемые версии виртуальных машин для обработки и анализа данных Windows, Linux
Распространенные способы применения Импорт и экспорт данных между служба хранилища Azure и Azure Data Lake Store
Запуск и использование Откройте командную строку и введите az справку.
Ссылки на примеры Использование Azure CLI

AzCopy

Категория Значение
Что это такое? Средство для копирования данных между локальными файлами, хранилищем BLOB-объектов Azure, файлами и таблицами
Поддерживаемые версии виртуальных машин для обработки и анализа данных Windows
Распространенные способы применения Копирование файлов в хранилище BLOB-объектов Azure
Копирование больших двоичных объектов между учетными записями
Запуск и использование Откройте командную строку и введите azcopy справку.
Ссылки на примеры AzCopy в Windows

Средство переноса данных Azure Cosmos DB

Категория Значение
Что это такое? Средство для импорта данных из различных источников в Azure Cosmos DB, базу данных NoSQL в облаке. К этим источникам относятся JSON-файлы
CSV-файлы;
SQL
MongoDB
Хранилище таблиц Azure
Amazon DynamoDB
Коллекции Azure Cosmos DB для NoSQL
Поддерживаемые версии виртуальных машин для обработки и анализа данных Windows
Распространенные способы применения Импорт файлов из виртуальной машины в Azure Cosmos DB
импорт данных из хранилища таблиц Azure в Azure Cosmos DB
импорт данных из базы данных Microsoft SQL Server в Azure Cosmos DB
Запуск и использование Чтобы использовать версию для командной строки, откройте командную строку и введите dt. Чтобы использовать средство графического интерфейса, откройте командную строку и введите dtui
Ссылки на примеры Импорт данных в DocumentDB с помощью средства миграции базы данных

Обозреватель службы хранилища Azure

Категория Значение
Что это такое? Графический пользовательский интерфейс для взаимодействия с файлами, хранящимися в облаке Azure
Поддерживаемые версии виртуальных машин для обработки и анализа данных Windows
Распространенные способы применения Импорт данных в dsVM и экспорт данных из DSVM
Запуск и использование Найдите "обозреватель служба хранилища Azure" в меню
Ссылки на примеры Обозреватель службы хранилища Azure

bcp

Категория Значение
Что это такое? Средство SQL Server для копирования данных между SQL Server и файлом данных
Поддерживаемые версии виртуальных машин для обработки и анализа данных Windows
Распространенные способы применения Импорт CSV-файла в таблицу SQL Server
Экспорт таблицы SQL Server в файл
Запуск и использование Откройте командную строку и введите bcp справку
Ссылки на примеры bcp, программа

blobfuse

Категория Значение
Что это такое? Средство подключения контейнера хранилища BLOB-объектов Azure в файловой системе Linux
Поддерживаемые версии виртуальных машин для обработки и анализа данных Linux
Распространенные способы применения Чтение и запись в большие двоичные объекты в контейнере
Запуск и использование Запуск blbfuse в терминале
Ссылки на примеры blobfuse в GitHub