Средства приема данных виртуальных машин для обработки и анализа данных
На раннем этапе в проекте обработки и анализа данных или ИИ необходимо определить необходимые наборы данных, а затем перенести их в среду аналитики. Виртуальная машина для обработки и анализа данных (DSVM) предоставляет средства и библиотеки для переноса данных из разных источников в локальные ресурсы хранилища аналитических данных в DSVM. DSVM также может привести данные в платформу данных, расположенную в облаке или локальной среде.
DSVM предлагает следующие средства перемещения данных:
Azure CLI
Категория | Значение |
---|---|
Что это такое? | Средство управления для Azure. Она предлагает команды для перемещения данных с платформ данных Azure, например хранилища BLOB-объектов Azure и Azure Data Lake Store. |
Поддерживаемые версии виртуальных машин для обработки и анализа данных | Windows, Linux |
Распространенные способы применения | Импорт и экспорт данных между служба хранилища Azure и Azure Data Lake Store |
Запуск и использование | Откройте командную строку и введите az справку. |
Ссылки на примеры | Использование Azure CLI |
AzCopy
Категория | Значение |
---|---|
Что это такое? | Средство для копирования данных между локальными файлами, хранилищем BLOB-объектов Azure, файлами и таблицами |
Поддерживаемые версии виртуальных машин для обработки и анализа данных | Windows |
Распространенные способы применения | Копирование файлов в хранилище BLOB-объектов Azure Копирование больших двоичных объектов между учетными записями |
Запуск и использование | Откройте командную строку и введите azcopy справку. |
Ссылки на примеры | AzCopy в Windows |
Средство переноса данных Azure Cosmos DB
Категория | Значение |
---|---|
Что это такое? | Средство для импорта данных из различных источников в Azure Cosmos DB, базу данных NoSQL в облаке. К этим источникам относятся JSON-файлы CSV-файлы; SQL MongoDB Хранилище таблиц Azure Amazon DynamoDB Коллекции Azure Cosmos DB для NoSQL |
Поддерживаемые версии виртуальных машин для обработки и анализа данных | Windows |
Распространенные способы применения | Импорт файлов из виртуальной машины в Azure Cosmos DB импорт данных из хранилища таблиц Azure в Azure Cosmos DB импорт данных из базы данных Microsoft SQL Server в Azure Cosmos DB |
Запуск и использование | Чтобы использовать версию для командной строки, откройте командную строку и введите dt . Чтобы использовать средство графического интерфейса, откройте командную строку и введите dtui |
Ссылки на примеры | Импорт данных в DocumentDB с помощью средства миграции базы данных |
Обозреватель службы хранилища Azure
Категория | Значение |
---|---|
Что это такое? | Графический пользовательский интерфейс для взаимодействия с файлами, хранящимися в облаке Azure |
Поддерживаемые версии виртуальных машин для обработки и анализа данных | Windows |
Распространенные способы применения | Импорт данных в dsVM и экспорт данных из DSVM |
Запуск и использование | Найдите "обозреватель служба хранилища Azure" в меню |
Ссылки на примеры | Обозреватель службы хранилища Azure |
bcp
Категория | Значение |
---|---|
Что это такое? | Средство SQL Server для копирования данных между SQL Server и файлом данных |
Поддерживаемые версии виртуальных машин для обработки и анализа данных | Windows |
Распространенные способы применения | Импорт CSV-файла в таблицу SQL Server Экспорт таблицы SQL Server в файл |
Запуск и использование | Откройте командную строку и введите bcp справку |
Ссылки на примеры | bcp, программа |
blobfuse
Категория | Значение |
---|---|
Что это такое? | Средство подключения контейнера хранилища BLOB-объектов Azure в файловой системе Linux |
Поддерживаемые версии виртуальных машин для обработки и анализа данных | Linux |
Распространенные способы применения | Чтение и запись в большие двоичные объекты в контейнере |
Запуск и использование | Запуск blbfuse в терминале |
Ссылки на примеры | blobfuse в GitHub |