Принципы работы семейства Azure Data Box
Ознакомившись с вариантами перемещения данных, вы поймете, что Диск Azure Data Box является оптимальным решением. Необязательно выделять всю пропускную способность сети для импорта своих данных в Azure. Как администратору организации вам нужно глубоко понимать рабочий процесс, связанный с передачей данных в Azure.
В этом уроке вы узнаете, как использовать Azure Диск Data Box и другие устройства в семействе Azure Data Box для импорта данных в Azure.
Импорт данных с помощью семейства устройств Azure Data Box
На схеме ниже в общих чертах показано, как заказать устройство из семейства Azure Data Box:
Для ясности разбейте этапы этого рабочего процесса на отдельные шаги:
- Создайте заказ с помощью портала Azure, Azure CLI или PowerShell.
- Получение устройства в центре обработки данных Azure. Подключение и разблокировка устройства.
- Настройка и копирование данных на устройство. Проверка данных.
- Доставка устройства в Azure.
- Проверка данных в хранилище Azure.
Если вы планируете заказать Data Box Heavy, убедитесь, что оно может соответствовать входу в вашей локальной среде, и что у вас есть по крайней мере два человека для его обработки. Это крупное устройство, вес которого составляет 227 кг. Его перемещают на колесах.
Мы рассмотрим конкретные шаги по использованию Azure Диск Data Box далее в этом уроке.
Копирование данных с помощью стандартных инструментов
Скопировать данные можно с помощью стандартных средств. Например, используйте проводник для перетаскивания файлов или используйте средство копирования файлов, совместимое с SMB, например Robocopy.
Использование соглашения об именовании и ограничении размеров файлов службы хранилища Azure
При копировании данных действуют все обычные соглашения об именовании для службы хранилища Azure:
- Имена вложенных папок должны содержать от 3 до 63 символов в нижнем регистре и состоять только из букв, цифр и дефисов. Использовать несколько последовательных дефисов нельзя.
- Длина имен каталогов и файлов в Файлах Azure не должна превышать 255 символов.
- Размер файла не должен превышать ~4,75 ТиБ для блочных BLOB-объектов, ~8 ТиБ для страничных BLOB-объектов и ~1 ТиБ для Файлов Azure.
Скопируйте данные в соответствующую папку для типа хранилища: PageBlob, BlockBlob, AzureFile или ManagedDisk.
- Используйте папку ManagedDisk для виртуальных жестких дисков (VHD), которые требуется перенести в Azure. Используйте папку PageBlob для VHDX-файлов.
- Все файлы, скопированные напрямую в папки PageBlob или BlockBlob, будут вставлены в контейнер по умолчанию $root. Вложенные папки создаются в качестве контейнеров в Azure.
- В Файлах Azure файлы должны размещаться в подпапках папки AzureFile. Все файлы, скопированные в корневую папку AzureFile, будут переданы в качестве блочных BLOB-объектов, а не элементов Файлов Azure.
Если вы не соблюдаете соглашение об именовании, а также требования к структуре файлов и размерам, передача данных в Azure может завершиться сбоем. При использовании Windows рекомендуется проверить файлы с помощью скрипта DataBoxDiskValidation.cmd, доступного в папке DataBoxDiskImport. Если у вас достаточно времени, используйте параметр generate checksums, чтобы проверить данные перед отправкой в Azure.
Импорт данных с помощью Диска Azure Data Box
Чтобы передать данные автомобилей, необходимо заказать Диск Data Box и импортировать данные в Azure, сделав следующее:
Создание заказа
- Начните с оценки объема данных, генерируемых вашими автомобилями в течение времени, за которое вы планируете выполнить выборку, прежде чем отправлять эти данные в Azure.
- Создайте заказ с помощью портала, Azure CLI или PowerShell. Укажите объем данных, исходную страну или регион и страну назначения.
Получение устройства в центре обработки данных Azure
- Служба назначает от одного до пяти зашифрованных с помощью BitLocker дисков SSD емкостью 8 ТБ (до 35 ТБ доступной емкости) и отправляет их в течение 10 дней. Если необходимо передать больше 35 ТБ, можно сделать несколько заказов.
- Получив диски, войдите на портал Azure и перейдите на страницу Сведения об устройстве для Диска Data Box. Получите ключ доступа. Загрузите в операционную систему правильную версию инструмента разблокировки диска Data Box.
Настройка и копирование данных на устройство
- Для сценария автономного транспортного средства вы подключаете диски непосредственно к подключенному компьютеру Linux или Windows на машине. При использовании Диска Azure Data Box можно подключать сразу несколько дисков, а также параллельно запускать несколько заданий копирования.
- Для отправки в Azure Диск Azure Data Box поддерживает хранилища для таких типов данных, как блочные BLOB-объекты, страничные BLOB-объекты Azure, Файлы Azure или Управляемые диски Azure. Диски предоставляются с заранее определенной структурой папок в зависимости от типа хранилища. Скопируйте данные в соответствующую папку для типа хранилища: PageBlob, BlockBlob, AzureFile или ManagedDisk.
- Проверьте файлы, выполнив скрипт DataBoxDiskValidation.cmd, который находится в папке DataBoxDiskImport. Выберите вариант 1, чтобы проверить эти файлы. Если у вас достаточно времени, создайте контрольные суммы, выбрав вариант 2. Это может занять некоторое время в зависимости от объема данных.
- Счет за первые три дня выставляется как за один день (льготный период) с однократной платой за доставку и обработку заказа. По истечении первых трех дней действуют суточные расценки за каждый диск SSD.
Доставка устройства в Центр обработки данных Azure
Доставьте диск обратно в Azure, используя предоставленные этикетки отгрузки для регионального перевозчика. Когда Центр обработки данных Azure получит устройство, данные будут скопированы в вашу учетную запись хранения Azure.
Просмотр данных в хранилище Azure
Проверьте данные на наличие ошибок, а также убедитесь, что данные скопированы в вашу учетную запись хранения.
Клонирование заказа Data Box
Так как необходимо периодически отправлять данные телеметрии из автономных транспортных средств, вам потребуется простой способ повторить описанный здесь процесс. Проще всего клонировать предыдущий заказ диска Azure Data Box на портале. Если вы выберете Clone (Клонировать) в заказе, все сведения о предыдущем заказе останутся неизменными, а к исходному имени заказа будет добавлен фрагмент -Clone.
Экспорт данных с помощью Data Box
Для экспорта данных из Azure можно использовать Data Box. Диск Data Box и Data Box Heavy не поддерживают экспорт данных из Azure.
Хотя нам не нужно экспортировать данные из Azure для нашего сценария, следует учитывать рабочий процесс. Процесс заказа и использования Data Box для экспорта данных похож на рабочий процесс импорта. В общем этот рабочий процесс включает следующие шаги:
Создание заказа на портале Azure.
Получение устройства в центре обработки данных Azure. Подключение и разблокировка устройства. Устройство содержит данные, скопированные центром обработки данных Azure из учетной записи хранения Azure.
Копирование данных с устройства.
Возврат устройства в Azure. Центр обработки данных Azure обеспечивает безопасную очистку дисков устройств, которая соответствует рекомендациям Национального института стандартов и технологий (NIST).