Руководство по копированию данных в Azure Data Box с помощью S МБ
Копирование данных в Azure Data Box
Внимание
Azure Data Box теперь поддерживает назначение уровня доступа на уровне BLOB-объектов. Действия, содержащиеся в этом руководстве, отражают обновленный процесс копирования данных и зависят от блочных BLOB-объектов.
Сведения о том, как определить соответствующий уровень доступа для данных блочного BLOB-объекта, см . в разделе "Определение соответствующих уровней доступа для блочных BLOB-объектов ". Выполните действия, содержащиеся в разделе "Копирование данных в Azure Data Box ", чтобы скопировать данные на соответствующий уровень доступа.
Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.
В этом руководстве объясняется, как подключиться к главному компьютеру и скопировать данные с него с помощью локального пользовательского веб-интерфейса.
В этом руководстве описано следующее:
- Необходимые компоненты
- Подключение к Data Box
- Определение соответствующих уровней доступа для блочных BLOB-объектов
- Копирование данных в Data Box
Необходимые компоненты
Перед тем как начать, убедитесь в следующем.
- Вы выполнили руководство. Настройка Azure Data Box.
- Вы получили Data Box. Состояние заказа на портале — Доставлено.
- У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box. Компьютер узла должен:
- поддерживаемая операционная система;
- Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуем использовать хотя бы одно соединение Ethernet со скоростью передачи данных 10 Гбит/с. Если подключение 10 ГбE недоступно, используйте ссылку данных 1 ГбE, но скорость копирования влияет.
Подключение к Data Box
В зависимости от выбранной учетной записи хранения Data Box создает указанные ниже ресурсы.
- До трех общих папок для каждой связанной учетной записи хранения (GPv1 и GPv2).
- Одна общая папка для хранилища класса Premium.
- Одна общая папка для учетной записи хранения BLOB-объектов, содержащая одну папку для каждого из четырех уровней доступа.
В следующей таблице указаны имена общих папок Data Box, к которым можно подключиться, и тип данных, отправленных в целевую учетную запись хранения. Он также определяет иерархию общих папок и каталогов, в которые копируются исходные данные.
| Тип хранилища | Имя общего ресурса | Сущность первого уровня | Сущность второго уровня | Сущность третьего уровня |
|---|---|---|---|---|
| Блочный BLOB-объект | <storageAccountName>_BlockBlob | <\accessTier> | <\containerName> | <\blockBlob> |
| Страничный BLOB-объект | <\storageAccountName>_PageBlob | <\containerName> | <\pageBlob> | |
| Хранилище файлов | <\storageAccountName>_AzFile | <\fileShareName> | <\Файл> |
Файлы нельзя копировать непосредственно в корневую папку общего ресурса Data Box. Вместо этого создайте папки в общей папке Data Box в зависимости от варианта использования.
Блочные BLOB-объекты поддерживают назначение уровней доступа на уровне файла. При копировании файлов в общую папку блочных BLOB-объектов рекомендуется добавить новые вложенные папки в соответствующий уровень доступа. После создания новых вложенных папок продолжайте добавлять файлы в каждую вложенную папку соответствующим образом.
Новый контейнер создается для любой папки, размещенной в корневом каталоге блочного общей папки BLOB-объектов. Любой файл в этой папке копируется на уровень доступа учетной записи хранения по умолчанию в виде блочного BLOB-объекта.
Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные сведения о рекомендациях уровня доступа см. в рекомендациях по использованию уровней доступа к BLOB-объектам.
В следующей таблице показан UNC-путь к общим папкам в Data Box и соответствующий URL-адрес пути служба хранилища Azure, в который передаются данные. Конечный URL-адрес службы хранилища Azure может быть производным от UNC-пути к общей папке.
| Типы служб хранилища Azure | Общие папки Data Box |
|---|---|
| Блочные BLOB-объекты Azure | \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txthttps://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt |
| Страничные BLOB-объекты Azure | \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhdhttps://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd |
| Файлы Azure | \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txthttps://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt |
Если вы используете главный компьютер с ОС Windows Server, для подключения к Data Box выполните указанные ниже действия.
В первую очередь необходимо выполнить проверку подлинности и начать сеанс. Перейдите на страницу Подключение и копирование. Выберите SMB, чтобы получить учетные данные для доступа к общим папкам, связанным с вашей учетной записью хранения.
В диалоговом окне "Доступ к общей папке и копирование данных" скопируйте имя пользователя и пароль, соответствующие необходимой общей папке. Затем выберите OK.
В следующем примере используется пример учетной записи хранения с именем utsac1. Чтобы получить доступ к общим папкам, связанным с учетной записью хранения, с главного компьютера откройте командное окно. В командной строке введите:
net use \\<DeviceIPAddress>\<share name> /u:<IP address of the device>\<user name for the share>В зависимости от формата ваших данных, пути к общей папке могут быть следующими:
- Блочный BLOB-объект Azure —
\\<DeviceIPAddress>\utsac1_BlockBlob. - Страничный BLOB-объект Azure —
\\<DeviceIPAddress>\utsac1_PageBlob. - Файлы Azure —
\\<DeviceIPAddress>\utsac1_AzFile.
- Блочный BLOB-объект Azure —
При отображении соответствующего запроса введите пароль для общей папки. Если пароль включает специальные знаки, заключите его в двойные кавычки. В примере ниже показан процесс подключения к общей папке с помощью указанной выше команды.
C:\Users\Databoxuser>net use \\<DeviceIPAddress>\utSAC1_202006051000_BlockBlob /u:<DeviceIPAddress>\testuser1 Enter the password for 'testuser1' to connect to '<DeviceIPAddress>': "ab1c2def$3g45%6h7i&j8kl9012345" The command completed successfully.Нажмите клавиши WINDOWS+R. В окне Выполнить введите
\\<DeviceIPAddress>. Нажмите кнопку ОК, чтобы открыть проводник.
Должны отобразиться папки, в том числе общие.
Внимание
Файлы нельзя копировать непосредственно в корневую папку учетной записи хранения. В корневой папке учетной записи хранения блочных BLOB-объектов вы найдете папку, соответствующую каждому из доступных уровней доступа.
Чтобы скопировать данные в Azure Data Box, необходимо сначала выбрать папку, соответствующую одному из уровней доступа. Затем создайте вложенную папку в папке этого уровня для хранения данных. Наконец, скопируйте данные в только что созданную вложенную папку. Новая вложенная папка представляет контейнер, созданный в учетной записи хранения во время приема. Данные передаются в этот контейнер в виде больших двоичных объектов.
Если вы используете клиент Linux, вставьте общий ресурс SMB с помощью следующей команды. Значение vers параметра определяет версию S МБ, которую поддерживает узел Linux. Вставьте соответствующую версию в приведенную примерную команду. Список версий S МБ, поддерживаемых Data Box, см. в статье "Поддерживаемые файловые системы для клиентов Linux".
sudo mount -t cifs -o vers=2.1 10.126.76.138:/utsac1_BlockBlob /home/databoxubuntuhost/databox
Определение соответствующих уровней доступа для блочных BLOB-объектов
Внимание
Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.
служба хранилища Azure позволяет хранить данные блочных BLOB-объектов в нескольких уровнях доступа в одной учетной записи хранения. Эта возможность позволяет упорядочивать и хранить данные более эффективно на основе частоты доступа. В следующей таблице содержатся сведения и рекомендации по служба хранилища Azure уровням доступа.
| Уровень | Рекомендация | Рекомендация |
|---|---|---|
| высокая | Полезно для частого доступа к данным в Интернете или изменения. Горячий уровень отличается самыми высокими затратами на хранение, но наименьшими затратами на доступ. | Данные на этом уровне должны находиться в регулярном и активном использовании. |
| Холодный | Полезно для доступа к интернет-данным или редко изменяемых. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем горячий уровень. | Данные на этом уровне должны храниться не менее 30 дней. |
| низкая | Полезно для доступа к интернет-данным или изменениям редко, но по-прежнему требуется быстрое извлечение. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем холодный уровень. | Данные на этом уровне должны храниться не менее 90 дней. |
| Архив | Полезно для автономных данных редко обращаться к данным и иметь более низкие требования к задержке. | Данные на этом уровне должны храниться не менее 180 дней. Данные, удаленные из архивного уровня в течение 180 дней, подлежат досрочному удалению. |
Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные рекомендации см. в рекомендациях по использованию уровней доступа к BLOB-объектам.
Данные блочного большого двоичного объекта можно передать на соответствующий уровень доступа, скопировать его в соответствующую папку в Data Box. Этот процесс подробно рассматривается в разделе "Копирование данных в Azure Data Box ".
Копирование данных в Data Box
После подключения к одному или нескольким общим папкам Data Box следующим шагом является копирование данных. Перед началом копирования данных рассмотрите следующие ограничения:
- Убедитесь, что данные копируются в общую папку, соответствующую требуемому формату данных. Например, скопируйте данные блочных BLOB-объектов в общую папку для блочных BLOB-объектов. Скопируйте виртуальные жесткие диски в общую папку BLOB-объектов страницы. Если формат данных не соответствует соответствующему типу общего ресурса, отправка данных в Azure завершается сбоем во время последующего шага.
- При копировании данных в общие папки AzFile или PageBlob сначала создайте папку в корне общей папки, а затем скопируйте файлы в ту папку.
- При копировании данных в общую папку BlockBlob создайте вложенную папку в требуемом уровне доступа, а затем скопируйте данные в только что созданную вложенную папку. Вложенная папка представляет контейнер, в который передаются данные в виде больших двоичных объектов. Файлы нельзя копировать непосредственно в корневую папку общего ресурса.
- При копировании данных убедитесь, что их размер соответствует ограничениям размера, указанным в статье Ограничения размера для учетной записи хранения Azure.
- Если вы хотите сохранить метаданные (списки управления доступом, метки времени и атрибуты файлов) при передаче данных в Файлы Azure, следуйте инструкциям из статьи Сохранение файловых списков управления доступом, атрибутов и меток времени с помощью Azure Data Box.
- Одновременные отправки Data Box и другого приложения, отличного от Data Box, могут привести к сбоям заданий отправки и повреждению данных.
- Если для копирования данных используются протоколы S МБ и NFS, рекомендуется:
- Использовать разные учетные записи хранения для SMB и NFS.
- Не копировать одни и те же данные в одно расположение в Azure с помощью SMB и NFS. В таких случаях невозможно предсказать окончательный результат.
- Хотя параллельное копирование через SMB и NFS может работать, мы не советуем делать это, так могут возникать ошибки из-за действий человека. Дождитесь завершения копирования данных через SMB, прежде чем начать копирование данных через NFS.
Внимание
Убедитесь, что вы сохраняете копию исходных данных, пока не сможете подтвердить, что данные скопированы в служба хранилища Azure.
После подключения к общей папке SMB начните копирование данных. Кроме того, для копирования данных можно использовать любое средство для копирования файлов, совместимое с протоколом SMB, например Robocopy. С помощью средства Robocopy можно запустить несколько заданий копирования. Используйте следующую команду:
robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /B /Log+:<LogFile>
Атрибуты команды описаны в таблице ниже.
| Атрибут | Description |
|---|---|
| /e | Копирование подкаталогов, включая пустые каталоги. |
| /r: | Указание количества повторных попыток для неудавшихся копий. |
| /w: | Указание времени ожидания между повторными попытками в секундах. |
| /is | Включает одни и те же файлы. |
| /nfl | Указывает, что имена файлов не регистрируются. |
| /ndl | Указывает, что имена каталогов не регистрируются. |
| /np | Указывает, что ход выполнения операции копирования (количество файлов или каталогов, скопированных до сих пор) не будет отображаться. Отображение хода выполнения значительно снижает производительность. |
| /MT | Использование многопоточности; рекомендуется использовать 32 или 64 потока. Этот параметр не используется при работе с зашифрованными файлами. Возможно, потребуется разделить зашифрованные и незашифрованные файлы. Копирование с использованием одного потока значительно снижает производительность. |
| /fft | Используется для уменьшения степени детализации меток времени при работе с любыми файловыми системами. |
| /B | Копирует файлы в режиме резервного копирования. |
| /z | Копирует файлы в режиме перезапуска; используйте этот параметр, если среда нестабильна. Этот параметр уменьшает пропускную способность из-за внесения дополнительных сведений в журналы. |
| /zb | Использует режим перезапуска. Если доступ запрещен, то для этого параметра используется режим резервного копирования. Этот параметр уменьшает пропускную способность из-за создания контрольных точек. |
| /efsraw | Копирование всех зашифрованных файлов в режиме необработанных данных в файловой системе EFS. Используется только при работе с зашифрованными файлами. |
| log+:<LogFile> | Добавление выходных данных в существующий файл журнала. |
Ниже приведен пример выходных данных команды robocopy для копирования файлов в Data Box.
C:\Users>robocopy
-------------------------------------------------------------------------------
ROBOCOPY :: Robust File Copy for Windows
-------------------------------------------------------------------------------
Started : Thursday, March 8, 2018 2:34:53 PM
Simple Usage :: ROBOCOPY source destination /MIR
source :: Source Directory (drive:\path or \\server\share\path).
destination :: Destination Dir (drive:\path or \\server\share\path).
/MIR :: Mirror a complete directory tree.
For more usage information run ROBOCOPY /?
**** /MIR can DELETE files as well as copy them !
C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.126.76.172\devicemanagertest1_AzFile\templates /MT:32
-------------------------------------------------------------------------------
ROBOCOPY :: Robust File Copy for Windows
-------------------------------------------------------------------------------
Started : Thursday, March 8, 2018 2:34:58 PM
Source : C:\Git\azure-docs-pr\contributor-guide\
Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\
Files : *.*
Options : *.* /DCOPY:DA /COPY:DAT /MT:32 /R:5 /W:60
------------------------------------------------------------------------------
100% New File 206 C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100% New File 209 C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100% New File 732 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100% New File 199 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
New File 178 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100% .md
New File 250 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100% e.md
100% New File 174 C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100% New File 197 C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100% New File 184 C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100% New File 208 C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100% New File 210 C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100% New File 234 C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100% New File 186 C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100% New File 240 C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100% New File 215 C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100% New File 212 C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100% New File 207 C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------
Total Copied Skipped Mismatch FAILED Extras
Dirs : 1 1 1 0 0 0
Files : 17 17 0 0 0 0
Bytes : 3.9 k 3.9 k 0 0 0 0
C:\Users>
Более конкретные сценарии, например использование robocopy для перечисления, копирования или удаления файлов в Data Box, см. в разделе Использование robocopy для перечисления, копирования и изменения файлов в Data Box.
Чтобы оптимизировать производительность, при копировании данных используйте указанные ниже параметры robocopy.
| Платформа | В основном небольшие файлы < 512 КБ | В основном средние файлы 512 КБ - 1 МБ | В основном большие файлы > 1 МБ |
|---|---|---|---|
| Data Box | 2 сеанса Robocopy 16 потоков на сеанс |
3 сеансы Robocopy 16 потоков на сеанс |
2 сеанса Robocopy 24 потока на сеанс |
Дополнительные сведения о команде Robocopy см. в статье Robocopy и несколько примеров.
Уведомления отображаются во время процесса копирования для выявления ошибок.
Выберите Скачать список ошибок.
Откройте список, чтобы просмотреть подробные сведения об ошибке, и выберите соответствующий URL-адрес, чтобы просмотреть рекомендуемое решение.
Дополнительные сведения см. в разделе Просмотр журналов ошибок во время копирования данных в Data Box. Подробный список ошибок во время копирования данных см. в статье об устранении неполадок, связанных с Azure Data Box.
Чтобы обеспечить целостность данных, при копировании данных система вычисляет их контрольные суммы. По завершении копирования проверьте использованное и свободное место на устройстве.
Данные можно скопировать с исходного сервера в Data Box с помощью SMB, NFS, REST, службы копирования данных или же скопировать их на управляемые диски.
В каждом случае необходимо убедиться, что имена общих ресурсов и папок, а также объем данных соответствуют рекомендациям, приведенным в разделе об ограничениях службы хранилища Azure и Data Box.
копировать данные по протоколу SMB;
Копирование данных по протоколу SMB
При использовании узла Windows подключитесь к общим папкам SMB с помощью такой команды:
\\<Device IP address>\ShareNameЧтобы получить учетные данные общего доступа, перейдите на страницу Подключение и копирования в локальном пользовательском веб-интерфейсе Data Box.
Для копирования данных в общие папки можно использовать любое средство копирования файлов, совместимое с протоколом SMB, например Robocopy.
Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box через S МБ.
копировать данные по протоколу NFS.
Копирование данных по протоколу NFS
При использовании узла NFS используйте следующую команду для подключения общих папок NFS в Data Box:
sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>Учетные данные для доступа к общему ресурсу можно узнать на странице Connect & copy (Подключение и копирование) в локальном пользовательском веб-интерфейсе Data Box.
Используйте команду
cpилиrsyncдля копирования данных.
Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box с помощью NFS.
Копирование данных с помощью REST
Копирование данных с помощью REST
- Чтобы скопировать данные, используя хранилище BLOB-объектов службы Data Box и интерфейсы REST API, выполните подключение по протоколу HTTP или HTTPS.
- Для копирования данных в хранилище BLOB-объектов службы Data Box можно использовать AzCopy.
Пошаговые инструкции см. в руководстве по копированию данных в хранилище BLOB-объектов Azure Data Box с помощью REST API.
Копирование данных с помощью службы копирования данных
Копирование данных с помощью службы копирования данных
- Чтобы скопировать данные с помощью службы копирования данных, необходимо создать задание. В локальном веб-интерфейсе Data Box перейдите к разделу "Управление копированием > данных>".
- Укажите параметры и создайте задание.
Пошаговые инструкции см. в руководстве. Использование службы копирования данных для копирования данных в Azure Data Box.
Копирование данных на управляемые диски
Копирование управляемых дисков с данными
- При заказе устройства Data Box выберите управляемые диски в качестве места назначения хранилища.
- Подключение в Data Box с помощью общих папок S МБ или NFS.
- Копирование данных с помощью средств S МБ или NFS.
Пошаговые инструкции см. в руководстве . Использование Data Box для импорта данных в качестве управляемых дисков в Azure.
Следующие шаги
В этом руководстве были освещены следующие темы относительно Azure Data Box.
- Необходимые компоненты
- Подключение к Data Box
- Копирование данных в Data Box
Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.