целевые показатели масштабирования и производительности mover служба хранилища Azure
Производительность службы миграции хранилища является ключевым аспектом для любой миграции. В этой статье мы делимся результатами теста производительности, хотя служба хранилища Azure Mover является новой службой, ваш интерфейс может отличаться.
Целевые объекты масштабирования
служба хранилища Azure Mover тестируется с 100 миллионов элементов пространства имен (файлов и папок), перенесенных из поддерживаемого источника в поддерживаемый целевой объект в Azure.
Как мы тестируем
служба хранилища Azure Mover — это гибридная облачная служба. Гибридные службы имеют компонент облачной службы и компонент инфраструктуры, который администратор службы выполняется в корпоративной среде. Для служба хранилища Mover этот гибридный компонент является агентом миграции. Агенты — это виртуальные машины, запущенные на узле рядом с исходным хранилищем.
Только агент является соответствующей частью службы для тестирования производительности. Чтобы опустить проблемы конфиденциальности и производительности, данные перемещаются непосредственно из агента служба хранилища Mover в целевое хранилище в Azure. В облачную службу отправляются только сообщения управления и телеметрии.
Базовые показатели производительности
Эти результаты теста создаются в идеальных условиях. Они предназначены в качестве базовых показателей компонентов, которые могут напрямую влиять на службу и агент Mover служба хранилища. Различия в исходных устройствах, дисках и сетевых подключениях не рассматриваются в этом тесте. Реальные показатели производительности зависят от реального мира.
Миграция из S МБ подключения к общей папке Azure выполнялась следующим образом:
В следующей таблице описываются характеристики тестовых сред, создающих результаты теста производительности из S МБ подключения к общей папке Azure.
| Тест Нет. | Нет. файлы | Общий вес файлов | Размер файла | Структура папок |
|---|---|---|---|---|
| 1 | 12 миллионов | 12 ГБ | 1 КБ каждый | 12 папок, каждая из которых содержит 100 вложенных папок, содержащих 10 000 файлов |
| 2 | 30 | 20 ГБ | 1 папка | |
| 3 | 1 млн | 100 ГБ | 100 КБ каждый | 1000 папок, каждый из которых имеет 1000 файлов |
| 4 | 1 | 4 ТБ | ||
| 5 | 117 миллионов | 117 ГБ | 1 КБ каждый | 117 папок, каждая из которых содержит 100 вложенных папок, содержащих 10 000 файлов |
| 6 | 1 | 1 TБ | ||
| 7 | 3,3 миллиона | 45 ГБ | 13 КБ каждый | 200 000 папок, каждая из которых содержит 16\17 файлов |
| 8 | 50 миллионов | 1 TБ | 20 КБ каждый | 2 940 000 папок, каждая из которых содержит 17 файлов |
| 9 | 100 млн | 2 ТБ | 20 КБ каждый | 580 000 папок, каждая из которых содержит 17 файлов |
Различные конфигурации ресурсов агента проверяются на конечных точках S МБ:
Minspec: 4 ЦП / 8 ГБ ОЗУ 4 виртуальных Ядер ЦП на 2,7 ГГц каждый и 8 ГиБ памяти (ОЗУ) является минимальной спецификацией для агента служба хранилища Azure Mover.
Тест Нет. Время выполнения Время сканирования 6 16 мин, 42 с 1,2 с 7 55 мин, 4 с 1 мин, 17 с 8 9 Bootspec: 8 ЦП / 16 ГиБ ОЗУ 8 виртуальных Ядер ЦП на 2,7 ГГц каждый и 16 ГиБ памяти (ОЗУ) — это минимальная спецификация агента служба хранилища Azure Mover.
Результаты: стандартная учетная запись хранения
Тест Нет. Время выполнения Время сканирования 1 15 часов, 59 мин 2 часа, 36 мин, 34 с 2 1 мин, 54 с 3,34 с 3 1 ч, 19 мин, 27 с 57,62 с 4 1 час, 5 мин, 57 с 2,89 с Результаты: стандартная учетная запись хранения с включенными большими файлами
Тест Нет. Время выполнения Время сканирования 1 3 часа, 51 мин, 31 с 41 мин и 45 с 5 25 часов, 47 мин 23 часа, 35 мин 6 11 мин, 11 с 0,7 с 7 55 мин, 10 с 1 мин, 3 с 8 9 Результаты: учетная запись хранения класса Premium
Тест Нет. Время выполнения Время сканирования 1 2 часа, 35 мин, 14 с 24 мин, 46 с 5 23 часа, 34 мин 21 ч, 34 мин
Ознакомьтесь с рекомендуемыми ресурсами агента для миграции область в статье о развертывании агента.
Почему производительность миграции зависит
По сути, качество сети и возможность обработки файлов, папок и их метаданных влияют на скорость миграции.
В двух основных областях сети и вычислений некоторые аспекты влияют:
- Сценарий миграции
Копирование в пустой целевой объект быстрее по сравнению с целевым объектом с содержимым. Такое поведение обусловлено подсистемой миграции, оценивающей не только источник, но и целевой объект для принятия решений о копировании. - Число элементов пространства имен
Перенос 1 ГиБ небольших файлов занимает больше времени, чем перенос 1 ГиБ больших файлов. - Фигура пространства имен
Широкая иерархия папок позволяет выполнять более параллельную обработку, чем узкая или глубокая структура каталогов. Соотношение файлов к папкам также воспроизводит свертки. - Отток пространства имен
Сколько файлов, папок и метаданных изменилось между двумя копиями из одного источника в один и тот же целевой объект. - Сеть
- пропускная способность и задержка между исходным и агентом миграции
- пропускная способность и задержка между агентом миграции и целевым объектом в Azure
- Ресурсы агента миграции
Объем памяти (ОЗУ), количество вычислительных ядер и даже объем доступных локальных дисков на агенте миграции может иметь глубокое влияние на скорость миграции. Дополнительные вычислительные ресурсы помогают оптимизировать использование доступной пропускной способности, особенно при обработке больших объемов небольших файлов в миграции.
Например, для традиционной миграции требуется стратегия свести к минимуму время простоя рабочей нагрузки, зависящую от хранилища, которое необходимо перенести. служба хранилища Azure Mover поддерживает такую стратегию. Это называется конвергентной, n-pass миграции.
В этой стратегии вы копируете из источника в целевой объект несколько раз. Во время этих итераций копирования источник остается доступным для чтения и записи в рабочую нагрузку. Незадолго до окончательной итерации копирования источник будет отключен. Ожидается, что окончательная копия завершается быстрее, чем говорится, что первая копия, которую вы когда-либо сделали, и занимает около тех пор, пока тот, который сразу перед ним. После окончательной копии рабочая нагрузка выполняется отработка отказа, чтобы использовать новое целевое хранилище в Azure и снова доступно для использования.
Во время первой копии из источника в целевой объект, скорее всего, пуст, и все исходное содержимое должно перемещаться в целевой объект. В результате первая копия, скорее всего, ограничена доступными сетевыми ресурсами.
К концу миграции, когда вы скопировали источник в целевой объект несколько раз, с момента последнего копирования изменились только несколько файлов, папок и метаданных. В этой последней итерации копирования сравнивая каждый файл в источнике и целевом объекте, чтобы узнать, требуется больше вычислительных ресурсов и меньше сетевых ресурсов. Копирование выполняется на этом конце этапа миграции, как правило, более ограниченными вычислительными ресурсами. Правильный объем ресурсов агента служба хранилища Mover становится все более важным.
Следующие шаги
Следующие статьи помогут в успешном развертывании служба хранилища Azure Mover.