Рекомендации по производительности хранилища Azure NetApp Files с холодным доступом
Наборы данных не всегда активно используются. До 80% данных в наборе можно рассматривать как "холодный", то есть он в настоящее время не используется или не был доступен в последнее время. При хранении данных в хранилище с высокой производительностью, таких как Azure NetApp Files, деньги, потраченные на использование емкости, по сути, расходуются, так как холодные данные не требуют высокого уровня производительности, пока не будет доступ к нему снова.
Хранилище Azure NetApp Files с холодным доступом предназначено для снижения затрат на облачное хранилище в Azure. Существуют рекомендации по производительности в конкретных случаях использования, которые необходимо учитывать.
Доступ к данным, перемещающимся на холодные уровни, вызывает большую задержку, особенно для случайных операций ввода-вывода. В худшем случае доступ ко всем данным может находиться на холодном уровне, поэтому каждому запросу потребуется выполнить извлечение данных. Это редкость для всех данных в активно используемом наборе данных, который будет находиться на холодном уровне, поэтому вряд ли будет наблюдаться такая задержка.
Если выбрана политика извлечения доступа по умолчанию, последовательные операции чтения ввода-вывода по умолчанию обслуживаются непосредственно из холодного уровня и не заполняются на горячем уровне. Случайным образом считываемые данные повторяются на горячем уровне, повышая производительность последующих операций чтения. Оптимизация для последовательных рабочих нагрузок часто снижает задержку, возникаемую при извлечении облака, по сравнению с случайными считываниями и повышает общую производительность.
В недавнем тесте, выполняемом с использованием хранилища уровня "Стандартный" с холодным доступом для Azure NetApp Files, были получены следующие результаты.
Примечание.
Все опубликованные результаты предназначены только для ссылочных целей. Результаты не гарантируются, так как производительность рабочих нагрузок в рабочей среде может отличаться из-за многочисленных факторов.
100 % последовательных операций чтения на горячем или холодном уровне (одно задание)
В следующем сценарии для одной D32_V5 виртуальной машины использовалось одно задание на томе 50-ТиБ Azure NetApp Files с уровнем производительности "Ультра". Различные размеры блоков использовались для тестирования производительности на горячих и холодных уровнях.
Примечание.
Максимальное значение для уровня обслуживания "Ультра" составляет 128 МиБ/с на тебибайт выделенной емкости. Обычный том Azure NetApp Files может управлять пропускной способностью до примерно 5000 МиБ/с.
На следующем графике показана производительность уровня "холодный" для этого теста с использованием различных глубин очереди. Максимальная пропускная способность для одной виртуальной машины составляет примерно 400 МиБ/с.
Производительность горячего уровня была около 2,75x лучше, завербывая примерно на 1180 МиБ/с.
На этом графике показано параллельное сравнение производительности холодного и горячего уровня с размером блока размером 256 КБ.
Что приводит к задержке на горячих и холодных уровнях?
Задержка на горячем уровне — это фактор самой системы хранения, где системные ресурсы исчерпаны при отправке большего количества операций ввода-вывода в службу, чем можно обрабатывать в любое время. В результате операции должны быть в очереди до тех пор, пока ранее отправленные операции не будут завершены.
Задержка на холодном уровне обычно наблюдается с операциями извлечения облака: запросы через сеть для операций ввода-вывода в хранилище объектов (последовательные рабочие нагрузки) или холодное восстановление блока на горячий уровень (случайные рабочие нагрузки).
Сводка результатов
- Если рабочая нагрузка составляет 100 % последовательно, пропускная способность уровня охлаждения уменьшается примерно на 47 % по сравнению с горячим уровнем (3330 МиБ/с по сравнению с 1742 МиБ/с).
- Если рабочая нагрузка составляет 100 % случайно, пропускная способность холодного уровня уменьшается примерно на 88 % по сравнению с горячим уровнем (2479 МиБ/с по сравнению с 280 МиБ/с).
- Снижение производительности для горячего уровня при выполнении 100% последовательных рабочих нагрузок (330 МиБ/с) и 100% случайных рабочих нагрузок (2479 MiB/s) было примерно 25 %. Снижение производительности для холодного уровня при выполнении 100% последовательных рабочих нагрузок (1742 МиБ/с) и 100% случайных рабочих нагрузок (280 МиБ/с) составило примерно 88 %.
- Если рабочая нагрузка содержит любой процент случайных операций ввода-вывода, общая пропускная способность для холодного уровня ближе к 100% случайной, чем 100% последовательно.
- При переходе с 100% на 100% с последовательным переходом на 80/20 последовательное или случайное сочетание считывается примерно на 50%.
- Последовательный ввод-вывод может воспользоваться преимуществами кэша
readaheadв Azure NetApp Files, которые не выполняют случайные операции ввода-вывода. Это преимущество для последовательного ввода-вывода помогает сократить общие различия производительности между горячими и холодными уровнями.
Рекомендации и рекомендации
- Если рабочая нагрузка часто изменяет шаблоны доступа непредсказуемым образом, холодный доступ может не быть идеальным из-за различий производительности между горячими и холодными уровнями.
- Если рабочая нагрузка содержит какой-либо процент случайных операций ввода-вывода, следует соответствующим образом настроить ожидания производительности при доступе к данным на холодном уровне.
- Настройте окно прохладности и параметры получения холодного доступа, чтобы соответствовать шаблонам рабочей нагрузки и свести к минимуму объем извлечения уровня охлаждения.
- Производительность от холодного доступа может отличаться в зависимости от набора данных и системной нагрузки, в которой работает приложение. Рекомендуется проводить соответствующие тесты с набором данных, чтобы понять и учитывать дисперсию производительности от холодного доступа.