Рекомендации по трафику файловой системы
Целевые IOPS, показатели пропускной способности и задержки важны. Но для оптимизации производительности также необходимо определить, как рабочие нагрузки HPC взаимодействуют с файловой системой. Далее необходимо оценить масштаб и состав трафика, которые ваша файловая система должна поддерживать.
Рассмотрение сочетания трафика
Структура трафика относится к составу трафика вычислительных нагрузок HPC с точки зрения:
- Отношение трафика чтения к трафику записи. (Например, 100 чтений%, 50 чтений%, 50 записей% и 100 записей%.)
- Случайное и последовательное чтение и запись.
- Контрольные точки и моментальные снимки.
- Конкурентность.
- Количество и размер файла.
В остальной части этого урока мы рассмотрим, как этот набор типов трафика влияет на выбор хранилища.
Чтение трафика vs. трафик записи vs. создание/удаление
Операции чтения и записи используют одинаковое количество IOPS. Но выбранная файловая система может применить высокий уровень доступности для входящего трафика записи, который преобразуется в более медленную, но устойчивую пропускную способность записи.
Производительность может снизиться, если рабочая нагрузка HPC выполняет большое количество операций, ориентированных на метаданные. Например, создание файлов, переименование структур каталогов или удаление файлов. Создание файла может потребовать несколько операций. (Проверьте, существует ли файл, создайте дескриптор файла, обновите запись каталога и т. д.)
Рабочая нагрузка HPC может быть в значительной степени сосредоточена на преобразовании данных, поэтому объем трафика записи может быть значительным. В этом случае необходимо определить приоритет оптимизации производительности записи.
Случайный и последовательный трафик
Доступ к приложению определяет типы шаблонов трафика при чтении и записи, которые требуются для вашей рабочей нагрузки.
Рабочие нагрузки HPC могут быть очень параллельными, при этом многие компьютеры запрашивают одни и те же данные из общей файловой системы. Или они могут быть уникальными и сериализованными с уникальными и случайными шаблонами доступа к данным. Производительность последовательного трафика превышает случайный трафик. Примером последовательного трафика будет загрузка двоичной библиотеки или большого изображения или видеофайла одним или несколькими компьютерами. Пример случайного трафика будет включать запросы для разных диапазонов байтов одного файла или нескольких файлов, а не для чтения всего файла.
Контрольные точки и моментальные снимки
Рабочие нагрузки часто контрольные точки. При чекпоинте состояние приложения и его данных копируются в устойчивое хранилище, а затем выполнение рабочей нагрузки продолжается. Контрольные точки используются для возобновления длительных рабочих процессов без необходимости полного перезапуска задания. Контрольные точки также можно использовать со снимками состояния . Моментальные снимки — это копии файловой системы в режиме только для чтения, которые создаются в определенный момент времени. Контрольные точки могут рассматриваться как специфичные для приложений или зависимые от них, но моментальные снимки актуальны на уровне файловой системы.
Как контрольные точки, так и моментальные снимки используют операции ввода-вывода в секунду и хранилище. Таким образом, они влияют на общую производительность файловой системы в зависимости от их частоты и объема используемых данных.
Конкуренция
Число параллельных клиентов и потоков является еще одним фактором, который следует учитывать при выборе файловой системы. Для многих рабочих нагрузок HPC требуется значительная параллелизация во время этапов запуска задания и завершения, возможно, до сотен или тысяч потоков. Например, задание может инициализироваться на ста 16-ядерных компьютерах, где каждое ядро работает с одним или двумя параллельными потоками. Параллелизм потоков в этом случае может составлять от 1600 до 3200 потоков. Эти потоки могут читать двоичные файлы (библиотеки, цепочки инструментов и т. д.), необходимые для продолжения задания. Чтобы свести к минимуму время выполнения задания, базовая система хранения должна иметь возможность обеспечить быстрые ответы на эти запросы на чтение.
То же задание может перестать требовать одновременного доступа. Или может потребоваться резкий доступ к большему объёму данных файла или записать промежуточные результаты, чтобы другие потоки в задаче могли их читать.
Количество файлов и размер
При выборе хранилища файлов также необходимо учитывать количество и средний размер файлов. Рабочая нагрузка, которая потребляет 2 ТБ данных, имеет разные характеристики производительности, если 2 ТБ состоит из ста 20 ГБ-файлов в отличие от 10 тысяч 200 МБ-файлов. Особенно если 10 тысяч файлов вложены в глубокие структуры каталогов.
Мы рекомендуем определить наиболее вероятный рабочий набор данных. Рабочий набор — это потенциальный максимальный объем файлов и необходимый размер файла. Попробуйте определить определения максимального и среднего рабочего набора и использовать эти максимумы для планирования.
Не всегда легко определить рабочий набор, особенно для среды, а не для одной рабочей нагрузки HPC. Например, в один из дней вам может потребоваться создать небольшую симуляцию на статическом наборе данных. На следующий день может потребоваться увеличить масштаб анализа с промежуточными выходными данными и контрольными точками.