Поделиться через

Подходит ли ваше задание для Azure HPC Cache?

  • Статья

Служба Azure HPC Cache позволяет ускорить доступ к данным для высокопроизводительных вычислительных заданий в различных областях. Однако это не универсальный вариант для всех типов рабочих процессов. В этой статье приведены рекомендации, помогающие решить, является ли служба HPC Cache оптимальным выбором для вашей ситуации.

В обзорной статье также приведены краткие сведения о том, когда следует использовать Azure HPC Cache, и примеры вариантов использования.

Кроме того, в этой статье содержится информация об эффективном применении хранилища BLOB-объектов, подключенного к NFS.

Приложения NFS версии 3.0

Azure HPC Cache поддерживает только клиенты NFS 3.0.

Высокое соотношение чтения и записи

Хорошими кандидатами для кэширования обычно являются рабочие нагрузки, в которых вычислительные клиенты считывают больше данных, чем записывают. Например, если соотношение операций чтения и записи составляет 80/20 или 70/30, Azure HPC Cache позволяет сохранять часто запрашиваемые файлы в кэше вместо того, чтобы загружать их из удаленного хранилища.

Получение файла и его сохранение в кэше в первый раз немного увеличивает задержку по сравнению с обычным клиентским запросом непосредственно к хранилищу, поэтому повышение эффективности происходит в следующий раз, когда клиент запрашивает тот же файл. Это особенно актуально для больших файлов. Если каждый клиентский запрос уникален, эффект от использования HPC Cache невелик. Но чем больше файл, тем выше становится производительность с течением времени после первого обращения.

Аналитическая рабочая нагрузка на основе файлов

Azure HPC Cache идеально подходит для конвейера, который использует файловые данные и работает на большом числе вычислительных клиентов, особенно если эти клиенты являются виртуальными машинами Azure. Эта служба помогает устранить проблемы с низкой или нестабильной производительностью из-за длительного времени доступа к файлам.

Удаленный доступ к данным

Azure HPC Cache позволяет сократить задержку, если рабочей нагрузке требуется доступ к удаленным данным, которые невозможно переместить ближе к вычислительным ресурсам. Например, ваши записи могут находиться на другом краю глобальной сети, в другом регионе Azure или в клиентском центре обработки данных (иногда такое решение называется file bursting, или ускорение доступа к файлам).

Интенсивный поток запросов

Если большое количество клиентов одновременно запрашивают данные из источника, Azure HPC Cache может ускорить доступ к файлам. Например, при использовании в сочетании с высокопроизводительным вычислительным кластером Azure HPC Cache обеспечивает масштабируемость для большого количества параллельных запросов через кэш.

Вычислительные ресурсы, расположенные в Azure

Виртуальные машины Azure — это масштабируемое и экономичное решение для обслуживания высокой вычислительной нагрузки. Azure HPC Cache позволяет приблизить к ним необходимую информацию, особенно если исходные данные хранятся в удаленной системе.

Если клиент хочет развернуть текущий конвейер "как есть" на базе виртуальных машин Azure, служба Azure HPC Cache позволяет создать общее хранилище на основе POSIX (кэширование) для масштабируемости.

При использовании Azure HPC Cache вам не нужно перепроектировать рабочий конвейер для выполнения собственных вызовов в хранилище BLOB-объектов Azure. Вы можете обращаться к данным в исходной системе или использовать HPC Cache для их переноса в новый контейнер больших двоичных объектов.

Следующие шаги