Поделиться через

Настройка пакета HPC с помощью файлов Azure

  • Статья

В этой статье объясняется, как настроить пакет HPC с помощью файлов Azure, настроить удостоверение и проверку подлинности и достичь целей производительности.

Так как общие папки Azure бессерверны, развертывание для рабочих сценариев не требует управления файловым сервером или устройством, подключенным к сети (NAS). Файлы Azure также имеют встроенную избыточность для обеспечения высокой доступности. Это означает, что организациям не нужно применять исправления программного обеспечения или чередовать несколько дисков для удовлетворения потребностей в затратах и производительности для кластеров высокопроизводительных вычислений (HPC).

Общие папки Azure Files premium соответствуют типичным требованиям к производительности клиента и удостоверениям, что позволяет легко настраивать, эффективно использовать сценарии повышения производительности и смены. Служба "Файлы Azure" поддерживает различные конфигурации удостоверений в соответствии с потребностями клиентов.

В этой статье описывается, как перенести существующую локальную рабочую нагрузку пакета HPC в Azure. В нем рассматриваются распространенные конфигурации для этого сценария, которые являются общими папками класса Premium с локальным экземпляром доменных служб Azure Active Directory (Azure AD DS), настроенным с разрешениями уровня общего доступа по умолчанию.

Например, если вы используете пакет HPC для финансовых служб, ваша компания может не синхронизировать удостоверение с облаком. В этом случае разрешения по умолчанию, скорее всего, соответствуют вашим потребностям. Списки управления доступом на уровне общего доступа по умолчанию позволяют добавлять разрешения уровня общего доступа по умолчанию для учетной записи хранения для всех пользователей, прошедших проверку подлинности AD DS. Затем можно применить точное управление доступом на уровне файлов и каталогов с помощью списков управления доступом Windows (также известных как разрешения NTFS).

Разрешение на уровне общего ресурса по умолчанию, назначенное учетной записи хранения, применяется ко всем общим папкам, содержащимся в учетной записи хранения. Затем вы можете использовать локальную службу Active Directory для разрешений на уровне файлов и каталогов, не синхронизируя Active Directory с облаком.

Планирование использования файлов Azure с пакетом HPC

В следующих разделах описывается планирование и выполнение лифта и смены локального решения пакета HPC с помощью файлов Azure в качестве хранилища.

Вычисление целевых показателей производительности

Общие папки Уровня "Премиум" Azure, подключенные с помощью блока сообщений сервера (SMB), идеально подходят для приложений под управлением Windows, которые:

  • Требуются безопасные решения с более высокой производительностью (по сравнению с хранилищем уровня "Стандартный"), например пакет HPC. Дополнительные сведения оуровня хранилища уровня "Премиум".
  • Используйте подготовленное хранилище на твердотельных дисках (SSD).

После вычисления потребностей в производительности среды пакета HPC можно вычислить целевые показатели производительности для различных размеров общих папок:

  • Чтобы вычислить базовые входные и выходные данные в секунду (IOPS), используйте следующую формулу:

    3000 + 1 операций ввода-вывода в секунду на ГиБ

    Например, для общей папки 10 TiB premium расчет составляет 3000 + 10 240 ГиБ = 13 240 операций ввода-вывода в секунду.

  • Чтобы вычислить пропускную способность (общий вход и исходящий трафик), используйте эту формулу. Используйте функцию CEILING, так как это повлияет на результат в зависимости от размера подготовленного ввода.

    100 + ПОТОЛОК(.04 * ГиБ) + ПОТОЛОК(.06 * ГиБ)

    Например, для общей папки 10 TiB premium вычисление равно 100 + ПОТОЛОК (.04 * ГиБ) + ПОТОЛОК (.06 * ГиБ) = 1125 MiB/с.

После того как вы знаете размер целевой общей папки, который предоставляет ожидаемые значения операций ввода-вывода в секунду и пропускной способности, вы можете:

  • Моделиируйте затраты с помощью фиксированной прогнозируемой стоимости общих папок Azure. Дополнительные сведения, включая достоверные формулы, см. в статье Общие сведения о выставлении счетовфайлов Azure.
  • Вычислите цены по регионам на странице цен на файлы Azure .

Выбор схемы идентификации

Затем необходимо решить, следует ли использовать Azure AD DS или локальную службу AD DS в качестве схемы удостоверений. Вам также нужно решить, будет ли применяться разрешение уровня общего доступа по умолчанию. Дополнительные сведения см. в статье Обзор параметров проверки подлинности на основе удостоверений Azure длядоступа SMB.

Распространенный шаблон пакета HPC заключается в том, что организация не хочет синхронизации Active Directory с облаком. Если это так, и вы не можете синхронизировать локальный экземпляр AD DS с Azure AD, используйте разрешения уровня общего доступа по умолчанию, чтобы задать уровень доступа по умолчанию для всех удостоверений, прошедших проверку подлинности, независимо от их состояния синхронизации. Затем можно использовать списки управления доступом Windows для детального применения разрешений в файлах и каталогах.

Настройка файлов Azure для пакета HPC

  1. Создание и настройка общих папок Azure:

    1. Создайте учетную запись хранения. Чтобы создать учетную запись хранения fileStorage , убедитесь, что параметр производительности premium и общих папок выбран в раскрывающемся списке тип учетной записи Premium. Имя учетной записи хранения должно быть 15 символов или меньше.
    2. Создайте общую папку с размером, соответствующим вашим потребностям в производительности. как указано в предыдущем вычислении.
    3. включить многоканальныеSMB. Вы узнаете о преимуществах SMB Multichannel далее в этой статье.
    4. Настройте удостоверение, включение проверки подлинности Azure AD DS в службе "Файлы Azure" или включение проверки подлинности AD DS для файлов Azure в учетной записи хранения.
    5. Задатьразрешений на уровне общего ресурса по умолчанию.
    6. подключите общую папку Azure с помощью ключа учетной записи хранения.
    7. настройка списков управления доступом Windows.

  2. Настройте и используйте общие папки пакета HPC. Список общих папок пакета HPC по умолчанию см. в статье Создание кластера пакета HPC с высоким уровнем доступности в Azure. Обратите внимание, что общие папки по умолчанию необходимы только для определенных сценариев пользователя. Чтобы переместить общие папки по умолчанию в общие папки Azure, выполните следующие действия.

    1. Создайте общие папки Azure и настройте разрешения NTFS в соответствии с исходной общей папкой (например, общей папкой среды выполнения SOA).
    2. Измените связанный параметр кластера (например, cluscfg setenvs CCP_SERVICEREGISTRATION_PATH=\\<AzureFiles>\HpcServiceRegistration).

Высокая производительность с помощью файлов Azure

Технология SMB Multichannel

Файлы Azure поддерживают SMB Multichannel в общих папках класса Premium (общие папки в FileStorage типа учетной записи хранения). Дополнительная плата за использование функции SMB Multichannel в службе "Файлы Azure" не взимается. По умолчанию SMB Multichannel отключен в ресурсе FileStorage.

Максимальная производительность одного клиента виртуальной машины по-прежнему привязана к ограничениям виртуальной машины. Например, Standard_D32s_v3 может поддерживать максимальную пропускную способность 16 000 МБИТ/с (или 2 ГБИТ/с). Исходящий трафик из виртуальной машины (записывается в хранилище), измеряется, но входящий трафик (считывается из хранилища) не является. Производительность общей папки зависит от ограничений сети компьютера, ЦП, доступных внутренних хранилищ, пропускной способности сети, размеров ввода-вывода, параллелизма и других факторов. Дополнительные сведения см. в производительности SMB Multichannel.

Стандартная производительность пакета HPC

Обычное использование пакета HPC — это несколько больших файлов, считываемых из и записанных в (60 процентов считывания и 40 процентов записи в среднем) с большими размерами блоков, хранящимися в файлах Azure. Этот тип использования должен иметь лучшую производительность в соответствии с опубликованными ожиданиями ввода-вывода и пропускной способности на основе конфигураций удостоверений .

Нетипичное использование может быть миллионами небольших файлов и небольших размеров блоков. В таких случаях организациям необходимо протестировать другие конфигурации для оценки оптимальной производительности.

Измерение производительности

Для тестирования производительности можно использовать DiskSpd.exe. Это настраиваемое средство, которое эмулирует различные рабочие нагрузки и измеряет задержку, чтение и запись операций ввода-вывода, задержку и пропускную способность.

Оптимизация и устранение неполадок производительности

Ниже приведены некоторые ресурсы и советы.