Шаг 1. Подготовка к развертыванию

Статья
10/18/2024

Первым шагом в развертывании кластера HPC является принятие важных решений, таких как выбор количества головных узлов и выбор сетевой топологии для кластера. Следующие задачи помогут подготовиться к развертыванию кластера.

1.1. Проверка требований к системе

Если вы еще этого не сделали, просмотрите требования к системе для пакета MICROSOFT HPC 2019. Обратите внимание, что пакет HPC имеет разные требования для различных ролей узлов и параметров развертывания. Возможно, вам потребуется снова просмотреть требования к системе после завершения принятия решений для развертывания.

1.2. Решите, нужно ли настроить головной узел для обеспечения высокой доступности.

Если вам потребуется продолжить выполнение заданий HPC во время запланированного или незапланированного сбоя в службах на головном компьютере узла, можно спланировать настройку головного узла для обеспечения высокой доступности. Для этого необходимо установить пакет HPC по крайней мере на двух компьютерах головного узла.

1.3. Решите, хотите ли вы развернуть кластер с удаленными базами данных

Пакет HPC 2019 требует и поддерживает Microsoft SQL Server 2014 или более позднюю версию. Пакет HPC использует пять разных баз данных SQL Server для хранения данных управления кластерами, планирования заданий, создания отчетов, диагностики и мониторинга. Вы можете установить одну или несколько из этих пяти баз данных HPC на одном или нескольких удаленных серверах, а не устанавливать их на головном узле кластера. По умолчанию пакет HPC устанавливает SQL Server Express 2019 на головном узле и создает базы данных HPC на головном узле, если выбрать один головной узел. Если вы решили развернуть три головных узла, преимущество установки баз данных HPC на одном или нескольких удаленных серверах заключается в том, что он экономит ресурсы на головном узле, что помогает обеспечить эффективное управление кластером.

Важный

Использование SQL Server 2019 Express на головном узле рекомендуется для проверки концепции или кластеров разработки и для небольших рабочих кластеров. Следует рассмотреть возможность установки баз данных HPC на одном или нескольких удаленных серверах, если кластер будет иметь более 256 узлов, вы планируете настроить головной узел для обеспечения высокой доступности, или требования к пропускной способности задания и отчетности могут превысить возможности SQL Server 2019 Express.

Чтобы установить базы данных HPC на удаленном сервере, этот сервер должен работать под управлением выпуска Standard или Enterprise SQL Server 2008 R2 или более поздней версии и настроен для работы с пакетом HPC. Перед установкой пакета HPC с удаленными базами данных попросите администратора базы данных запустить скрипт SetupHpcDatabase.ps1 в папке установки или вручную выполнить или изменить задачи в скрипте. Скрипт автоматически создает необходимые базы данных и имена входа экземпляра SQL и пользователей базы данных для учетной записи, которая установит пакет HPC и учетную запись компьютера для служб HPC. Подробные сведения см. в развертывании кластера Windows HPC с помощью пошагового руководства по удаленным базам данных.

1.4. Определите тип узлов, которые нужно добавить в кластер, и сколько

В локальный кластер можно добавить следующие типы узлов:

вычислительных узлов — вычислительные узлы используются для выполнения заданий. Этот тип узла не может стать другим типом узла (т. е. изменение ролей) без повторного развертывания.
узлы брокера — узлы брокера Windows Communication Foundation (WCF) используются для маршрутизации вызовов WCF от клиентов Service-Oriented архитектуры (SOA) к службам SOA, работающим на узлах в кластере. Этот тип узла может изменять роли, чтобы стать вычислительным узлом без повторного развертывания.
узлы рабочей станции и неуправляемые серверные узлы — узлы рабочей станции и неуправляемые серверные узлы — это компьютеры в организации, которые также могут выполнять задания, но не являются выделенными ресурсами кластера. Они могут быть запланированы для того, чтобы стать доступными для выполнения заданий в определенное время или быть доступными по требованию. Этот тип узла не может изменять роли.
узлах Microsoft Azure. Если у вас есть подписка Microsoft Azure, вы можете добавить узлы Azure по запросу, чтобы увеличить емкость кластера при необходимости. Как и вычислительные узлы, узлы рабочей станции и неуправляемые узлы сервера, узлы Azure могут выполнять задания. При добавлении узлов Azure также настраивается фиксированное или переменное количество прокси-узлов в развертывании Azure для упрощения взаимодействия между локальным головным узлом и узлами Azure.
узлах IaaS Microsoft Azure . Если у вас есть подписка Microsoft Azure, вы можете добавить узлы Microsoft Azure IaaS по запросу, чтобы увеличить емкость кластера, когда это необходимо.

Дополнительные сведения о ролях узлов в кластере Windows HPC см. в разделе Основные сведения о ролях узлов в пакете MICROSOFT HPC.

При установке пакета HPC в зависимости от типа создаваемого узла устанавливаются различные компоненты. Эти функции определяют роль, которую узел будет выполнять в кластере. В некоторых случаях узел может изменять роли, так как он имеет необходимые функции для выполнения другой роли. Возможность изменять роли является важным аспектом, который необходимо учитывать при выборе типа узлов, которые необходимо добавить в кластер.

Еще одним важным решением, которое необходимо принять, является количество узлов, которые требуется добавить. При добавлении узлов брокера также необходимо решить, сколько вычислительных узлов необходимо добавить для каждого узла брокера, доступного в кластере. Отношение узлов брокера к вычислительным узлам может повлиять на производительность кластера.

Если вы планируете добавить узлы Azure, следует учитывать количество прокси-узлов, оптимальное для количества узлов, развернутых в Azure, и заданий, которые будут выполняться на этих узлах. Прокси-узлы необходимы для взаимодействия с локальным головным узлом и могут быть узким местом для определенных размеров кластера и рабочих нагрузок.

Наконец, если вы хотите настроить головной узел или узел брокера в отказоустойчивом кластере, потребуется один дополнительный компьютер для каждого настраиваемого узла отказоустойчивого кластера, что может уменьшить количество вычислительных узлов, которые можно добавить в кластер.

1.5. Выбор домена Active Directory для кластера

В пакете HPC 2016 в пакете HPC можно установить пакет HPC на компьютере, который не присоединен к домену, однако эта функция предназначена только для кластеров HPC в Azure. Для локального кластера HPC необходимо создать кластер в домене Active Directory.

Узлы в локальном кластере HPC будут членами домена Active Directory. Перед развертыванием локального кластера выберите домен Active Directory, который будет использоваться для кластера HPC.

В зависимости от среды Active Directory в организации может быть полезно настроить отдельное подразделение организации для компьютеров, которые будут членами кластера HPC. При необходимости к узлам кластера могут применяться разные политики и параметры, отличные от других компьютеров в организации.

Если у вас нет домена Active Directory, к которому можно присоединиться к кластеру, или если вы предпочитаете не присоединяться к существующему домену, можно создать новый домен Active Directory. Дополнительные сведения об установке роли доменных служб Active Directory см. в развертывании доменных служб Active Directory (AD DS) в корпоративной.

Дополнительные рекомендации

Головной узел пакета HPC 2019 нельзя установить на контроллере домена, если планируется установить высокодоступный кластер с помощью Microsoft Service Fabric. Это связано с тем, что кластер Microsoft Service Fabric не может быть развернут в контроллере домена.
Если вы планируете добавить узлы рабочей станции или неуправляемые узлы сервера в кластер HPC, эти компьютеры можно присоединить к любому домену Active Directory с установленным отношением доверия с доменом, к которому присоединен головной узел.

1.6. Выбор учетной записи домена для добавления узлов

Чтобы установить пакет HPC на головном узле, необходимо войти в систему с помощью учетной записи пользователя домена, являющейся членом группы "Администраторы" на головном узле. Кроме того, во время процесса настройки головного узла HPC после установки пакета HPC необходимо указать учетные данные для учетной записи пользователя домена, которая будет использоваться для добавления локальных узлов и для системной настройки этих узлов. Перед началом развертывания кластера необходимо выбрать существующую учетную запись или создать новую учетную запись.

1.7. Выбор топологии сети для кластера

Пакет HPC поддерживает пять топологий кластера. Эти топологии отличаются тем, как узлы в кластере подключены друг к другу и к корпоративной сети. Ниже перечислены пять поддерживаемых топологий кластера:

Топология 1. Вычислительные узлы, изолированные в частной сети
Топология 2. Все узлы в корпоративных и частных сетях
Топология 3. Вычислительные узлы, изолированные в частных сетях и сетях приложений
Топология 4. Все узлы в корпоративных, частных и приложениях
Топология 5. Все узлы в корпоративной сети

Дополнительные сведения о каждой топологии сети и каждой сети кластера HPC см. в приложении 1.сети кластера HPC. Далее в этом руководстве.

При выборе топологии сети необходимо учитывать существующую сетевую инфраструктуру и тип узлов, добавляемых в кластер:

Определите, какая сеть в выбранной топологии будет служить корпоративной сетью, частной сетью и сетью приложений.
Не имеет сетевого адаптера, подключенного к корпоративной сети на головном узле в автоматической конфигурации (то есть IP-адрес этого адаптера не начинается с: 169.254). Этот адаптер должен иметь допустимый IP-адрес, динамически или вручную назначенный (статический).
Если выбрать топологию, которая включает частную сеть, и вы планируете добавить узлы в кластер из операционной системы, сделайте следующее:
- Убедитесь, что в частной сети нет серверов среды выполнения предварительной загрузки (PXE).
- Если вы хотите использовать существующий DHCP-сервер для частной сети, убедитесь, что он настроен на распознавание головного узла как сервера PXE в сети.
Если вы хотите включить DHCP-сервер на головном узле для частных сетей или сетей приложений и есть другие DHCP-серверы, подключенные к этим сетям, необходимо отключить эти DHCP-серверы.
Если у вас есть существующий DNS-сервер, подключенный к той же сети, что и узлы в кластере, не требуется никаких действий, но узлы будут автоматически удалены с этого DNS-сервера.
Обратитесь к системному администратору, чтобы определить, применяется ли безопасность протокола Интернета (IPsec) в домене с помощью групповой политики. Если IPsec применяется в вашем домене с помощью групповой политики, могут возникнуть проблемы во время развертывания. Обходной путь — сделать головной узел сервером границ IPsec, чтобы другие узлы в кластере могли взаимодействовать с головным узлом во время загрузки PXE.
Если вы хотите добавить узлы рабочей станции или неуправляемые узлы сервера в кластер, топология 5 (все узлы в корпоративной сети) является рекомендуемой топологией, но поддерживаются другие топологии. Если вы хотите добавить узлы рабочей станции в другие топологии, ознакомьтесь с содержимым добавлении узлов рабочей станции в кластер Windows HPC.
Если вы хотите добавить узлы брокера в кластер, они должны быть подключены к сети, где клиенты, начинающие сеансы SOA, подключены (обычно корпоративная сеть) и к сети, где подключены узлы, на которых выполняются службы SOA (если они отличаются от сети, где подключены клиенты).
Если вы хотите добавить узлы Azure в кластер, кластер HPC можно настроить в любой топологии сети кластера, поддерживаемой пакетом HPC. Головной узел и любой клиентский компьютер, который используется для управления кластером и которому требуется подключение к Azure, должен иметь возможность подключаться через Интернет к службам Azure.

1.8. Подготовка сертификатов, используемых для защиты связи между узлами HPC

Кластер Microsoft HPC Pack 2016 (и более поздних версий) использует сертификат X.509 для защиты связи между узлами HPC. Один и тот же сертификат можно использовать во всех узлах HPC или использовать два разных сертификата:

сертификат для головного узла . Этот сертификат устанавливается на головном узле (или головном узле) для защиты кластера Service Fabric (если используется для высокой доступности) и связи между узлами HPC. И если сертификат самозаверяется, вы также импортируете его в сертификат Azure Key Vault, если планируется развернуть вычислительные узлы Azure IaaS с помощью функции Всплеска в виртуальную машину IaaS Azure.
сертификат для других узлов . Этот сертификат устанавливается на узлах HPC, отличных от головного узла (или головного узла), чтобы обеспечить связь между узлами HPC. Если вы решили использовать один и тот же сертификат для всех узлов HPC, это тот же сертификат с сертификатом для головного узла.

Сертификаты должны соответствовать следующим требованиям:

Иметь закрытый ключ , способный обмениваться ключами;
Использование ключей включает цифровой подписи, ключей, ключевое соглашение иподписывание сертификата;
Расширенное использование ключей включает проверку подлинности клиента и проверки подлинности сервера;
Если используются два разных сертификата, они должны иметь одно и то же имя субъекта.

Если сертификат используется для защиты кластера Service Fabric, он должен соответствовать следующим дополнительным требованиям:

Поставщик сертификата должен быть microsoft Enhanced RSA и поставщик шифрования AES;
Длина ключа RSA должна быть 2048 битов.

Если у вас еще нет сертификатов, которые соответствуют этим требованиям, можно запросить сертификаты из центра сертификации или использовать самозаверяющие сертификаты. Мы предоставляем средство скрипта PowerShell CreateHpcCertificate.ps1 сертификат в папке установки пакета HPC для создания самозаверяющего сертификата.

.\CreateHpcCertificate.ps1 -CommonName "HPCPackNodeCommunication" -Path "d:\hpccomm.pfx" -Password (ConvertTo-SecureString "P@ssw0rd" -AsPlainText -Force)

Если вы используете подписанный сертификат центра сертификации (ЦС) или существующий самозаверяющий сертификат, можно выполнить следующую команду и проверить значение KeySpec, Subject, Key Usage, Enhanced Key Usage, Public Key Length, и Provider.

CertUtil.exe -p "<password>" -v -dump <path-of-pfxFile>

Если значение темы , использование ключей, расширенное использование ключей или длина открытого ключа не соответствует, необходимо повторно создать сертификат.
Если значение KeySpec (должно быть "1 -- AT_KEYEXCHANGE") или поставщика не соответствует, Вам не нужно повторно создать сертификат, выполните следующую команду, чтобы импортировать сертификат с измененными значениями KeySpec и Provider, а затем запустите certlm.msc для экспорта сертификата (включая закрытый ключ) в новый PFX-файл, соответствующий требованиям.
```
CertUtil.exe -f -p "<password>" -csp "Microsoft Enhanced RSA and AES Cryptographic Provider" -importpfx "<path-of-pfxFile>" AT_KEYEXCHANGE
```

Если вы решили использовать один головной узел на шаге 1.2 и хотите использовать самозаверяющий сертификат, вы также можете создать самозаверяющий сертификат в мастере установки во время установки головного узла.

Если вы решили использовать самозаверяющий сертификат для других узлов, вы можете создать самозаверяющий сертификат в диспетчере кластеров HPC в шаге 3.4далее в этом руководстве.

1.9. Подготовка к интеграции сценариев средств управления питанием (необязательно)

Консоль администрирования кластера (HPC Cluster Manager) включает действия для запуска, завершения работы и удаленной перезагрузки узлов. Эти действия связаны с файлом скрипта (CcpPower.cmd), выполняющим эти операции управления питанием с помощью команд операционной системы. Команды операционной системы по умолчанию можно заменить в этом файле скриптов собственными скриптами управления питанием, такими как скрипты интеллектуального интерфейса управления платформами (IPMI), предоставляемые поставщиком решений кластера.

При подготовке к этой интеграции необходимо получить все необходимые скрипты, .dll файлы и другие компоненты средств управления питанием. После получения всех необходимых компонентов протестируйте их независимо и убедитесь, что они работают как предназначенные на компьютерах, которые будут развертываться в качестве узлов в кластере.

Сведения об изменении CcpPower.cmd интеграции собственных средств управления питанием см. в приложении 5.скриптов power Control Toolsдалее в этом руководстве.

Следующий шаг

шаг 2. Развертывание головного узла (или узлов)

Поделиться через