Требования к сети узла для локальной среды Azure
Область применения: Azure Local 2311.2 и более поздних версий
В этом разделе рассматриваются рекомендации и требования к сети для локальной среды Azure. Сведения об архитектуре центра обработки данных и физических подключениях между компьютерами см. в разделе "Требования к физической сети".
Сведения о том, как упростить сеть узлов с помощью Сетевого ATC, см. в разделе "Упрощение сети узлов" с помощью Сетевого ATC.
Типы сетевого трафика
Локальный сетевой трафик Azure можно классифицировать по своей целевой цели:
- Трафик управления: трафик из локальной системы или извне. Например, трафик реплики хранилища или трафик, используемый администратором для управления системой, например удаленным рабочим столом, Windows Admin Center, Active Directory и т. д.
- Вычислительный трафик: трафик, исходящий из виртуальной машины или предназначенный для нее.
- Трафик хранилища: трафик с использованием протокола SMB, например, Локальные пространства хранения или динамическая миграция на основе SMB. Этот трафик является трафиком уровня 2 и не является маршрутизируемым.
Внимание
Реплика хранилища использует трафик SMB, отличный от RDMA. Это и направление движения (Север-Юг) делает его схожим с управляющим трафиком, перечисленным выше, аналогично традиционному файловому обмену.
Выбор сетевого адаптера
Сетевые адаптеры определяются типами сетевого трафика (см. выше), для которых они поддерживаются. При просмотре Каталога Windows Server, сертификация Windows Server 2022 теперь может указывать одну или несколько следующих ролей. Прежде чем приобрести компьютер для локальной службы Azure, необходимо иметь по крайней мере один адаптер, который подходит для управления, вычислений и хранения, так как все три типа трафика необходимы в локальной среде Azure. Затем вы можете использовать Сетевой ATC для настройки адаптеров под соответствующие типы трафика.
Подробную информацию о квалификации сетевого адаптера, зависящей от ролей, см. в этой публикации в блоге Windows Server.
Внимание
Использование адаптера за пределами его квалифицированного типа трафика не поддерживается.
| Уровень | Роль управления | Роль в вычислениях | Роль хранилища |
|---|---|---|---|
| Различие на основе ролей | Управление | Стандартный уровень вычислений | Стандарт хранения |
| Максимальная награда | Не применимо | Вычисление класса Premium | Хранилище класса Premium |
Примечание.
Наивысшая квалификация для любого адаптера в нашей экосистеме будет содержать "Управление","Премиум вычисления" и "Премиум хранение".
Требования к драйверу
Драйверы папки "Входящие" не поддерживаются для использования с локальной службой Azure. Чтобы определить, использует ли адаптер драйвер папки "Входящие", выполните следующий командлет. Адаптер использует встроенный драйвер, если свойство DriverProvider равно Microsoft.
Get-NetAdapter -Name <AdapterName> | Select *Driver*
Обзор ключевых возможностей сетевого адаптера
Важные возможности сетевого адаптера, используемые локальной службой Azure, включают:
- Мультиочередная динамическая виртуальная машина (динамический VMMQ или d.VMMQ)
- Удаленный доступ к памяти (RDMA)
- Гостевая RDMA
- Switch Embedded Teaming (SET)
Динамический VMMQ
Все сетевые адаптеры с квалификацией "Вычислительный (Премиум)" поддерживают "Динамический VMMQ". Для динамического VMMQ требуется использование объединения встроенного коммутатора.
Применимые типы трафика: вычисления
Необходимые сертификаты: Compute (премиум)
Dynamic VMMQ — это интеллектуальная, приемная технология. Он опирается на своих предшественников: очередь виртуальных машин (VMQ), виртуальное масштабирование приема (vRSS) и VMMQ, чтобы обеспечить три основных улучшения:
- Оптимизирует эффективность узла с помощью меньшего количества ядер ЦП.
- Автоматическая настройка обработки сетевого трафика на ядра ЦП, что позволяет виртуальным машинам соответствовать ожидаемой пропускной способности и поддерживать ожидаемую пропускную способность.
- Позволяет "всплесковым" рабочим нагрузкам получать ожидаемый объем трафика.
Дополнительные сведения о Dynamic VMMQ см. в записи блога о искусственных ускорениях.
RDMA
RDMA — это разгрузка сетевого стека на сетевой адаптер. Это позволяет трафику хранилища SMB обойти операционную систему для обработки.
RDMA обеспечивает высокую пропускную способность, низкую задержку сети, используя минимальные ресурсы ЦП узла. Затем эти ресурсы ЦП узла можно использовать для запуска дополнительных виртуальных машин или контейнеров.
Применимые типы трафика: хранилище узлов
Необходимые сертификаты: хранение (Стандартное)
Все адаптеры с квалификацией хранилища (Стандартный) или хранилища (Премиум) поддерживают RDMA на стороне узла. Дополнительные сведения об использовании RDMA с гостевыми рабочими нагрузками см. в разделе "Гостевая RDMA" далее в этой статье.
Azure Local поддерживает RDMA с реализацией протоколов Internet Wide Area RDMA Protocol (iWARP) или RDMA over Converged Ethernet (RoCE).
Внимание
Адаптеры RDMA работают только с другими адаптерами RDMA, реализующими тот же протокол RDMA (iWARP или RoCE).
Не все сетевые адаптеры от поставщиков поддерживают RDMA. В следующей таблице перечислены поставщики (в алфавитном порядке), которые предлагают сертифицированные адаптеры RDMA. Однако поставщики оборудования не включены в этот список, которые также поддерживают RDMA. Ознакомьтесь с каталогом Windows Server, чтобы найти адаптеры с квалификацией Storage (Стандарт) или Storage (Премиум), для которых требуется поддержка RDMA.
Примечание.
InfiniBand (IB) не поддерживается в Azure Local.
| Поставщик сетевых адаптеров | iWARP | RoCE |
|---|---|---|
| Broadcom | Нет | Да |
| Intel | Да | Да (некоторые модели) |
| Marvell (Qlogic) | Да | Да |
| Nvidia | Нет | Да |
Дополнительные сведения о развертывании RDMA для хоста см. в Сетевом ATC, который мы настоятельно рекомендуем использовать. Сведения о развертывании вручную см. в репозитории SDN GitHub.
iWARP
iWARP использует протокол TCP и может быть дополнительно улучшен с помощью управления потоками на основе приоритета (PFC) и расширенной службы передачи (ETS).
Используйте iWARP, если:
- У вас нет опыта управления сетями RDMA.
- Вы не управляете или вам неудобно управлять коммутаторами верхнего уровня (ToR).
- После развертывания вы не будете управлять решением.
- У вас уже есть развертывания, использующие iWARP.
- Вы не уверены, какой вариант выбрать.
RoCE
RoCE использует протокол пользовательских дейтаграмм (UDP) и требует PFC и ETS для обеспечения надежности.
Используйте RoCE, если:
- У вас уже есть развертывания RoCE в вашем ЦОД.
- Вы уверенно управляете требованиями к сети DCB.
Гостевая RDMA
Гостевая RDMA позволяет рабочим нагрузкам SMB для виртуальных машин получить те же преимущества использования RDMA на узлах.
Применимые типы трафика: гостевой хранилище
Необходимые сертификаты: Compute (Premium)
Основными преимуществами использования гостевого RDMA являются:
- Перенос нагрузки с ЦП на сетевую карту для обработки сетевого трафика.
- Крайне низкая задержка.
- Высокая пропускная способность.
Дополнительные сведения см. в репозитории SDN GitHub.
Switch Embedded Teaming (SET)
SET — это технология группирования на основе программного обеспечения, которая была включена в операционную систему Windows Server с Windows Server 2016. SET — это единственная технология группирования, поддерживаемая Azure Local. SET хорошо работает с трафиком вычислений, хранилища и управления и поддерживает до восьми адаптеров в одной команде.
Применимые типы трафика: вычислительные ресурсы, хранилище и управление
Необходимые сертификаты: Вычисления (Стандарт) или Вычисления (Премиум)
SET — это единственная технология группирования, поддерживаемая Azure Local. SET хорошо работает с трафиком вычислений, хранилища и управления.
Внимание
В локальной среде Azure не поддерживается объединение сетевых адаптеров, использующих старую схему балансировки нагрузки и отработки отказов (LBFO). Дополнительные сведения о LBFO в Azure Local см. в записи блога " Командирование в локальной среде Azure".
Set важен для локальной службы Azure, так как это единственная технология группирования, которая включает:
- Объединение адаптеров RDMA (при необходимости).
- Гостевая RDMA.
- Динамический VMMQ.
- Другие ключевые функции Azure Local (см . раздел "Командирование" в локальной среде Azure).
SET требует использования симметричного (идентичного) адаптера. Симметричные сетевые адаптеры — это адаптеры со следующими одинаковыми параметрами:
- марка (поставщик);
- модель (версия);
- скорость (пропускная способность).
- настройка
В 22H2 сетевой ATC автоматически обнаружит и сообщит вам, являются ли выбранные адаптеры асимметричными. Самый простой способ вручную определить, являются ли адаптеры симметричными, если скорость и описание интерфейса совпадают. Они могут отклоняться только в числовых значениях, перечисленных в описании. Используйте командлет Get-NetAdapterAdvancedProperty, чтобы убедиться, что в конфигурации перечислены одинаковые значения свойств.
См. следующую таблицу для примера описаний интерфейса, различающихся только по числовым значениям (#):
| Имя. | Описание интерфейса | Скорость связи |
|---|---|---|
| NIC1 | Сетевой адаптер #1 | 25 Гбит/с |
| NIC2 | Сетевой адаптер #2 | 25 Гбит/с |
| NIC3 | Сетевой адаптер #3 | 25 Гбит/с |
| NIC4 | Сетевой адаптер #4 | 25 Гбит/с |
Примечание.
SET поддерживает только независимую от коммутатора конфигурацию с помощью алгоритмов балансировки нагрузки динамических портов или Hyper-V. Для лучшей производительности рекомендуется использовать порт Hyper-V во всех сетевых адаптерах, которые работают со скоростью 10 Гбит/с или выше. Сетевой ATC выполняет все необходимые настройки для SET.
Особенности трафика RDMA
При реализации DCB необходимо убедиться, что конфигурация PFC и ETS реализована правильно по каждому сетевому порту, включая сетевые коммутаторы. DCB требуется для RoCE и необязательно для iWARP.
Подробную информацию о том, как развернуть RDMA, загрузите из документа из репозитория SDN на GitHub.
Для локальных реализаций Azure на основе RoCE требуется настройка трех классов трафика PFC, включая класс трафика по умолчанию в структуре и всех узлах.
Класс системного трафика
Этот класс трафика гарантирует, что для системных пульсов достаточно пропускной способности:
- Обязательный: да
- С поддержкой PFC: Нет
- Рекомендуемый приоритет трафика: приоритет 7
- Рекомендуемое резервирование пропускной способности:
- 10 ГбE или более низкие сети RDMA = 2 процента
- 25 ГбE или более высокие сети RDMA = 1 процент
Класс трафика RDMA
Этот класс трафика обеспечивает достаточную пропускную способность, зарезервированную для обмена данными RDMA без потери с помощью SMB Direct:
- Обязательный: да
- С поддержкой PFC: Да
- Рекомендуемый приоритет трафика: приоритет 3 или 4
- Рекомендуемое резервирование пропускной способности: 50 процентов
Класс трафика по умолчанию
Этот класс трафика содержит весь другой трафик, не определенный в классах трафика RDMA, включая трафик виртуальной машины и трафик управления:
- Обязательный: по умолчанию (конфигурация на узле не требуется)
- Управление потоком (PFC) включено: нет
- Рекомендуемый класс трафика: по умолчанию (приоритет 0)
- Рекомендуемое резервирование пропускной способности: по умолчанию (конфигурация узла не требуется)
Модели трафика хранилища
SMB предоставляет множество преимуществ в качестве протокола хранения для локальной среды Azure, включая SMB Multichannel. SMB Multichannel не рассматривается в этой статье, но важно понимать, что трафик мультиплексирован по каждой возможной ссылке, которую может использовать SMB Multichannel.
Примечание.
Рекомендуется использовать несколько подсетей и виртуальных ЛС для разделения трафика хранилища в локальной среде Azure.
Рассмотрим следующий пример системы четырех узлов. Каждый компьютер имеет два порта хранилища (слева и справа). Так как каждый адаптер находится в одной подсети и виртуальной локальной сети, SMB Multichannel будет распространять подключения по всем доступным ссылкам. Поэтому левый порт на первом компьютере (192.168.1.1) сделает подключение к левому порту на втором компьютере (192.168.1.2). Правый порт на первом компьютере (192.168.1.12) подключается к правому порту на втором компьютере. Аналогичные подключения устанавливаются для третьих и четвертых компьютеров.
Однако при этом создаются ненужные подключения и возникает перегрузка на межсоединении (группа агрегирования с несколькими корпусами или MC-LAG), которое подключает коммутаторы ToR (помеченные символами 'X'). Рассмотрим схему ниже.
Рекомендуемый подход заключается в использовании отдельных подсетей и виртуальных ЛС для каждого набора адаптеров. На следующей схеме правые порты теперь используют подсеть 192.168.2.x /24 и VLAN2. Это позволяет трафику на левых портах оставаться в TOR1, а трафик на правых портах оставаться в TOR2.
Распределение пропускной способности трафика
В следующей таблице показаны примеры распределения пропускной способности различных типов трафика с использованием общих скоростей адаптера в локальной среде Azure. Обратите внимание, что это пример конвергентного решения, где все типы трафика (вычислительные ресурсы, хранилище и управление) выполняются через одни и те же физические адаптеры и объединяются с помощью SET.
Так как этот вариант использования представляет собой самые ограничения, он представляет хороший базовый план. Однако, учитывая перемутацию числа адаптеров и скоростей, это следует считать примером, а не требованием поддержки.
Ниже приведены предположения, приведенные в следующем примере:
Для каждой команды существует два адаптера.
Уровень шины хранилища (SBL), общий том кластера (CSV) и трафик Hyper-V (динамическая миграция):
- Используйте те же физические адаптеры.
- Используйте SMB.
SMB получает 50 процентов распределения пропускной способности с помощью DCB.
- SBL/CSV является самым приоритетным трафиком и получает 70 процентов резервирования пропускной способности SMB.
- Живая миграция (LM) ограничена использованием командлета
Set-SMBBandwidthLimitи получает 29 процентов оставшейся пропускной способности.Если доступная пропускная способность для живой миграции составляет >= 5 Гбит/с, и сетевые адаптеры поддерживают RDMA, используйте его. Для этого используйте следующий командлет:
Set-VMHost -VirtualMachineMigrationPerformanceOption SMBЕсли доступная пропускная способность для динамической миграции составляет < 5 Гбит/с, используйте сжатие для уменьшения времени отключения. Для этого используйте следующий cmdlet:
Set-VMHost -VirtualMachineMigrationPerformanceOption Compression
Если вы используете RDMA для трафика динамической миграции, убедитесь, что трафик динамической миграции не может использовать всю пропускную способность, выделенную для класса трафика RDMA, с помощью ограничения пропускной способности SMB. Будьте осторожны, так как этот командлет принимает значения в байтах в секунду (Bps), в то время как сетевые адаптеры указываются в битах в секунду (bps). Используйте следующий командлет, чтобы задать ограничение пропускной способности 6 Гбит/с, например:
Set-SMBBandwidthLimit -Category LiveMigration -BytesPerSecond 750MBПримечание.
750 МБИТ/с в этом примере приравнивается к 6 Гбит/с.
Ниже приведен пример таблицы распределения пропускной способности:
| Скорость сетевого адаптера | Объединяемая пропускная способность | Резервирование пропускной способности SMB** | SBL/CSV % | Пропускная способность SBL/CSV | Живая миграция % | Максимальная пропускная способность динамической миграции | Пульс % | Пропускная способность пульса |
|---|---|---|---|---|---|---|---|---|
| 10 Гбит/с | 20 Гбит/с | 10 Гбит/с | 70 % | 7 Гбит/с | * | 200 Мбит/с | ||
| 25 Гбит/с | 50 Гбит/с | 25 Гбит/с | 70 % | 17,5 Гбит/с | 29 % | 7,25 Гбит/с | 1% | 250 Мбит/с |
| 40 Гбит/с | 80 Гбит/с | 40 Гбит/с | 70 % | 28 Гбит/с | 29 % | 11,6 Гбит/с | 1% | 400 Мбит/с |
| 50 Гбит/с | 100 Гбит/с | 50 Гбит/с | 70 % | 35 Гбит/с | 29 % | 14,5 Гбит/с | 1% | 500 Мбит/с |
| 100 Гбит/с | 200 Гбит/с | 100 Гбит/с | 70 % | 70 Гбит/с | 29 % | 29 Гбит/с | 1% | 1 Гбит/с |
| 200 Гбит/с | 400 Гбит/с | 200 Гбит/с | 70 % | 140 Гбит/с | 29 % | 58 Гбит/с | 1% | 2 Гбит/с |
* Используйте сжатие, а не RDMA, так как распределение пропускной способности для трафика динамической миграции составляет <5 Гбит/с.
** 50 процентов — это пример резервирования пропускной способности.
Растянутые кластеры
Растянутые кластеры обеспечивают аварийное восстановление, охватывающее несколько центров обработки данных. В самой простой форме растянутый кластер Azure Local выглядит следующим образом:
Требования к растянутому кластеру
Внимание
Функции растянутого кластера доступны только в локальной версии Azure версии 22H2.
Растянутые кластеры имеют следующие требования и характеристики:
RDMA ограничен одним сайтом и не поддерживается в разных сайтах или подсетях.
Компьютеры на одном сайте должны находиться в одной стойке и границе уровня 2.
Взаимодействие узла между сайтами должно пересекать границу уровня 3; Топологии растянутого слоя 2 не поддерживаются.
Достаточно пропускной способности для обработки рабочих нагрузок на другом сайте. В случае переключения на резервный узел альтернативный сайт должен обработать весь трафик. Рекомендуется размещать сайты, используя 50 процентов доступной пропускной сетевой способности. Это не является обязательным условием, если вы способны терпеть более низкую производительность во время отработки отказа.
Адаптеры, используемые для обмена данными между сайтами:
Может быть физическим или виртуальным (сетевым адаптером узла vNIC). Если адаптеры являются виртуальными, необходимо подготовить одну vNIC в собственной подсети и VLAN на каждый физический сетевой адаптер.
Должны находиться в собственной подсети и VLAN, которая может маршрутизироваться между сайтами.
RDMA необходимо отключить с помощью командлета
Disable-NetAdapterRDMA. Рекомендуем явно указывать, чтобы Storage Replica использовала определенные интерфейсы с помощью командлетаSet-SRNetworkConstraint.Должны соответствовать любым дополнительным требованиям для репликации хранилища.
Следующие шаги
- Сведения о сетевом коммутаторе и требованиях к физической сети. См. сведения о требованиях к физической сети.
- Узнайте, как упростить сеть узлов с помощью Сетевого ATC. См. Упрощение сетевого взаимодействия с Network ATC.
- Освежите знания по основам сетевого взаимодействия в отказоустойчивых кластерах.
- См. статью "Развертывание с помощью портал Azure".
- См. раздел "Развертывание с помощью шаблона Azure Resource Manager".