Планирование системы Avere vFXT

В этой статье описывается, как спланировать новую систему Avere vFXT для кластера Azure, чтобы расположение и размер создаваемого кластера соответствовали вашим требованиям.

Прежде чем перейти в Azure Marketplace или создать виртуальные машины, примите во внимание следующие факторы.

• Как кластер будет взаимодействовать с другими ресурсами Azure?
• Где должны располагаться элементы кластера в частных сетях и подсетях?
• Какой тип серверного хранилища будет использоваться и как кластер будет к нему обращаться?
• Насколько мощными должны быть узлы кластера для того, чтобы поддерживать ваш рабочий процесс?

Продолжайте, чтобы узнать больше.

Изучение компонентов системы

Прежде чем приступить к планированию, полезно изучить компоненты системы Avere vFXT для Azure.

• Узлы кластера: кластер состоит из трех или более виртуальных машин, настроенных в качестве узлов кластера. Дополнительные узлы позволяют увеличить пропускную способность и кэш системы.

• Кэш: емкость кэша поровну делится между узлами кластера. Задайте размер кэша каждого узла при создании кластера. Общий размер кэша складывается из размеров узлов.

• Контроллер кластера — это дополнительная виртуальная машина, расположенная в той же подсети, что и узлы кластера. Контроллер необходим для создания кластера, а также для выполнения текущих задач управления.

• Серверное хранилище: данные, которые необходимо поместить в кэш, отправляются для долгосрочного хранения в аппаратную систему хранения или контейнер больших двоичных объектов Azure. Хранилище можно добавить после создания кластера Avere vFXT для Azure. Если используется хранилище BLOB-объектов, добавить и настроить контейнер можно при создании кластера.

• Клиенты: клиентские компьютеры, использующие помещенные в кэш файлы, подключаются к кластеру с использованием пути к виртуальному файлу, а не обращаются напрямую к системам хранения. (Дополнительные сведения см. в статье Подключение кластера Avere vFXT.)

Подписка, группа ресурсов и инфраструктура сети

Определите, где будут находиться элементы развертывания Avere vFXT для Azure. На схеме ниже показано возможное упорядочение компонентов Avere vFXT для Azure:

При планировании сетевой инфраструктуры кластера Avere vFXT нужно следовать следующим рекомендациям.

• Создайте новую подписку для каждого развертывания Avere vFXT для Azure. Выполняйте управление всеми компонентами в этой подписке.

  Ниже перечислены преимущества использования новой подписки для каждого развертывания.

  • Упрощенное отслеживание расходов — просмотр и аудит всех расходов на ресурсы, инфраструктуру и вычислительные циклы в одной подписке.
  • Более простая очистка — возможность удалить всю подписку по завершении работы с проектом.
  • Удобное секционирование квот ресурсов — изоляция клиентов и кластера Avere vFXT в одной подписке для защиты других критически важных рабочих нагрузок от возможного регулирования ресурсов. Такое разделение предотвращает конфликт при создании большого количества клиентов для рабочего процесса высокопроизводительных вычислений.

• Разместите клиентские системы вычисления близко к кластеру vFXT. Серверное хранилище может находиться на более дальнем расстоянии.

• Размещать кластер vFXT и виртуальную машину контроллера кластера следует вместе. В частности, они должны:

  • находиться в одной и той же виртуальной сети;
  • находиться в одной и той же группе ресурсов;
  • использовать одну и ту же учетную запись хранения.

  Шаблон создания кластера обрабатывает эту конфигурацию в большинстве случаев.

• Кластер должен быть расположен в собственной подсети, чтобы избежать конфликтов IP-адресов с клиентскими или другими вычислительными ресурсами.

• Используйте шаблон создания кластера для создания большей части необходимых ресурсов инфраструктуры кластера, включая группы ресурсов, виртуальные сети, подсети и учетные записи хранения.

  Если вы хотите использовать уже существующие ресурсы, убедитесь, что они соответствуют требованиям, приведенным в этой таблице.

  Ресурс	Использовать существующий?	Требования
  Группа ресурсов	Да, если пусто.	Должно быть пусто.
  Storage account	Да , если подключение существующего контейнера BLOB-объектов после создания кластера Нет, при создании нового контейнера BLOB-объектов во время создания кластера.	Существующий контейнер BLOB-объектов должен быть пустым
  Виртуальная сеть	Да	При создании нового контейнера BLOB-объектов Azure необходимо включить конечную точку службы хранилища
  Подсеть	Да	Не может содержать другие ресурсы

Требования к IP-адресам

Убедитесь, что у кластера подсети есть достаточно большой диапазон IP-адресов для поддержки кластера.

Кластер Avere vFXT использует следующие IP-адреса:

• IP-адрес для управления одним кластером. По мере необходимости этот адрес может перемещаться с узла на узел кластера, чтобы всегда оставаться доступным. Используйте этот адрес для подключения к средству настройки панели управления Avere.
• Для каждого узла кластера:
  • По крайней мере один IP-адрес, ориентированный на клиента. (Все адреса, ориентированные на клиента, управляются кластером vserver, который при необходимости может перемещать IP-адреса между узлами.)
  • Один IP-адрес для взаимодействия с кластером.
  • Один IP-адрес экземпляра (назначенный виртуальной машине).

Если вы используете хранилище BLOB-объектов Azure, также могут потребоваться IP-адреса из виртуальной сети кластера.

• Учетной записи хранилища BLOB-объектов Azure нужно по крайней мере пять IP-адресов. Помните об этом требовании, если хранилище BLOB-объектов находится в той же виртуальной сети, что и кластер.
• Если вы используете хранилище BLOB-объектов Azure, которое находится за пределами виртуальной сети кластера, необходимо создать конечную точку службы хранилища внутри виртуальной сети. Эта конечная точка не использует IP-адрес.

У вас есть возможность найти сетевые ресурсы и хранилище BLOB-объектов (если используется) в разных группах ресурсов кластера.

Размер узла vFXT

Виртуальные машины, выступающие в качестве узлов кластера, определяют пропускную способность запросов и емкость хранилища кэша.

Каждый узел vFXT будет идентичен. То есть если вы создаете кластер с тремя узлами, вы получите три виртуальные машины одинакового типа и размера.

Тип экземпляра	Число виртуальных ЦП	Память	Локальное хранилище на SSD-накопителях	Макс. количество дисков данных	Пропускная способность диска без кэширования	Сетевая карта (количество)
Standard_E32s_v3	32	256 Гиб	512 ГиБ	32	51 200 операций ввода-вывода в секунду 768 Мбит/с	16 000 Мбит/с (8)

Кэш дисков на узел настраивается и может работать с 1000 ГБ до 8000 ГБ. 4 ТБ на узел — это рекомендуемый размер кэша для Standard_E32s_v3 узлов.

Дополнительные сведения об этих виртуальных машинах см. в документации по Microsoft Azure: Размеры виртуальных машин, оптимизированных для операций в памяти.

Квота учетной записи

Убедитесь, что в вашей подписке достаточно ресурсов для запуска кластера Avere vFXT, а также используемых вычислительных или клиентских систем. Дополнительные сведения см. в разделе Quota for the vFXT cluster (Квота для кластера vFXT).

Серверное хранилище данных

Серверные системы хранения данных как помещают файлы в кэш кластера, так и получают измененные данные из кэша. Определите, где будет храниться ваш рабочий набор долгосрочно: в новом контейнере больших двоичных объектов или в имеющейся облачной или аппаратной системе хранения. Эти серверные системы хранения называются основными систематизаторами.

Аппаратные основные систематизаторы

После создания кластера добавьте аппаратные системы хранения в кластер vFXT. Вы можете использовать различные популярные аппаратные системы, в том числе локальные системы, при условии что система хранения данных доступна из подсети кластера.

Подробные инструкции о том, как добавить существующую систему хранения в кластер vFXT Avere, см. в разделе Configure storage (Настройка контейнера).

Облачные основные систематизаторы

Система Avere vFXT для Azure может использовать пустые контейнеры больших двоичных объектов для серверного хранилища. При добавлении в кластер контейнеры должны быть пустыми — система vFXT должна иметь возможность управлять хранилищем объектов без необходимости сохранять существующие данные.

Совет

Если вы хотите использовать хранилище BLOB-объектов Azure для серверной части, в процессе разработки кластера vFXT следует создать контейнер. Шаблон создания кластера может создать и настроить новый контейнер больших двоичных объектов, чтобы он был готов к использованию, как только кластер станет доступен. Добавить контейнер позже будет сложнее.

Дополнительные сведения см. в разделе о создании Avere vFXT для Azure.

После добавления пустого контейнера хранилища BLOB-объектов в качестве основного систематизатора можно скопировать в него данные через кластер. Используйте механизм параллельного многопоточного копирования. Чтобы узнать, как эффективно копировать данные в новый контейнер кластера с использованием клиентских компьютеров и кэша vFXT Avere, обратитесь к статье Moving data to the vFXT cluster - Parallel data ingest (Перемещение данных в кластер vFXT. Прием параллельных данных).

Доступ к кластеру

Кластер Avere vFXT для Azure расположен в частной подсети и не имеет общедоступного IP-адреса. У вас должен быть какой-либо метод доступа к частной подсети для администрирования кластера и клиентских подключений.

Варианты доступа включают в себя:

• Узел перехода — назначьте общедоступный IP-адрес отдельной виртуальной машине в частной сети и используйте его для создания туннеля TSL к узлам кластера.

  Совет

  Если вы настроите общедоступный IP-адрес на контроллере кластера, контроллер можно использовать в качестве узла перехода. Дополнительные сведения см. в разделе Контроллер кластера как узел перехода.

• Виртуальная частная сеть (VPN) — настройте VPN типа "точка — сеть" или "сеть — сеть" между частной сетью в Azure и корпоративными сетями.

• Azure ExpressRoute — настройте частное подключение через партнер ExpressRoute.

Дополнительные сведения об этих параметрах см. в разделе Обмен данными через Интернет.

Контроллер кластера как узел перехода

Контроллер кластера с настроенным общедоступным IP-адресом можно использовать в качестве узла перехода для подключения к кластеру Avere vFXT за пределами частной подсети. Однако, так как контроллер имеет права доступа для изменения узлов кластера, это создает небольшую угрозу безопасности.

Для усиления безопасности контроллера с общедоступным IP-адресом скрипт развертывания автоматически создает группу безопасности сети, которая ограничивает входящий доступ только портом 22. Вы можете дополнительно защитить систему, ограничив доступ по выбранному диапазону исходных IP-адресов, то есть разрешая подключения только от тех компьютеров, с которых вам нужен доступ к этому кластеру.

При создании кластера можно выбрать, следует ли создавать общедоступный IP-адрес на контроллере кластера.

• Если вы создадите виртуальную сеть или подсеть, контроллеру кластера будет назначен общедоступный IP-адрес.
• При выборе существующей виртуальной сети и подсети контроллер кластера будет иметь только частные IP-адреса.

Роли доступа к виртуальной машине

Azure использует управление доступом на основе ролей Azure (Azure RBAC), чтобы авторизовать виртуальные машины кластера для выполнения определенных задач. Например, контроллеру кластера требуется авторизация для создания и настройки виртуальных машин узла кластера. Узлы кластера должны иметь возможность назначать или переназначать IP-адреса другим узлам кластера.

Для виртуальных машин Avere vFXT используются две встроенные роли Azure:

• контроллер кластера использует встроенную роль Участник Avere;
• узлы кластера используют встроенную роль Оператор Avere.

Если требуется настроить роли доступа для компонентов Avere vFXT, необходимо определить собственную роль, а затем назначить ее виртуальным машинам во время их создания. Нельзя использовать шаблон развертывания в Azure Marketplace. Обратитесь в службу поддержки пользователей Майкрософт, отправив запрос на портале Azure, как описано в статье Получение помощи по работе с системой.

Следующие шаги

В статье с общими сведениями о развертывании дается общее представление всех шагов, необходимых для создания системы Avere vFXT для Azure и ее подготовки для обработки данных.