Создание пакетного задания с помощью портала Azure
Пакетная служба Azure обеспечивает эффективное выполнения крупномасштабных приложений в облаке. Вы можете планировать ресурсоемкие задачи и динамически настраивать ресурсы для своего решения без управления инфраструктурой. Пакетная служба Azure может создавать пул вычислительных узлов (виртуальных машин) и управлять им, устанавливать приложение, которое вы хотите запустить, и планировать выполнение заданий в вычислительных узлах.
Вы можете использовать пакетная служба Azure для создания программного обеспечения как приложения saaS или клиентского приложения, где требуется крупномасштабное выполнение. Например, пакетную службу можно использовать для создания службы, которая выполняет имитацию Монте-Карло для компании финансовых услуг или службы для обработки множества изображений.
Как работает пакетная служба Azure
Как показано на схеме ниже, для типичного реального сценария пакетной службы Azure потребуются файлы данных и приложений. Рабочий процесс пакетной службы начинается с загрузки файлов данных и приложений в учетную запись хранения Azure. В зависимости от потребности вы создаете пул пакетной обработки с необходимым количеством виртуальных вычислительных узлов Windows или Linux. Если потребность возрастает, вычислительные узлы можно масштабировать автоматически.
Вы можете представить себе эту схему как состоящую из двух частей:
- вашей службы;
- пакетной службы как вычислительной платформы за вашей службой.
Ваша служба использует Azure в качестве платформы как для выполнения ресурсоемких вычислений с помощью пакетной службы, так и для получения результатов с помощью службы хранилища Azure. В сущности пулы представляют собой коллекции виртуальных машин. Пулы — это ресурсы, в которых выполняются задания и задачи.
Пакетная служба использует службу хранилища Azure для получения приложений или данных, необходимых для выполнения задачи на виртуальной машине, и затем записи выходных данных этой задачи. Ваша служба может отслеживать ход выполнения заданий и задач через API пакетной службы. Затем ваша служба может получать результаты выполнения этих заданий и задач из службы хранилища Azure.
создание пула пакетная служба Azure в виртуальной сети
Чтобы запустить пакетное задание, вам нужно добавить пул в вашу учетную запись пакетной службы. Пул содержит вычислительные узлы, которые необходимы для выполнения вашего пакетного задания. Вычислительные узлы — это виртуальные машины, которые обрабатывают задачи, составляющие задание. При создании пула можно указать количество, размер и операционную систему узлов в зависимости от спроса.
Пакетная служба должна взаимодействовать с агентом узла пакетной службы, который работает на каждом узле пула. Например, служба инструктирует агент узла запустить задачу, остановить задачу или получить файлы для задачи. Одна или несколько подсистем балансировки нагрузки обеспечивают взаимодействие с агентом узла пула. Количество подсистем балансировки нагрузки зависит от количества узлов в пуле.
Подсистема балансировки нагрузки переадресует взаимодействие в нужный узел пула. Каждый узел имеет уникальный номер порта. По умолчанию подсистемы балансировки нагрузки имеют общедоступные IP-адреса.
Также можно удаленно получить доступ к узлам пула через протокол удаленного рабочего стола (RDP) или SSH, которые включены по умолчанию. Опять же, связь осуществляется через конечные точки балансировщика нагрузки.
При создании пула пакетной службы Azure вы можете подготовить пул в подсети указанной виртуальной сети Azure. Вычислительные узлы в пуле могут взаимодействовать друг с другом для выполнения задач с несколькими экземплярами, не требуя отдельной виртуальной сети. По умолчанию конечные точки с общедоступными IP-адресами используются для связи с учетными записями пакетной службы, пулами пакетной обработки и узлами пула.
Виртуальные сети и подсети Azure
Виртуальная сеть — это стандартный строительный блок для вашей частной сети в Azure. Виртуальные сети позволяют различным типам ресурсов Azure ( например, виртуальным машинам) безопасно взаимодействовать друг с другом, Интернетом и локальными сетями.
Виртуальная сеть похожа на традиционную сеть, которая будет работать в собственном центре обработки данных, но обеспечивает дополнительные преимущества инфраструктуры Azure, такие как масштабирование, доступность и изоляция.
Ниже перечислены основные сценарии, которые можно выполнить с помощью виртуальной сети.
- Обмен данными между ресурсами Azure и Интернетом
- обмен данными между ресурсами Azure;
- Взаимодействие с локальными ресурсами
- Фильтрация сетевого трафика
- Маршрутизация сетевого трафика
- Интеграция со службами Azure
Подсеть — это диапазон IP-адресов в виртуальной сети. Виртуальную сеть можно разделить на несколько подсетей, чтобы лучше организовать ее и повысить безопасность. При настройке виртуальной сети вы указываете топологию, в том числе доступные адресные пространства и подсети. Если вы планируете подключить виртуальную сеть к другим виртуальным сетям или локальным сетям, необходимо выбрать диапазоны адресов, которые не перекрываются.
Между подсетями нет границ безопасности, поэтому виртуальные машины в каждой подсети могут взаимодействовать друг с другом, но можно настроить группы безопасности сети, которые позволяют управлять потоком трафика и из подсетей и виртуальных машин.