Управление и увеличение квот для ресурсов с помощью Azure AI Foundry

Статья
11/19/2024

Внимание

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Квота обеспечивает гибкость для активного управления распределением ограничений скорости между развертываниями в вашей подписке. В этой статье описывается процесс управления квотой для виртуальных машин Azure AI Foundry и моделей Azure OpenAI.

Ограничения и квоты применяются в Azure во избежание перерасхода бюджета из-за мошенничества, а также для соблюдения ограничений по объемам ресурсов Azure. Это также хороший способ контролировать затраты для администраторов. Учитывайте эти ограничения при масштабировании рабочих нагрузок.

В этой статье раскрываются следующие темы:

Ограничения по умолчанию для ресурсов Azure
Создание квот на уровне центра Azure AI Foundry.
Просмотр квот и ограничений
Увеличение квоты и ограничения запроса

Примечания

Квоты применяются к каждой подписке в вашей учетной записи. Если у вас несколько подписок, необходимо запросить увеличение квоты для каждой подписки.

Квота — это кредитный лимит ресурсов Azure, а не гарантия емкости. Если вам нужны большие объемы ресурсов, обратитесь в службу поддержки Azure для увеличения квоты.

Примечание.

Вычисление Azure AI Foundry имеет отдельную квоту от основной квоты вычислений.

Ограничения по умолчанию зависят от типа категории предложения, такого как бесплатная пробная версия, предложение с оплатой по мере использования и разные серии виртуальных машин (Dv2, F и G).

Квота Azure AI Foundry

Следующие действия на портале Azure AI Foundry используют квоту:

Создание вычислительного экземпляра.
Создание векторного индекса.
Развертывание открытых моделей из каталога моделей.

Вычисление Azure AI Foundry

Вычисление Azure AI Foundry имеет ограничение квоты по умолчанию как на количество ядер, так и количество уникальных вычислительных ресурсов, разрешенных для каждого региона в подписке.

Квота на количество ядер разделена по каждому семейству виртуальных машин и совокупным общим ядрам.
Квота на количество уникальных вычислительных ресурсов в каждом регионе отделена от квоты ядра виртуальной машины, так как она применяется только к управляемым вычислительным ресурсам.

Чтобы увеличить ограничения для вычислений, можно запросить увеличение квоты в Azure AI Foundry.

Доступные ресурсы:

Квота выделенных ядер на регион по умолчанию составляет от 24 до 300, в зависимости от типа предложения подписки. Вы можете увеличить количество выделенных ядер на подписку для каждого семейства виртуальных машин. Специализированные семейства виртуальных машин, такие как NCv2, NCv3 или ND, начинаются с 0 ядер по умолчанию. Число ядер для GPU также по умолчанию равно 0.
Стандартное общее ограничение вычислительных кластеров на регион составляет 500 на регион в заданной подписке. Его можно повысить до 2500 кластеров на регион. Это ограничение совместно используется между вычислительными экземплярами и развертываниями управляемых сетевых конечных точек. В контексте квот вычислительным экземпляром считается кластер с одним узлом. Для увеличения общего вычислительного ограничения подайте запрос в службу поддержки.

При открытии запроса на поддержку для увеличения общего объема вычислительных ресурсов укажите следующие сведения:

Выберите Technical для типа проблемы.
Выберите подписку, для которой нужно увеличить квоту.
Выберите Машинное обучение в качестве типа службы.
Выберите ресурс, для которого нужно увеличить квоту.
В поле "Сводка" введите "Увеличить общий объем вычислительных ресурсов"
Выберите вычислительный экземпляр тип проблемы и квоту в качестве подтипа проблемы.
Выберите Далее.
На странице "Дополнительные сведения" укажите идентификатор подписки, регион, новое ограничение (от 500 до 2500) и бизнес-обоснование, чтобы увеличить общий объем вычислительных ресурсов для региона.
Нажмите кнопку "Создать", чтобы отправить запрос в службу поддержки.

Общая квота Azure AI Foundry

Azure AI Foundry предоставляет пул общих квот, доступных для разных пользователей в разных регионах для одновременного использования. В зависимости от доступности пользователи могут временно получить доступ к квоте из общего пула и использовать квоту для выполнения тестирования в течение ограниченного периода времени. Определенный период времени зависит от варианта использования. Временно используя квоту из пула квот, вам больше не нужно отправлять запрос в службу поддержки для краткосрочного увеличения квоты или ожидать утверждения запроса квоты, прежде чем продолжить работу с рабочей нагрузкой.

Использование общего пула квот доступно для тестирования моделей Llama-2, Phi, Nemotron, Mistral, Dolly и Deci-DeciLM. Следует использовать общую квоту только для создания временных тестовых конечных точек, а не рабочих конечных точек. Для конечных точек в рабочей среде следует запросить выделенную квоту. Выставление счетов за общую квоту основано на использовании, как и для выделенных семейств виртуальных машин.

Экземпляры контейнеров

Дополнительные сведения см. в разделе Ограничения экземпляров контейнеров.

Хранилище

Служба хранилища Azure имеет ограничение в 250 учетных записей хранения в регионе для каждой подписки. Сюда входят учетные записи хранения категории "Стандартный" и "Премиум".

Просмотр и запрос квот на портале Azure AI Foundry

Используйте квоты для управления распределением целевых объектов вычислений между несколькими центрами Azure AI Foundry в одной подписке.

По умолчанию все центры используют ту же квоту, что и квота уровня подписки для семейств виртуальных машин. Однако можно задать максимальную квоту для отдельных семейств виртуальных машин для более детального управления затратами и управления центрами в подписке. С помощью квот для отдельных семейств виртуальных машин можно разделить производительность и предотвратить проблемы с содержимым ресурсов.

На портале Azure AI Foundry выберите центр управления в меню слева.
Выберите квоту в меню слева.
В представлении квоты можно увидеть квоту для моделей в выбранном регионе Azure. Чтобы запросить дополнительную квоту, выберите модель и выберите квоту запроса.
- Используйте переключатель "Показать все квоты", чтобы отобразить всю квоту или только выделенную в данный момент квоту.
- Используйте группу, раскрывающийся список по типу квоты, региону и модели, типу квоты, модели и регионам или нет. В группе None отображается список развертываний моделей.
- Разверните группы для просмотра сведений о конкретных развертываниях моделей. При просмотре развертывания модели выберите значок карандаша в столбце выделения квот, чтобы изменить выделение квот для развертывания модели.
- Используйте диаграммы вдоль стороны страницы, чтобы просмотреть дополнительные сведения об использовании квот. Диаграммы являются интерактивными; Наведите указатель мыши на раздел диаграммы, где отображаются дополнительные сведения, и выбор диаграммы фильтрует список моделей. Выбор условных обозначений диаграммы фильтрует данные, отображаемые на диаграмме.
- Используйте ссылку Azure OpenAI Provisioned для просмотра сведений о подготовленных моделях, включая калькулятор емкости.
При выборе ссылки квоты виртуальной машины можно просмотреть квоту и использование для семейств виртуальных машин в выбранном регионе Azure. Чтобы запросить дополнительную квоту, выберите семейство виртуальных машин и выберите квоту запроса.

Поделиться через