Обновление Azure OpenAI, подготовленное за август 2024 г.
В середине августа 2024 г. корпорация Майкрософт запустила усовершенствования в предложении подготовленной пропускной способности, которая отвечает отзыву клиентов о удобствах использования и оперативной гибкости, которые открывают новые варианты оплаты и сценарии развертывания.
Эта статья предназначена для существующих пользователей подготовленной пропускной способности. Новые клиенты должны ссылаться на подготовленное руководство по подключению Azure OpenAI.
Изменения
Приведенные ниже возможности развертываются для подготовленного управляемого предложения.
Внимание
Изменения в этой статье не применяются к более старым предложениям "Подготовленная классическая модель (PTU-C) ". Они влияют только на предложение "Подготовлено" (также известное как подготовленное управляемое предложение).
Повышение удобства использования
| Функция | Преимущества |
|---|---|
| Не зависят от модели квоты | Одно ограничение квоты, охватывающее все модели и версии, уменьшает администрирование квот и ускоряет экспериментирование с новыми моделями. |
| Запросы на квоту самообслуживания | Увеличение квоты запросов без привлечения группы продаж — многие из нас могут быть автоматически утверждены. |
| Квота, управляемая по умолчанию во многих регионах | Быстро приступить к работе без первой квоты запроса. |
| Прозрачная информация о доступности емкости в режиме реального времени + новый поток развертывания | Сокращение переговоров вокруг доступности ускоряет время на рынок. |
Новая почасовая или резервная коммерческая модель
| Функция | Преимущества |
|---|---|
| Почасовое использование | Вариант почасовой оплаты без обязательного обязательства позволяет выполнять краткосрочные сценарии развертывания. |
| Скидки на срок с помощью резервирований Azure | Резервирования Azure предоставляют существенные скидки на почасовую ставку в течение одного месяца и одного года, а также предоставляют гибкие области, которые минимизирует администрирование и связанные с сегодняшними обязательствами, связанными с ресурсами. |
| Квота, управляемая по умолчанию во многих регионах | Быстро приступить к работе в новых регионах без первого запроса квоты. |
| Гибкий выбор модели оплаты для существующих подготовленных клиентов | Клиенты с обязательствами могут оставаться в модели обязательств по крайней мере до конца 2024 года, и может выбрать перенос существующих обязательств на почасовые или резервирования через самообслуживание или управляемый процесс. |
| Поддержка последних поколений моделей | Модель почасового или резервирования необходима для развертывания моделей, выпущенных после 1 августа 2024 г. |
Сведения об улучшении удобства использования
Степень детализации подготовленной квоты изменяется с модели на модель независимой от модели. Вместо каждой модели и версии в подписке и регионе с собственным ограничением квоты есть один элемент квоты для каждой подписки и региона, который ограничивает общее количество ПТП, которые можно развернуть во всех поддерживаемых моделях и версиях.
Не зависят от модели квоты
По состоянию на 12 августа 2024 г. текущая квота для конкретных клиентов была преобразована в независимо от модели. Этот процесс выполняется автоматически. Квота не теряется в переходе. Существующие ограничения квоты суммируются и назначаются новому элементу квоты, независимому от модели.
Новая независимая от модели квота отображается как элемент квоты с именем "Подготовленная единица управляемой пропускной способности", а модель и версия больше не включены в имя. В области квоты Azure AI Foundry расширение элемента квоты по-прежнему отображает все развертывания, которые вносят вклад в элемент квоты.
Квота по умолчанию
Новые и существующие подписки назначаются небольшой объем подготовленной квоты во многих регионах. Это позволяет клиентам начать использовать эти регионы, не выполняя первый запрос квоты.
Для существующих клиентов, если регион уже содержит назначение квоты, ограничение квоты не изменяется для региона. Например, он не увеличивается автоматически на новую сумму по умолчанию.
Запросы на квоту самообслуживания
Клиенты больше не получают квоту, связав свои группы продаж. Вместо этого они используют форму запроса квоты самообслуживания и указывают тип квоты, управляемый PTU. Форма доступна из ссылки справа от элемента квоты. Цель — ответить на все запросы квот в течение двух рабочих дней.
На следующем снимках экрана квоты показана независимая от модели квота, используемая развертываниями различных типов, и ссылка на запрос дополнительной квоты.
Квота в качестве предела
До обновления за август подготовка Azure OpenAI была доступна только для нескольких клиентов, и квота была выделена для максимальной возможности их развертывания и использования. При этих изменениях процесс получения квоты упрощается для всех пользователей, и при попытке развертывания возникает большая вероятность выполнения ограничений емкости службы. Новый интерфейс API и портала доступен для поиска регионов, где подписка имеет квоту, и служба имеет емкость для поддержки развертываний требуемой модели.
Мы также рекомендуем клиентам использовать обязательства, которые теперь создают свои развертывания перед созданием или расширением обязательств для их покрытия. Это гарантирует, что емкость доступна перед созданием обязательства и предотвращает чрезмерную покупку обязательства. Для поддержки этого ограничение, которое не позволило создавать развертывания больше, чем их обязательства, было удалено. Этот новый подход к квоте, доступности емкости и обязательствам соответствует тому, что предоставляется в модели почасового или резервирования, а руководство по развертыванию перед приобретением обязательства (или резервирования для почасовой модели) одинаково для обоих.
Дополнительные сведения см. в следующих статьях: Рекомендации по резервированиям и обязательствам одинаковы:
Новая модель оплаты почасового резервирования
Примечание.
Следующее описание моделей оплаты не применяется к более старым предложениям "Подготовленная классическая модель (PTU-C)". Они влияют только на предложение "Подготовлено" (также известное как подготовленное управляемое). Подготовленная классическая модель продолжает регулироваться неизменной ежемесячной моделью оплаты обязательств.
Корпорация Майкрософт представила новую модель оплаты почасового или резервирования для подготовленных развертываний. Это в дополнение к текущей модели оплаты обязательств , которая будет по-прежнему поддерживаться по крайней мере до конца 2024 года.
Модель оплаты обязательств
Региональное ежемесячное обязательство требуется для использования подготовленных (более длительных условий, доступных договорно).
Обязательства привязаны к ресурсам Azure OpenAI, что затрудняет перемещение развертываний между ресурсами.
Обязательства не могут быть отменены или изменены во время их срока, за исключением добавления новых PTUS.
Поддерживает модели, выпущенные до 1 августа 2024 г.
Модель оплаты почасового резервирования
Модель оплаты соответствует стандартам Azure для других продуктов.
Почасовое использование поддерживается без обязательств.
Скидки на один месяц и один год можно приобрести в качестве региональных резервирований Azure.
Резервирования можно гибко ограничить для покрытия нескольких подписок, а область может быть изменена в середине срока.
Поддерживает все модели, как старые, так и новые.
Внимание
Модели, выпущенные после 1 августа 2024 года, требуют использования модели оплаты почасового или резервирования. Они недоступны для развертывания в ресурсах Azure OpenAI, имеющих активные обязательства. Для развертывания моделей, выпущенных после 1 августа, существующие клиенты должны:
- Создание развертываний в ресурсах Azure OpenAI без обязательств.
- Перенос существующего ресурса от своих обязательств.
Платформа модели оплаты
При выпуске почасовой или зарезервированной модели оплаты варианты оплаты являются более гибкими и модель вокруг подготовленных платежей изменилась. Когда одномесячные обязательства были единственным способом приобретения подготовленной, модель была:
- Получите квоту PTU из вашей группы учетных записей Майкрософт.
- Квота "Покупка" из обязательства по ресурсу, в котором требуется развернуть.
- Создайте развертывания на ресурсе до предела обязательства.
Ключевое различие между этой моделью и новой моделью заключается в том, что ранее единственный способ оплаты за подготовку был через одномесячную скидку. Теперь вы можете развертывать и платить за развертывания почасово, если вы выбираете и принимаете отдельное решение о том, следует ли скидывать их через одномесячное обязательство (например, раньше) или резервирование Azure.
С помощью этого аналитических сведений новый способ думать о моделях оплаты является следующим:
- Получение квоты PTU с помощью формы самообслуживания.
- Создайте развертывания с помощью квоты.
- При необходимости приобрести или продлить обязательство или резервирование, чтобы применить скидку на срок к развертываниям.
Шаги 1 и 2 одинаковы во всех случаях. Разница заключается в том, используется ли обязательство или резервирование Azure в качестве транспортного средства для предоставления скидки. В обеих моделях:
Вы можете развернуть больше PTUS, чем скидка. (например, создание краткосрочного развертывания для попытки создания новой модели включено путем развертывания без приобретения скидки)
Метод скидки (обязательство или резервирование) применяет скидку к фиксированному количеству PTUS и имеет область, которая определяет, какие развертывания учитываются по скидке.
Тип скидки Доступные области (в пределах региона) Обязательство Ресурс Azure OpenAI Строка2 Группа ресурсов, отдельная подписка, группа управления (группа подписок), общая (все подписки в учетной записи выставления счетов) Скидка применяется к развернутой PTUS до количества скидок на скидку.
Количество развернутых ПТУ, превышающее скидку PTUs (или не охваченное какой-либо скидкой), взимается почасовая ставка.
Рекомендуется сначала создавать развертывания, а затем применять скидки. Это гарантирует, что эта служба. емкость доступна для поддержки развертываний до создания обязательств по PTUS, которые нельзя использовать.
Примечание.
При выполнении рекомендаций вы можете получать почасовую плату за период с момента создания развертывания и увеличить скидку (обязательство или резервирование).
По этой причине мы рекомендуем вам подготовиться к увеличению скидки сразу после развертывания. Предварительные требования для приобретения резервирований Azure отличаются от обязательств, и мы рекомендуем проверить их перед развертыванием, если вы планируете использовать их для скидки на развертывание. Дополнительные сведения см. в статье "Разрешения для просмотра резервирований Azure" и управления ими
Сопоставление развертываний с методом скидки
Клиенты, использующие Azure OpenAI, подготовленные до августа 2024 года, могут использовать либо обе модели оплаты одновременно в подписке. Модель оплаты, используемая для каждого развертывания, определяется на основе ресурса Azure OpenAI:
Ресурс имеет активное обязательство
- Обязательство скидывает все развертывания на ресурс до количества PTUS по обязательству. Любые лишние ПТП будут выставляться почасово.
Ресурс не имеет активного обязательства
- Развертывания в ресурсе могут быть скидываются резервированием Azure. Чтобы эти развертывания были скидываются, они должны существовать в пределах активного резервирования. Все развертывания в пределах резервирования (включая возможное развертывание на других ресурсах в той же или другой подписке) будут скидываться в виде группы до количества PTUS в резервировании. Любые лишние ПТП будут выставляться почасово.
Изменения существующего режима оплаты
Клиенты, имеющие обязательства сегодня, могут продолжать использовать их по крайней мере до конца 2024 года. К ним относятся приобретение новых ПТП на новых или существующих обязательствах и управление поведением продления обязательств. Однако обновление в августе изменило некоторые аспекты операции обязательств.
Только модели, выпущенные как подготовленные до 1 августа 2024 г. или до развертывания на ресурсе с обязательством.
Если развернутые PTUs в рамках обязательства превышают зафиксированные ПТУ, плата за почасовую переборку будет выдаваться в отношении того же почасового счетчика, что и для новой модели оплаты почасового или резервирования. Это позволяет скидывать расходы на переборы с помощью резервирования Azure.
Можно развернуть больше PTUS, чем зафиксировано в ресурсе. Это поддерживает возможность гарантировать доступность емкости перед увеличением размера обязательств, чтобы покрыть ее.
Перенос существующих ресурсов с обязательств
Существующие клиенты могут перенести существующие ресурсы из обязательства в модель оплаты почасового или резервирования, чтобы воспользоваться возможностью развертывания последних моделей или консолидировать скидки для различных развертываний в рамках одного резервирования.
Два подхода доступны для клиентов для переноса ресурсов с помощью модели обязательств в модель почасового или резервирования.
Самостоятельная миграция
Подход к самостоятельной миграции позволяет клиенту органически отключать свои обязательства, позволяя им истекать срок действия. Процесс переноса ресурса выглядит следующим образом:
Задайте существующее обязательство не автоматически и запишите дату окончания срока действия.
До истечения срока действия клиент должен приобрести резервирование Azure, охватывающее общее количество зафиксированных PTUS на подписку. Если существующее резервирование уже имеет подписку в своей области, ее можно увеличить, чтобы покрыть новые PTUS.
По истечении срока действия обязательства развертывания в ресурсе автоматически переключаются на режим почасового или резервирования с скидкой на использование резервирования.
Этот подход к самостоятельной миграции приведет к перекрытию, когда резервирование и обязательство являются активными. Это особенность этого режима миграции, а время резервирования или обязательства для этого перекрытия не будет возвращено клиенту.
Альтернативный подход к самостоятельной миграции заключается в переключении покупки резервирования после истечения срока действия обязательства. В этом подходе развертывания будут создавать почасовое использование за период между истечением срока действия обязательства и покупкой резервирования. Как и в предыдущей модели, это характерная особенность этого подхода, и это почасовое использование не будет кредитовано.
Преимущества самостоятельной миграции:
- Отдельные ресурсы можно перенести в разное время.
- Клиенты управляют миграцией без каких-либо зависимостей от Корпорации Майкрософт.
Недостатки самостоятельной миграции:
- Во время переключения на почасовую или почасовую оплату от фиксации на почасовую или резервную оплату.
Внимание
Оба подхода самообслуживания создают некоторые дополнительные расходы, так как режим оплаты переключается с "Зафиксировано на почасово" или "Резервирование". Это характеристики подходов к миграции, и клиенты не кредитуются за эти расходы. Клиенты могут использовать подход к управляемой миграции, описанный ниже, чтобы избежать их.
Управляемая миграция
Подход к управляемой миграции включает в себя партнерские отношения с корпорацией Майкрософт для массовой миграции всех обязательств PTU в подписке или регионе одновременно. Происходит это так:
- Клиент будет привлекать свою группу учетных записей и запрашивать управляемую миграцию. Владельцу миграции из команды Майкрософт будет назначена помощь клиенту с миграцией.
- Дата будет выбрана, когда все ресурсы в каждой из подписок и регионов клиентов, содержащих текущие обязательства PTU, будут перенесены из модели выставления счетов за час или резервирование. На одну дату можно перенести несколько подписок и регионов.
- По согласованной дате:
- Клиент приобретет региональные резервирования для покрытия зафиксированных ПТУ, которые будут преобразованы и передают сведения о резервировании в контакт с миграцией Майкрософт.
- В течение 2–3 рабочих дней все обязательства будут упреждающе отменены, а развертывания, ранее находящиеся в рамках обязательств, начнут использовать модель оплаты почасового или резервирования.
- В период выставления счетов после покупки резервирования клиент получит кредит на покупку резервирования, охватывающую части отмененных обязательств, начиная с момента покупки резервирования.
Клиенты должны обратиться к группам учетных записей, чтобы запланировать управляемую миграцию.
Преимущества управляемой миграции:
- Массовая миграция всех обязательств в подписке или регионе полезна для клиентов с множеством обязательств.
- Простая миграция затрат: нет возможности двойного выставления счетов или дополнительных почасовой оплаты.
Недостатки управляемой миграции:
- Все обязательства в подписке или регионе должны переноситься одновременно.
- Требуется координировать время миграции с командой Майкрософт.
Управление подготовленными обязательствами по пропускной способности
Подготовленные обязательства по пропускной способности создаются и управляются путем выбора центра управления в меню навигации портала Azure AI Foundry в меню> "Квота>управления квотами".
В представлении "Управление обязательствами " можно выполнить несколько действий.
- Приобретите новые обязательства или измените существующие обязательства.
- Отслеживайте все обязательства в подписке.
- Определите и примите меры по обязательствам, которые могут вызвать непредвиденные выставления счетов.
В следующих разделах описаны эти задачи.
Приобретение подготовленной пропускной способности
С готовым планом обязательств, следующим шагом является создание обязательств. Обязательства создаются вручную с помощью Azure AI Foundry и требуют от пользователя создания обязательства иметь роль участника или участника Cognitive Services на уровне подписки.
Для каждой новой обязательства, необходимой для создания, выполните следующие действия.
- Запустите диалоговое окно приобретения подготовленной пропускной способности, выбрав квоту> Azure OpenAI Provisioned>Manage Plans.
Выберите обязательство покупки.
Выберите ресурс Azure OpenAI и приобретите обязательство. Вы увидите ресурсы, разделенные на ресурсы с существующими обязательствами, которые можно редактировать и ресурсы, которые в настоящее время не имеют обязательств.
| Параметр | Примечания. |
|---|---|
| Выбор ресурса | Выберите ресурс, в котором будет создано подготовленное развертывание. После приобретения обязательства вы не сможете использовать PTUS на другом ресурсе до истечения срока действия текущего обязательства. |
| Выбор типа обязательства | Выберите Подготовлено. (Подготовлено эквивалентно подготовленному управляемому) |
| Текущая незафиксированная подготовленная квота | Количество ПТП, доступных в настоящее время для фиксации этого ресурса. |
| Сумма фиксации (PTU) | Выберите количество ПТП, к которые вы фиксируете. Это число может быть увеличено в течение срока обязательств, но не может быть уменьшено. Введите значения приращения 50 для типа обязательства Provisioned. |
| Уровень обязательств за текущий период | Срок обязательств равен одному месяцу. |
| Параметры продления | Автоматическое обновление в текущих PTUs Авторенеть на более низких ПТУ Не перенастройте автоматическое обновление |
- Щелкните Приобрести. Откроется диалоговое окно подтверждения. После подтверждения PTUs будет зафиксирован, и их можно использовать для создания подготовленного развертывания. |
Внимание
За весь срок выставляется счет за новое обязательство. Если для параметров продления задано автоматическое продление, вы будете выставлены счета снова по каждой дате продления на основе параметров продления.
Изменение существующей подготовленной пропускной способности
В представлении "Управление обязательствами " можно также изменить существующее обязательство. Существует два типа изменений, которые можно внести в существующее обязательство:
- Вы можете добавить PTUS в обязательство.
- Параметры продления можно изменить.
Чтобы изменить обязательство, выберите текущий для изменения, а затем нажмите кнопку "Изменить обязательство".
Добавление подготовленных единиц пропускной способности в существующие обязательства
Добавление PTUs в существующее обязательство позволит создавать более крупные или более многочисленные развертывания в ресурсе. Это можно сделать в любое время в течение срока вашего обязательства.
Внимание
При добавлении PTUS в обязательство они будут выставляться немедленно по тарифу с текущей даты до конца существующего срока обязательства. Добавление PTUS не сбрасывает срок обязательства.
Изменение параметров продления
Параметры продления обязательств можно изменить в любое время до истечения срока действия вашего обязательства. Причины, по которым может потребоваться изменить параметры продления, включают прекращение использования подготовленной пропускной способности путем установки обязательства не автоматического восстановления или уменьшения использования подготовленной пропускной способности, уменьшая количество ПТП, которые будут зафиксированы в следующем периоде.
Внимание
Если вы разрешаете истечение срока действия или уменьшение размера, чтобы развертывания в ресурсе требовали больше PTUS, чем у вас есть в обязательстве по ресурсам, вы получите почасовую плату за превышение ПТУ. Например, ресурс с развертываниями, в общей сложности 500 ПТП и обязательство по 300 ПТУ будет создавать почасовые расходы за 200 ПТП.
Мониторинг обязательств и предотвращение непредвиденных выставления счетов
Область управления обязательствами предоставляет широкий обзор всех ресурсов с обязательствами и использованием PTU в данной подписке Azure. В частности, важно:
- PTUs Committed, Deployed and Usage — эти цифры предоставляют размеры ваших обязательств и сколько используется в развертываниях. Максимальное увеличение инвестиций с помощью всех выделенных ПТП.
- Политика окончания срока действия и дата — дата окончания срока действия и политика сообщают вам, когда срок действия обязательства истекает, и что произойдет при выполнении. Для автоматического обновления будет создано событие выставления счетов по дате продления. Для обязательств, истекающих срок действия, убедитесь, что вы удаляете развертывания из этих ресурсов до даты окончания срока действия, чтобы предотвратить почасовое выставление счетов в текущих параметрах продления для обязательства.
- Уведомления — оповещения относительно важных условий, таких как неиспользуемые обязательства, и конфигурации, которые могут привести к превышению счетов. Превышение счетов может быть вызвано такими ситуациями, как срок действия обязательства и развертывание по-прежнему присутствуют, но перемещены на почасовую выставление счетов.
Распространенные сценарии управления обязательствами
Прекращение использования подготовленной пропускной способности
Чтобы завершить использование подготовленной пропускной способности и предотвратить почасовое превышение расходов после истечения срока действия обязательств, остановите все расходы после истечения срока действия текущих обязательств, необходимо выполнить два шага:
- Задайте политику продления для всех обязательств, чтобы не выполнять автоматическое восстановление.
- Удалите подготовленные развертывания с помощью квоты.
Перемещение обязательства или развертывания в новый ресурс в той же подписке или регионе
В Azure AI Foundry невозможно напрямую переместить развертывание или обязательство к новому ресурсу. Вместо этого необходимо создать новое развертывание на целевом ресурсе и трафике, перемещенном в него. Для этого необходимо будет приобрести обязательство, приобретенное на новом ресурсе. Поскольку обязательства взимается заранее за 30-дневный период, необходимо время этого шага с истечением срока действия первоначальной обязательства, чтобы свести к минимуму перекрытие с новым обязательством и "двойным выставлением счетов" во время перекрытия.
Существует два подхода, которые можно использовать для реализации этого перехода.
Вариант 1. Переключение без перекрытия
Этот параметр требует некоторого простоя, но не требует дополнительной квоты и не создает дополнительных затрат.
| Шаги | Примечания. |
|---|---|
| Задайте политику продления для существующего обязательства, срок действия которого истекает | Это позволит предотвратить продление и создание дополнительных расходов на обязательство |
| Перед истечением срока действия существующего обязательства удалите его развертывание | Время простоя начнется на этом этапе и будет длиться до создания нового развертывания и перемещения трафика. Вы свести к минимуму длительность, за счет того, что удаление будет происходить как можно ближе к дате и времени окончания срока действия. |
| После истечения срока действия существующего обязательства создайте обязательство по новому ресурсу. | Свести к минимуму время простоя, выполнив этот и следующий шаг как можно скорее после истечения срока действия. |
| Создайте развертывание на новом ресурсе и переместите трафик на него |
Вариант 2. Перекрытие переключения
Этот параметр не имеет времени простоя, имея как существующие, так и новые развертывания одновременно. Для этого требуется наличие квоты для создания нового развертывания и создание дополнительных затрат на время перекрывающихся развертываний.
| Шаги | Примечания. |
|---|---|
| Задайте политику продления для существующего обязательства, срок действия которого истекает | Это позволяет предотвратить продление и создание дополнительных расходов. |
| До истечения срока действия существующего обязательства: 1. Создайте обязательство по новому ресурсу. 2. Создайте новое развертывание. 3. Переключение трафика 4. Удаление существующего развертывания |
Убедитесь, что вы оставьте достаточно времени для всех шагов до истечения срока действия существующего обязательства, в противном случае плата за превышение расходов будет создана (см. следующий раздел) для параметров. |
Если последний шаг занимает больше времени, чем ожидалось, и завершится после истечения срока действия существующего обязательства, существует три варианта, чтобы свести к минимуму расходы на превышение.
- Время простоя: удалите исходное развертывание, а затем завершите перемещение.
- Оплата почасовой оплаты: сохраните исходное развертывание и платите почасовой оплаты, пока не переместите трафик и не удалили развертывание.
- Сбросьте исходное обязательство на продление еще раз. Это даст вам время для завершения перемещения с известной стоимостью.
Плата за превышение и сброс исходного обязательства приведет к возникновению расходов за пределами исходной даты окончания срока действия. Плата за превышение расходов может быть дешевле, чем новое одномесячное обязательство, если вам потребуется только день или два для завершения перемещения. Сравните затраты обоих вариантов, чтобы найти подход с наименьшей стоимостью.
Перемещение развертывания в новый регион и подписку
Те же подходы применяются при перемещении обязательств и развертывания в регионе, за исключением того, что наличие доступной квоты в новом расположении потребуется во всех случаях.
Просмотр и изменение существующего ресурса
В Azure AI Foundry выберите обязательства по управлению квотами>центра>управления и>выберите ресурс с существующим обязательством по просмотру и изменению.