Планирование управления затратами на вывод модели в службах ИИ Azure
В этой статье описывается, как спланировать затраты на вывод модели и управлять ими в Службах искусственного интеллекта Azure. После начала использования вывода модели в ресурсах Служб искусственного интеллекта Azure используйте функции управления затратами, чтобы задать бюджеты и отслеживать затраты.
Хотя эта статья посвящена планированию и управлению затратами на вывод моделей в службах ИИ Azure, вы оплачиваете все службы и ресурсы Azure, используемые в подписке Azure.
Необходимые компоненты
- Анализ затрат в службе управления затратами поддерживает большинство типов учетных записей Azure, но не все. Полный список поддерживаемых типов учетных записей см. в статье Understand Cost Management data (Интерпретация данных службы "Управление затратами").
- Чтобы просмотреть данные о затратах, для учетной записи Azure нужен как минимум доступ на чтение. Сведения о назначении доступа к данным управления затратами см. в разделе "Назначение доступа к данным".
Общие сведения о модели выставления счетов для вывода моделей
Модели, развернутые в службах ИИ Azure, взимается за 1000 токенов. Языковые модели понимают и обрабатывают текст, разбивая его на маркеры. Каждая типичная лексема на английском языке содержит примерно четыре символа. Затраты на токен зависят от выбранного ряда моделей. Модели, которые также могут обрабатывать изображения в маркерах. Количество маркеров на изображение зависит от модели и разрешения входного изображения.
Плата за использование лексем взимается как за входные, так и за выходные данные. Например, предположим, что у вас есть пример кода JavaScript с 1000 маркером, который требуется преобразовать модель в Python. Вы будете взиматься примерно 1000 маркеров для первоначального запроса ввода, а 1000 дополнительных маркеров для выходных данных, полученных в ответ на общей сложности 2000 маркеров.
На практике для этого типа вызова завершения входные и выходные данные маркера не будут идеально 1:1. Преобразование из одного языка программирования в другой может привести к более длительным или коротким выходным данным в зависимости от многих факторов. Одним из таких факторов является значение, назначенное параметру max_tokens .
Разбиение стоимости
Чтобы понять разбивку того, что составляет стоимость, можно использовать средство анализа затрат в портал Azure. Выполните следующие действия, чтобы понять стоимость вывода:
Перейдите на портал Azure AI Foundry.
В правом верхнем углу экрана выберите имя ресурса Служб искусственного интеллекта Azure или, если вы работаете над проектом ИИ, в имени проекта.
Выберите имя проекта. портал Azure откроется в новом окне.
В разделе "Управление затратами" выберите "Анализ затрат"
По умолчанию анализ затрат ограничивается выбранной группой ресурсов.
Внимание
Важно определить область "Анализ затрат" в группе ресурсов, в которой развернут ресурс Служб искусственного интеллекта Azure. Счетчики затрат, связанные с некоторыми поставщиками моделей поставщика, например Mistral AI или Cohere, отображаются в группе ресурсов вместо ресурса Служб искусственного интеллекта Azure.
Измените группу по счетчику. Теперь можно увидеть, что для конкретной группы ресурсов источник затрат поступает из различных рядов моделей.
В следующих разделах подробно описаны записи.
Модели Azure OpenAI и Майкрософт
Плата за Azure OpenAI и семейство моделей Майкрософт (например, Phi) взимается напрямую, и они отображаются в качестве счетчиков выставления счетов в рамках каждого ресурса служб искусственного интеллекта Azure. Это выставление счетов происходит непосредственно через корпорацию Майкрософт. При проверке счета вы заметите счетчики выставления счетов за входные и выходные данные для каждой используемой модели.
Модели поставщика
Модели, предоставляемые другим поставщиком, например Mistral AI, Cohere, Meta AI или AI21 Labs, оплачиваются с помощью Azure Marketplace. В отличие от счетчиков выставления счетов Майкрософт, эти записи связаны с группой ресурсов, в которой службы ИИ Azure развертываются вместо самого ресурса служб ИИ Azure. В разделе "Имя службы SaaS"отображаются записи для входных и выходных данных для каждой используемой модели.
Использование предварительной оплаты Azure
Вы можете оплатить расходы на Azure OpenAI и модели Майкрософт с помощью кредита на предоплату Azure. Однако вы не можете использовать кредит на предоплату Azure для оплаты за другие модели поставщиков, учитывая, что они выставляются через Azure Marketplace.
Код ответа на ошибки HTTP и состояние выставления счетов
Если служба выполняет обработку, плата взимается даже в том случае, если код состояния не выполнен (не 200). Например, ошибка 400 из-за фильтра содержимого или ограничения ввода или ошибки 408 из-за времени ожидания.
Если служба не выполняет обработку, плата не взимается. Например, ошибка 401 из-за проверки подлинности или ошибки 429 из-за превышения предела скорости.
Другие затраты
Включение таких возможностей, как отправка данных в журналы Azure Monitor и оповещение, влечет за собой дополнительные затраты на эти службы. Эти затраты отображаются под другими службами и на уровне подписки, но не отображаются, если они находятся только в ресурсе служб искусственного интеллекта Azure.
Мониторинг затрат
Затраты на единицу использования ресурсов Azure зависят от интервалов времени, таких как секунды, минуты, часы и дни, или по единицам использования, например байтам и мегабайтам. Как только службы искусственного интеллекта Azure начинают использовать, затраты могут возникнуть, и вы можете увидеть затраты в анализе затрат.
Более подробные сведения о выставлении счетов можно получить с помощью анализа затрат:
Чтобы понять разбивку того, что составляет эти затраты, можно использовать средство анализа затрат в портал Azure.
Перейдите на портал Azure AI Foundry.
В правом верхнем углу экрана выберите имя ресурса Служб искусственного интеллекта Azure или, если вы работаете над проектом ИИ, в имени проекта.
Выберите имя проекта. портал Azure откроется в новом окне.
В разделе "Управление затратами" выберите "Анализ затрат"
По умолчанию анализ затрат ограничивается выбранной группой ресурсов.
Так как мы видим стоимость всей группы ресурсов, полезно увидеть затраты по ресурсу. В этом случае выберите "Просмотреть>затраты по ресурсу".
Теперь вы увидите ресурсы, создаваемые каждым из счетчиков выставления счетов.
Модели Azure OpenAI и модели Майкрософт, как описано ранее, отображаются в виде метров в каждом ресурсе служб искусственного интеллекта Azure:
Некоторые модели поставщиков отображаются как метры в глобальных ресурсах. Обратите внимание, что слово Globalне связано с номером SKU развертывания модели (например, global standard). Если у вас несколько ресурсов служб ИИ Azure, счет содержит одну запись для каждой модели для каждого ресурса служб ИИ Azure. Счетчики ресурсов имеют формат [имя модели]-[GUID], где [GUID] является уникальным идентификатором, связанным с заданным ресурсом служб искусственного интеллекта Azure. Вы заметите счетчики выставления счетов за входные и выходные данные для каждой используемой модели.
Важно понимать область при оценке затрат, связанных со службами ИИ Azure. Если ресурсы являются частью той же группы ресурсов, вы можете определить влияние на затраты на анализ затрат. Если ресурсы распределяются по нескольким группам ресурсов, можно задать область действия на уровне подписки.
Создание бюджетов
Вы можете создать бюджеты для управления затратами и создания оповещений , которые уведомляют заинтересованных лиц о аномалиях и избыточных рисках. Оповещения основываются на расходах по сравнению с пороговыми значениями бюджета и затрат. Вы создаете бюджеты и оповещения для подписок и групп ресурсов Azure. Они полезны в рамках общей стратегии мониторинга затрат.
Вы можете создавать бюджеты с фильтрами для определенных ресурсов или служб в Azure, если требуется более детальное представление в мониторинге. Фильтры помогают предотвратить случайное создание новых ресурсов, позволяя избежать дополнительных затрат. Дополнительные сведения о параметрах фильтра при создании бюджета см. в разделе Параметры группы и фильтра.
Экспорт данных о затратах
Вы также можете экспортировать данные о затратах в учетную запись хранения, что полезно, если вам нужны другие пользователи, чтобы выполнить дополнительный анализ данных за затраты. Например, специалисты по финансам могут анализировать данные с помощью Excel или Power BI. Можно экспортировать данные о затратах ежедневно, еженедельно или ежемесячно и задать настраиваемый диапазон дат. Мы рекомендуем экспортировать данные затрат в качестве способа получения наборов данных затрат.
Следующие шаги
- Узнайте , как оптимизировать инвестиции в облако с помощью управления затратами.
- Ознакомьтесь с дополнительными сведениями об управлении затратами с помощью анализа затрат.
- Узнайте, как предотвратить непредвиденные затраты.
- Пройдите интерактивный курс обучения по управлению затратами.