Planeamiento para administrar los costos de Azure OpenAI Service

En este artículo se describe cómo puede planear y administrar los costos de Azure OpenAI Service. Antes de implementar el servicio, puede usar la calculadora de precios de Azure para calcular los costos de Azure OpenAI. Más adelante, cuando implemente los recursos de Azure, revise los costos estimados. Después de comenzar a usar los recursos de Azure OpenAI, utilice las características de Cost Management para establecer presupuestos y supervisar los costos.

También puede revisar los costos previstos e identificar las tendencias de gasto para identificar las áreas en las que podría querer actuar. Los costos de Azure OpenAI Service son solo una parte de los costos mensuales de la factura de Azure. Aunque en este artículo se explica cómo planear y administrar los costos de Azure OpenAI, se le facturarán todos los servicios y recursos de Azure que use en su suscripción de Azure, incluidos los servicios de terceros.

Requisitos previos

El análisis de costos de Cost Management admite la mayoría de los tipos de cuenta de Azure, pero no todos. Para ver la lista completa de tipos de cuenta compatibles, consulte Understand Cost Management data (Información sobre los datos de Cost Management). Para ver los datos de costos, se necesita al menos acceso de lectura en la cuenta de Azure. Para más información acerca de cómo asignar acceso a los datos de Azure Cost Management, consulte Asignación de acceso a los datos.

Estimación de los costes antes de usar Azure OpenAI

Use la Calculadora de precios de Azure para estimar los costos de usar Azure OpenAI.

Descripción del modelo de facturación completa de Azure OpenAI

Azure OpenAI Service se ejecuta en la infraestructura de Azure, que genera costos cuando implementa recursos nuevos. Podría haber otros costos de infraestructura que podrían acumularse. En las secciones siguientes se describe cómo se le cobra por el servicio Azure OpenAI.

Modelos de series base y Codex

Los modelos de la serie base de Azure OpenAI y de la serie Codex se cobran por cada 1 000 tokens. Los costos varían según la serie de modelos que elija: Ada, Babbage, Curie, Davinci o Code-Cushman.

Los modelos Azure OpenAI entienden y procesan el texto dividiéndolo en tokens. Por referencia, cada token tiene aproximadamente cuatro caracteres para el texto en inglés típico.

Los costos de los tokens son para la entrada y la salida. Por ejemplo, supongamos que tiene una muestra de código JavaScript de 1.000 tokens que pide a un modelo Azure OpenAI que convierta a Python. Se le cobrarán aproximadamente 1000 tokens por la solicitud de entrada inicial enviada y 1000 tokens más por la salida que se recibe en respuesta, un total de 2000 tokens.

En la práctica, para este tipo de llamada de finalización, la entrada y salida de tokens no sería perfectamente 1:1. Una conversión de un lenguaje de programación a otro podría dar lugar a una salida más larga o más corta en función de muchos factores. Uno de estos factores es el valor asignado al max_tokens parámetro .

Modelos ajustados de la serie Codex y base

Los modelos ajustados de Azure OpenAI se cobran en función de tres factores:

• Horas de entrenamiento
• Horas de hospedaje
• Inferencia por 1 000 tokens

Es importante tener en cuenta el costo de las horas de alojamiento, ya que una vez que se implementa un modelo ajustado, sigue incurriendo en un costo por hora, independientemente de si lo está usando activamente. Supervise estrechamente los costos del modelo ajustados.

Importante

Después de implementar un modelo personalizado, si en cualquier momento la implementación permanece inactiva durante más de quince (15) días, la implementación se eliminará automáticamente. La implementación de un modelo personalizado es inactivasi el modelo se ha implementado hace más de quince (15) días y no se han realizado finalizaciones ni llamadas de finalización de chat durante un período continuo de 15 días.

La eliminación de una implementación inactiva no elimina ni afecta al modelo personalizado subyacente, y el modelo personalizado se puede volver a implementar en cualquier momento.

Cada modelo personalizado (ajustado) implementado incurre en un costo de hospedaje por hora, independientemente de si se realizan finalizaciones o llamadas de finalizaciones de chat al modelo. .

Otros costos que pueden generarse con Azure OpenAI Service

La habilitación de funcionalidades como el envío de datos a los registros de Azure Monitor y las alertas conllevan costos adicionales para esos servicios. Estos costos son visibles en esos otros servicios y en el nivel de suscripción, pero no son visibles cuando se limita al recurso de Azure OpenAI.

Uso del pago por adelantado de Azure con Azure OpenAI Service

Puede pagar los cargos de Azure OpenAI Service con el crédito del pago por adelantado de Azure. Sin embargo, no puede usar el crédito de pago por adelantado de Azure para pagar los gastos de productos y servicios de terceros, incluidos los productos y servicios que se encuentran en Azure Marketplace.

Código de respuesta de error HTTP y estado de facturación en Azure OpenAI Service

Si el servicio realiza el procesamiento, se le cobrará incluso si el código de estado no es correcto (no 200). Por ejemplo, un error 400 debido a un filtro de contenido o un límite de entrada, o un error 408 debido a un tiempo de espera.

Si el servicio no realiza el procesamiento, no se le cobrará. Por ejemplo, un error 401 debido a la autenticación o un error 429 debido a superar el límite de velocidad.

Supervisión de costos

A medida que se usan recursos con Azure OpenAI, se incurre en costos. Los costos de unidad de uso de recursos de Azure varían por intervalos de tiempo, como segundos, minutos, horas y días, o por unidades de uso, como bytes y megabytes. En cuanto se inicia el uso de Azure OpenAI, se puede generar costos, que se pueden ver en el análisis de costos.

Al usar el análisis de costos, puede ver los costos de Azure OpenAI en gráficos y tablas para diferentes intervalos de tiempo. Algunos ejemplos son: por día, mes actual y anterior y año. También puede ver los costos comparados con los presupuestos y los costos previstos. Con el tiempo, cambiar a vistas más largas puede ayudarle a identificar las tendencias de gasto Puede ver dónde se han producido gastos excesivos. Si ha creado presupuestos, también podrá ver fácilmente dónde se han excedido.

Para ver los costos de Azure OpenAI en el análisis de costos:

1. Inicie sesión en Azure Portal.
2. Seleccione uno de sus recursos Azure OpenAI.
3. En Administración de recursos seleccione Análisis de costos
4. De manera predeterminada, el análisis de costos se limita al recurso individual de Azure OpenAI.

Para entender el desglose de lo que compone ese costo, puede ayudar modificar Agrupar por a Medidor y en este caso cambiar el tipo de gráfico a Línea. Ahora puede ver que, para este recurso en concreto, el origen de los costos procede de tres series de modelos diferentes, con tokens Text-Davinci representando la mayor parte de los costos.

Es importante comprender el ámbito al evaluar los costos asociados a Azure OpenAI. Si los recursos forman parte del mismo grupo de recursos, puede definir el ámbito análisis de costos en ese nivel para comprender el efecto en los costos. Si los recursos se distribuyen entre varios grupos de recursos, puede establecer el ámbito en el nivel de suscripción.

Cuando el ámbito es de un nivel superior, a menudo es necesario agregar más filtros para centrarse en el uso de Azure OpenAI. Cuando el ámbito es el nivel de suscripción, verá muchos otros recursos que quizás no le interesen en el contexto de la administración de costos de Azure OpenAI. A la hora de establecer el ámbito a nivel de suscripción, le recomendamos que navegue hasta la herramienta completa de Análisis de costos del servicio de Cost Management.

Este es un ejemplo de cómo usar la herramienta de análisis de costos para ver los costos acumulados de una suscripción o un grupo de recursos:

1. Busque Cost Management en la barra de búsqueda superior de Azure para ir a la experiencia de servicio completa, que incluye más opciones, como la creación de presupuestos.
2. Si es necesario, seleccione Cambiar si el ámbito: no apunta al grupo de recursos o a la suscripción que desea analizar.
3. A la izquierda, seleccione Informes y análisis> Análisis de costos.
4. En la pestaña Todas las vistas, seleccione Costos acumulados.

El panel de análisis de costos muestra los costos acumulados que se analizan en función de lo que haya especificado para Ámbito.

Si intenta agregar un filtro por servicio, verá que no puede encontrar Azure OpenAI en la lista. Esta situación se produce porque Azure OpenAI tiene una comúnidad con un subconjunto de servicios de Azure AI donde el filtro de nivel de servicio es Cognitive Services. Si desea ver todos los recursos de Azure OpenAI en una suscripción sin ningún otro tipo de recursos de servicios de Azure AI, en su lugar el ámbito del nivel de servicio: Azure OpenAI:

Creación de presupuestos

Puede crear presupuestos para administrar los costos y crear alertas que notifiquen a las partes interesadas las anomalías en el gasto y los riesgos de exceso de gasto. Las alertas se basan en el gasto comparado con los umbrales de presupuesto y costo. Puede crear presupuestos y alertas para suscripciones y grupos de recursos de Azure. Son útiles como parte de una estrategia general de supervisión de costos.

Puede crear presupuestos con filtros para recursos o servicios de Azure específicos si quiere más detalle en la supervisión. Los filtros ayudan a garantizar que no se crean accidentalmente recursos, que suponen un mayor costo. Para más información sobre las opciones de filtro disponibles al crear un presupuesto, consulte Opciones de agrupación y filtrado.

Importante

Mientras que OpenAI tiene una opción para límites estrictos que le impedirán sobrepasar su presupuesto, Azure OpenAI no proporciona actualmente esta funcionalidad. Puede poner en marcha la automatización desde los grupos de acción como parte de sus notificaciones de presupuesto para realizar acciones más avanzadas, pero esto requiere un desarrollo personalizado adicional por su parte.

Exportación de datos de costos

También puede exportar los datos de costos a una cuenta de almacenamiento, lo que resulta útil cuando necesita que otros usuarios realicen análisis de datos adicionales para los costos. Por ejemplo, un equipo de finanzas puede analizar los datos con Excel o Power BI. Puede exportar los costos en una programación diaria, semanal o mensual y establecer un intervalo de fechas personalizado. Se recomienda exportar datos de costos como la manera de recuperar conjuntos de datos de costos.

Pasos siguientes

• Aprenda a optimizar su inversión en la nube con Azure Cost Management.
• Obtenga más información sobre la administración de costos con los análisis de costos.
• Obtenga información sobre cómo evitar los costos inesperados.
• Haga el curso de aprendizaje guiado sobre Cost Management.