Plan para administrar los costos para la inferencia del modelo en los servicios de Azure AI
En este artículo se describe cómo puede planear y administrar los costos de la inferencia del modelo en los servicios de Azure AI. Después de empezar a usar la inferencia del modelo en los recursos de los servicios de Azure AI, use características de Cost Management para establecer presupuestos y supervisar los costos.
Aunque en este artículo se explica cómo planear y administrar los costos de la inferencia del modelo en los servicios de Azure AI, se le facturan todos los servicios y recursos de Azure que se usan en la suscripción de Azure.
Requisitos previos
- El análisis de costos de Cost Management admite la mayoría de los tipos de cuenta de Azure, pero no todos. Para ver la lista completa de tipos de cuenta compatibles, consulte Understand Cost Management data (Información sobre los datos de Cost Management).
- Para ver los datos de costos se necesita al menos acceso de lectura en la cuenta de Azure. Para más información acerca de la asignación de acceso a los datos de Cost Management, consulte Asignación del acceso a los datos.
Descripción del modelo de facturación de la inferencia del modelo
Los modelos implementados en los servicios de Azure AI se cobran por cada 1000 tokens. Los modelos de lenguaje entienden y procesan el texto dividiendo el texto en tokens. Por referencia, cada token tiene aproximadamente cuatro caracteres para el texto en inglés típico. Los costos por token varían en función de la serie de modelos que elija. Los modelos que también pueden procesar imágenes desglosan las imágenes en tokens. El número de tokens por imagen depende del modelo y de la resolución de la imagen de entrada.
Los costos de los tokens son para la entrada y la salida. Por ejemplo, supongamos que tiene una muestra de código JavaScript de 1.000 tokens que pide a un modelo que convierta a Python. Se le cobrarán aproximadamente 1000 tokens por la solicitud de entrada inicial enviada y 1000 tokens más por la salida que se recibe en respuesta, un total de 2000 tokens.
En la práctica, para este tipo de llamada de finalización, la entrada y salida de tokens no sería perfectamente 1:1. Una conversión de un lenguaje de programación a otro podría dar lugar a una salida más larga o más corta en función de muchos factores. Uno de estos factores es el valor asignado al max_tokens parámetro .
Desglose del costo
Para comprender el desglose de lo que constituye el costo, puede resultar útil usar la herramienta Análisis de costos en Azure Portal. Siga estos pasos para comprender el costo de la inferencia:
Visite el Portal de la Fundición de IA de Azure.
En la esquina superior derecha de la pantalla, seleccione el nombre del recurso de los servicios de Azure AI o, si está trabajando en un proyecto de IA, en el nombre del proyecto.
Seleccione el nombre del proyecto. Azure Portal se abre en una nueva ventana.
En Cost Management, seleccione Análisis de costos
De manera predeterminada, el análisis de costos se limita al grupo de recursos seleccionado.
Importante
Es importante limitar el Análisis de costos al grupo de recursos donde se implementa el recurso de los servicios de Azure AI. Los medidores de costos asociados a algunos proveedores del modelo de proveedor, como la IA de Mistral o Cohere, se muestran bajo el grupo de recursos en lugar del recurso de los servicios de Azure AI.
Modifique Agrupar por a Medidor. Ahora puede ver que, para este grupo de recursos concreto, el origen de los costos procede de diferentes series de modelos.
En las secciones siguientes se explican las entradas en detalle.
Modelos de Azure OpenAI y Microsoft
Los modelos de la familia de modelos de Azure OpenAI y Microsoft (como Phi) se cobran directamente y se muestran como medidores de facturación en cada recurso de los servicios de Azure AI. Esta facturación se realiza directamente a través de Microsoft. Al inspeccionar la factura, observará que los medidores de facturación tienen en cuenta las entradas y salidas de cada modelo consumido.
Modelos de proveedor
Los modelos proporcionados por otro proveedor, como IA de Mistral, Cohere, IA de Meta o AI21 Labs, se facturan mediante Azure Marketplace. Al contrario que los medidores de facturación de Microsoft, esas entradas están asociadas al grupo de recursos donde se implementan los servicios de Azure AI en lugar de en el propio recurso de los servicios de Azure AI. Verá entradas bajo el Nombre de ServicioSaaS que contabilizan entradas y salidas para cada modelo consumido.
Uso del pago por adelantado de Azure
Puede pagar los cargos de los modelos de Azure OpenAI y Microsoft con el crédito de pago por adelantado de Azure. Sin embargo, no puede usar el crédito de pago por adelantado de Azure para pagar los cargos de otros modelos de proveedor, dado que se facturan a través de Azure Marketplace.
Código de respuesta de error HTTP y estado de facturación
Si el servicio realiza el procesamiento, se le cobrará aunque el código de estado no sea correcto (no 200). Por ejemplo, un error 400 debido a un filtro de contenido o un límite de entrada, o un error 408 debido a un tiempo de espera.
Si el servicio no realiza el procesamiento, no se le cobrará. Por ejemplo, un error 401 debido a la autenticación o un error 429 debido a superar el límite de velocidad.
Otros costos
La habilitación de funcionalidades como el envío de datos a los registros de Azure Monitor y las alertas conllevan costos adicionales para esos servicios. Estos costos son visibles en esos otros servicios y en el nivel de suscripción, pero no son visibles cuando se limita al recurso de los servicios de Azure AI.
Supervisión de costos
Los costos de unidad de uso de recursos de Azure varían por intervalos de tiempo, como segundos, minutos, horas y días, o por unidades de uso, como bytes y megabytes. En cuanto se inicia el uso de los servicios de Azure AI, se puede generar costos, que se pueden ver en el análisis de costos.
Puede obtener información de facturación más detallada mediante el Análisis de costos:
Para comprender el desglose de lo que constituye ese costo, puede resultar útil usar la herramienta Análisis de costos en Azure Portal.
Visite el Portal de la Fundición de IA de Azure.
En la esquina superior derecha de la pantalla, seleccione el nombre del recurso de los servicios de Azure AI o, si está trabajando en un proyecto de IA, en el nombre del proyecto.
Seleccione el nombre del proyecto. Azure Portal se abre en una nueva ventana.
En Cost Management, seleccione Análisis de costos
De manera predeterminada, el análisis de costos se limita al grupo de recursos que ha seleccionado.
Dado que vemos el costo de todos los grupos de recursos, resulta útil ver el costo por recurso. En ese caso, seleccione Ver>Costo por recurso.
Ahora puede ver los recursos que generan cada uno de los medidores de facturación.
Los modelos de Azure OpenAI y los modelos de Microsoft, como se explicó antes, se muestran como medidores en cada recurso de los servicios de Azure AI:
Algunos modelos de proveedores se muestran como medidores en Recursos globales. Tenga en cuenta que la palabra globalesno está relacionada con la SKU de la implementación de modelo (por ejemplo, Estándar global). Si tiene varios recursos de los servicios de Azure AI, la factura contiene una entrada para cada modelo para cada recurso de los servicios de Azure AI. Los medidores de recursos tienen el formato [nombre-modelo]-[GUID] donde [GUID] es un identificador único asociado a un recurso determinado de los servicios de Azure AI. Observa que los medidores de facturación tienen en cuenta las entradas y salidas de cada modelo que ha consumido.
Es importante comprender el ámbito al evaluar los costos asociados a los servicios de Azure AI. Si los recursos forman parte del mismo grupo de recursos, puede definir el ámbito análisis de costos en ese nivel para comprender el efecto en los costos. Si los recursos se distribuyen entre varios grupos de recursos, puede establecer el ámbito en el nivel de suscripción.
Creación de presupuestos
Puede crear presupuestos para administrar los costos y crear alertas que notifiquen a las partes interesadas las anomalías en el gasto y los riesgos de exceso de gasto. Las alertas se basan en el gasto comparado con los umbrales de presupuesto y costo. Puede crear presupuestos y alertas para suscripciones y grupos de recursos de Azure. Son útiles como parte de una estrategia general de supervisión de costos.
Puede crear presupuestos con filtros para recursos o servicios de Azure específicos si quiere más detalle en la supervisión. Los filtros ayudan a garantizar que no se crean accidentalmente recursos, que suponen un mayor costo. Para más información sobre las opciones de filtro disponibles al crear un presupuesto, consulte Opciones de agrupación y filtrado.
Exportación de datos de costos
También puede exportar los datos de costos a una cuenta de almacenamiento, lo que resulta útil cuando necesita que otros usuarios realicen análisis de datos adicionales para los costos. Por ejemplo, un equipo de finanzas puede analizar los datos con Excel o Power BI. Puede exportar los costos en una programación diaria, semanal o mensual y establecer un intervalo de fechas personalizado. Se recomienda exportar datos de costos como la manera de recuperar conjuntos de datos de costos.
Pasos siguientes
- Obtener más información sobre cómo optimizar la inversión en la nube con Cost Management.
- Obtenga más información sobre la administración de costos con los análisis de costos.
- Obtenga información sobre cómo evitar los costos inesperados.
- Haga el curso de aprendizaje guiado sobre Cost Management.