Planear a gestão dos custos do Azure OpenAI Service

Este artigo descreve como você pode planejar e gerenciar custos para o Serviço OpenAI do Azure. Antes de implantar o serviço, use a calculadora de preços do Azure para estimar os custos do Azure OpenAI. Mais tarde, à medida que você implanta recursos do Azure, revise os custos estimados. Depois de começar a usar os recursos do Azure OpenAI, use os recursos de Gerenciamento de Custos para definir orçamentos e monitorar custos.

Você também pode revisar os custos previstos e identificar tendências de gastos para identificar áreas em que você pode querer agir. Os custos do Serviço OpenAI do Azure são apenas uma parte dos custos mensais na sua fatura do Azure. Embora este artigo seja sobre planejamento e gerenciamento de custos para o Azure OpenAI, você é cobrado por todos os serviços e recursos do Azure usados em sua assinatura do Azure, incluindo os serviços de terceiros.

Pré-requisitos

A análise de custos no Gerenciamento de Custos dá suporte à maioria dos tipos de conta do Azure, mas não a todos. Para ver a lista completa dos tipos de contas suportados, consulte Compreender os dados do Cost Management. Para exibir dados de custo, você precisa de pelo menos acesso de leitura para uma conta do Azure. Para obter informações sobre como atribuir acesso a dados do Microsoft Cost Management, consulte Atribuir acesso a dados.

Estimar custos antes de usar o Azure OpenAI

Use a calculadora de preços do Azure para estimar os custos de usar o Azure OpenAI.

Compreender o modelo de faturação completo do Azure OpenAI

O Serviço OpenAI do Azure é executado na infraestrutura do Azure que acumula custos quando você implanta novos recursos. Poderão surgir outros custos de infraestrutura. As seções a seguir descrevem como você é cobrado pelo Serviço OpenAI do Azure.

Conclusão do bate-papo de inferência de modelo

A inferência do modelo de conclusão de chat do Azure OpenAI é cobrada por 1.000 tokens com taxas diferentes, dependendo do modelo e do tipo de implantação.

Os modelos do Azure OpenAI compreendem e processam texto dividindo-o em tokens. Para referência, cada token tem aproximadamente quatro carateres para texto típico em inglês.

Os custos dos tokens são referentes à entrada e saída. Por exemplo, suponha que você tenha um exemplo de código JavaScript de 1.000 tokens que você peça a um modelo do Azure OpenAI para converter em Python. Seriam cobrados aproximadamente 1.000 tokens pela solicitação de entrada inicial enviada e mais 1.000 tokens pela saída recebida em resposta, totalizando 2.000 tokens.

Na prática, para este tipo de chamada de conclusão, a entrada/saída do token não seria perfeitamente 1:1. Uma conversão de uma linguagem de programação para outra pode resultar em uma saída mais longa ou mais curta, dependendo de muitos fatores. Um desses fatores é o valor atribuído ao max_tokens parâmetro.

Modelos ajustados

Os modelos de ajuste fino do Azure OpenAI são cobrados com base no número de tokens em seu arquivo de treinamento. Para obter os preços mais recentes, consulte a página de preços oficiais.

Depois que seu modelo ajustado for implantado, você também será cobrado com base em:

• Horas de alojamento
• Inferência por 1.000 tokens (discriminada por uso de entrada e uso de saída)

É importante estar ciente do custo das horas de hospedagem, pois depois que um modelo ajustado é implantado, ele continua a incorrer em um custo por hora, independentemente de você estar usando ativamente. Monitore de perto os custos do modelo ajustado implantado.

Importante

Depois de implantar um modelo personalizado, se a qualquer momento a implantação permanecer inativa por mais de quinze (15) dias, a implantação será excluída. A implantação de um modelo personalizado estará inativa se o modelo tiver sido implantado há mais de quinze (15) dias e nenhuma conclusão ou chamada de conclusão de bate-papo tiver sido feita para ele durante um período contínuo de 15 dias.

A exclusão de uma implantação inativa não exclui nem afeta o modelo personalizado subjacente, e o modelo personalizado pode ser reimplantado a qualquer momento.

Cada modelo personalizado (ajustado) implantado incorre em um custo de hospedagem por hora, independentemente de serem feitas chamadas de conclusão ou de bate-papo para o modelo. .

Outros custos que podem se acumular com o Serviço OpenAI do Azure

Habilitar recursos como o envio de dados para os Logs do Monitor do Azure e alertas incorre em custos adicionais para esses serviços. Estes custos são visíveis nesses outros serviços e ao nível da subscrição, mas não são visíveis quando está no âmbito apenas do recurso do Azure OpenAI.

Usando o Pré-pagamento do Azure com o Serviço OpenAI do Azure

Você pode pagar pelas cobranças do Serviço OpenAI do Azure com seu crédito de Pré-pagamento do Azure. No entanto, não pode utilizar o crédito de Pré-pagamento do Azure para pagar encargos relativos a produtos e serviços de terceiros, incluindo os produtos e serviços encontrados no Azure Marketplace.

Código de resposta de erro HTTP e status de cobrança no Serviço OpenAI do Azure

Se o serviço executar o processamento, você será cobrado mesmo se o código de status não for bem-sucedido (não 200). Por exemplo, um erro 400 devido a um filtro de conteúdo ou limite de entrada, ou um erro 408 devido a um tempo limite.

Se o serviço não executar o processamento, você não será cobrado. Por exemplo, um erro 401 devido à autenticação ou um erro 429 devido a exceder o limite de taxa.

Monitorizar os custos

À medida que utiliza os recursos do Azure com o Azure OpenAI, incorre em custos. Os custos unitários de uso de recursos do Azure variam por intervalos de tempo, como segundos, minutos, horas e dias, ou por uso de unidade, como bytes e megabytes. Assim que o uso do Azure OpenAI é iniciado, os custos podem ser incorridos e você pode ver os custos na análise de custos.

Ao usar a análise de custos, você exibe os custos do Azure OpenAI em gráficos e tabelas para diferentes intervalos de tempo. Alguns exemplos são por dia, mês atual e anterior, e ano. Você também visualiza os custos em relação aos orçamentos e custos previstos. Mudar para visualizações mais longas ao longo do tempo pode ajudá-lo a identificar tendências de gastos. Você pode ver onde o excesso de gastos pode ter ocorrido. Se você criou orçamentos, também pode ver facilmente onde eles são excedidos.

Para exibir os custos do Azure OpenAI na análise de custos:

1. Inicie sessão no portal do Azure.
2. Selecione um dos seus recursos do Azure OpenAI.
3. Em Gerenciamento de Recursos, selecione Análise de custos
4. Por padrão, a análise de custos tem como escopo o recurso individual do Azure OpenAI.

Para entender o detalhamento do que compõe esse custo, pode ajudar a modificar Agrupar por Medidor e mudar o tipo de gráfico para Linha. Agora você pode ver que, para este recurso em particular, a fonte dos custos vem de três séries de modelos diferentes com Text-Davinci Tokens que representam a maior parte dos custos.

É importante entender o escopo ao avaliar os custos associados ao Azure OpenAI. Se seus recursos fizerem parte do mesmo grupo de recursos, você poderá definir o escopo da Análise de Custos nesse nível para entender o efeito sobre os custos. Se os seus recursos estiverem distribuídos por vários grupos de recursos, pode definir o âmbito até ao nível da subscrição.

Quando o escopo é definido em um nível mais alto, muitas vezes você precisa adicionar mais filtros para se concentrar no uso do Azure OpenAI. Quando definido o escopo no nível de assinatura, você vê muitos outros recursos com os quais talvez não se importe no contexto do gerenciamento de custos do Azure OpenAI. Quando você define o escopo no nível da assinatura, recomendamos que você navegue até a ferramenta de análise de custos completa no serviço de gerenciamento de custos.

Eis um exemplo de como utilizar a ferramenta Análise de custos para ver os custos acumulados de uma subscrição ou grupo de recursos:

1. Pesquise Gerenciamento de Custos na barra de pesquisa superior do Azure para navegar até a experiência de serviço completa, que inclui mais opções, como a criação de orçamentos.
2. Se necessário, selecione alterar se Escopo : não estiver apontando para o grupo de recursos ou assinatura que você deseja analisar.
3. À esquerda, selecione Relatórios + análise de>custos.
4. Na guia Todos os modos de exibição , selecione Custos acumulados.

O painel de análise de custos mostra os custos acumulados que são analisados dependendo do que você especificou para o Escopo.

Se você tentar adicionar um filtro por serviço, descobrirá que não consegue encontrar o Azure OpenAI na lista. Essa situação ocorre porque o Azure OpenAI tem semelhança com um subconjunto de serviços de IA do Azure em que o filtro de nível de serviço é Serviços Cognitivos. Se você quiser ver todos os recursos do Azure OpenAI em uma assinatura sem qualquer outro tipo de recursos de serviços de IA do Azure, em vez disso, escopo para a camada de serviço: Azure OpenAI:

Criar orçamentos

Você pode criar orçamentos para gerenciar custos e criar alertas que notificam as partes interessadas sobre anomalias de gastos e riscos de gastos excessivos. Os alertas são baseados nos gastos em comparação com os orçamentos e os limites de custos. Você cria orçamentos e alertas para assinaturas do Azure e grupos de recursos. Eles são úteis como parte de uma estratégia geral de monitoramento de custos.

Você pode criar orçamentos com filtros para recursos ou serviços específicos no Azure se quiser mais granularidade presente em seu monitoramento. Os filtros ajudam a garantir que você não crie acidentalmente novos recursos que custam mais dinheiro. Para obter mais informações sobre as opções de filtro disponíveis quando você cria um orçamento, consulte Opções de grupo e filtro.

Importante

Embora o OpenAI tenha uma opção para limites rígidos que impedem que você ultrapasse seu orçamento, o Azure OpenAI atualmente não fornece essa funcionalidade. Você pode iniciar a automação a partir de grupos de ação como parte de suas notificações de orçamento para executar ações mais avançadas, mas isso requer desenvolvimento personalizado adicional de sua parte.

Exportar dados de custo

Você também pode exportar seus dados de custo para uma conta de armazenamento, o que é útil quando você precisa que outras pessoas façam análises de dados extras para custos. Por exemplo, uma equipe financeira pode analisar os dados usando o Excel ou o Power BI. Você pode exportar seus custos em uma programação diária, semanal ou mensal e definir um intervalo de datas personalizado. Recomendamos a exportação de dados de custo como forma de recuperar conjuntos de dados de custo.

Próximos passos

• Saiba como otimizar o seu investimento na nuvem com o Microsoft Cost Management.
• Saiba mais sobre como gerenciar custos com análise de custos.
• Saiba como evitar custos inesperados.
• Faça o curso de aprendizagem guiada em Gestão de Custos.