Resumo
Neste módulo, explicamos como você pode usar o OpenAI do Azure junto com o Gerenciamento de API do Azure. Combinando esses serviços, você é capaz de gerenciar e proteger o acesso aos seus modelos de IA.
Primeiro, explicamos o problema do balanceamento de carga e como o Gerenciamento de API do Azure pode ajudar você a gerenciar o tráfego e garantir que a carga seja distribuída uniformemente entre seus back-ends. Também examinamos os disjuntores e como podem ajudar a manter o tráfego longe de back-ends não íntegros.
Em seguida, explicamos a limitação de taxa baseada em tokens e como você pode usá-la para controlar o acesso às suas APIs. Um aprendizado importante foi evitar o consumo excessivo e os chamados "vizinhos barulhentos" ao definir limites para o consumo de tokens.
Para terminar, explicamos como você pode monitorar e analisar os padrões de uso de tokens usando a Política de Métrica de Emissão de Tokens do OpenAI do Azure. Ao fornecer métricas abrangentes, você pode otimizar a alocação de recursos, além de aprimorar a tomada de decisões e o monitoramento de desempenho.
Próximas etapas
Aqui estão as próximas etapas que recomendamos:
- Amostra de APIM + OpenAI do Azure
- Identidade gerenciada no APIM
- Política de métricas de token -Política de limite de tokens
- Back-end do APIM
- Documentação do Gerenciamento de API do Azure
- Documentação do OpenAI do Azure
- Preço do Gerenciamento de API do Azure