Dimensione o Azure OpenAI para JavaScript com o Gerenciamento de API do Azure

Saiba como adicionar balanceamento de carga de nível empresarial ao seu aplicativo para estender o aplicativo de chat além dos limites de cota de modelo e token do Serviço OpenAI do Azure. Essa abordagem usa o Gerenciamento de API do Azure para direcionar o tráfego de forma inteligente entre três recursos do Azure OpenAI.

Este artigo requer que você implante dois exemplos separados:

• Aplicativo de bate-papo:
  • Se você ainda não implantou o aplicativo de bate-papo, aguarde até que o exemplo de balanceador de carga seja implantado.
  • Se você já implantou o aplicativo de chat uma vez, altere a variável de ambiente para oferecer suporte a um ponto de extremidade personalizado para o balanceador de carga e reimplante-o novamente.
• Balanceador de carga com Gerenciamento de API do Azure.

Nota

Este artigo usa um ou mais modelos de aplicativo de IA como base para os exemplos e orientações no artigo. Os modelos de aplicativos de IA fornecem implementações de referência bem mantidas que são fáceis de implantar. Eles ajudam a garantir um ponto de partida de alta qualidade para seus aplicativos de IA.

Arquitetura para balanceamento de carga do Azure OpenAI com o Gerenciamento de API do Azure

Como o recurso do Azure OpenAI tem limites específicos de token e cota de modelo, um aplicativo de chat que usa um único recurso do Azure OpenAI é propenso a ter falhas de conversa devido a esses limites.

Para usar o aplicativo de bate-papo sem atingir esses limites, use uma solução com balanceamento de carga com o Gerenciamento de API. Essa solução expõe perfeitamente um único ponto de extremidade do Gerenciamento de API para o servidor do seu aplicativo de chat.

O recurso de Gerenciamento de API, como uma camada de API, fica na frente de um conjunto de recursos do Azure OpenAI. A camada API aplica-se a dois cenários: normal e limitado. Durante um cenário normal em que a cota de token e modelo está disponível, o recurso do Azure OpenAI retorna um 200 de volta por meio da camada de API e do servidor de aplicativo de back-end.

Quando um recurso é limitado por causa dos limites de quotas, a camada de API poderá tentar novamente outro recurso do Azure OpenAI imediatamente para atender à solicitação original do aplicativo de chat.

Pré-requisitos

• Subscrição do Azure. Crie um gratuitamente

• Acesso concedido ao Azure OpenAI na subscrição pretendida do Azure.

  Atualmente, o acesso a este serviço é concedido apenas por pedido. Você pode solicitar acesso ao Azure OpenAI preenchendo o formulário em https://aka.ms/oai/access.

• Os contêineres de desenvolvimento estão disponíveis para ambos os exemplos, com todas as dependências necessárias para concluir este artigo. Você pode executar os contêineres de desenvolvimento no GitHub Codespaces (em um navegador) ou localmente usando o Visual Studio Code.

  Espaços de código do GitHub

  • Apenas uma conta do GitHub é necessária para usar Codespaces

  Visual Studio Code

  • Docker Desktop - inicie o Docker Desktop se ainda não estiver em execução
  • Visual Studio Code
  • Extensão de contêiner de desenvolvimento

Abra a aplicação de exemplo do balanceador de carga local do Gerenciamento de API do Azure

Espaços de código do GitHub

O GitHub Codespaces executa um contêiner de desenvolvimento gerenciado pelo GitHub com o Visual Studio Code for the Web como interface do usuário. Para o ambiente de desenvolvimento mais simples, use o GitHub Codespaces para que você tenha as ferramentas de desenvolvedor corretas e as dependências pré-instaladas para concluir este artigo.

Importante

Todas as contas do GitHub podem usar o GitHub Codespaces por até 60 horas gratuitas por mês com duas instâncias principais. Para obter mais informações, consulte GitHub Codespaces mensalmente incluído armazenamento e horas principais.

Visual Studio Code

A extensão Dev Containers para Visual Studio Code requer que o Docker seja instalado em sua máquina local. A extensão hospeda o contêiner de desenvolvimento localmente usando o host Docker com as ferramentas de desenvolvedor corretas e dependências pré-instaladas para concluir este artigo.

Implantar o balanceador de carga de Gerenciamento de API do Azure

1. Para implantar o balanceador de carga no Azure, entre na CLI do Desenvolvedor do Azure (AZD):

   azd auth login
   

2. Termine as instruções para iniciar sessão.

3. Implante o aplicativo balanceador de carga:

   azd up
   

   Selecione uma assinatura e uma região para a implantação. Eles não precisam ter a mesma assinatura e região do aplicativo de bate-papo.

4. Aguarde a conclusão da implantação antes de continuar. Este processo pode demorar até 30 minutos.

Obter o ponto de extremidade do balanceador de carga

Execute o seguinte comando Bash para ver as variáveis de ambiente da implantação. Você precisa dessas informações mais tarde.

azd env get-values | grep APIM_GATEWAY_URL

Reimplantar o aplicativo de chat com o ponto de extremidade do balanceador de carga

Esses exemplos são concluídos no exemplo de aplicativo de bate-papo.

Implantação inicial

1. Abra o contêiner de desenvolvimento do exemplo de aplicativo de bate-papo usando uma das opções a seguir.

   Idioma	Espaços de código do GitHub	Visual Studio Code
   .NET	Abrir no GitHub Codespaces	Abrir em contêineres de desenvolvimento
   JavaScript	Abrir no GitHub Codespaces	Abrir em contêineres de desenvolvimento
   Python	Abrir no GitHub Codespaces	Abrir em contêineres de desenvolvimento

2. Entre na CLI do Desenvolvedor do Azure (AZD):

   azd auth login
   

   Complete as instruções de início de sessão.

3. Crie um ambiente AZD com um nome como chat-app:

   azd env new <name>
   

4. Adicione a seguinte variável de ambiente, que informa ao back-end do aplicativo de chat para usar uma URL personalizada para as solicitações do Azure OpenAI:

   azd env set OPENAI_HOST azure_custom
   

5. Adicione a seguinte variável de ambiente, que informa ao back-end do aplicativo de chat qual é o valor da URL personalizada para a solicitação do Azure OpenAI:

   azd env set AZURE_OPENAI_CUSTOM_URL <APIM_GATEWAY_URL>
   

6. Implante o aplicativo de bate-papo:

   azd up
   

Reafectação

1. Reabra o contêiner de desenvolvimento do exemplo de aplicativo de bate-papo usando uma das opções a seguir.

   Idioma	Espaços de código do GitHub	Visual Studio Code
   .NET	Abrir no GitHub Codespaces	Abrir em contêineres de desenvolvimento
   JavaScript	Abrir no GitHub Codespaces	Abrir em contêineres de desenvolvimento
   Python	Abrir no GitHub Codespaces	Abrir em contêineres de desenvolvimento

2. Adicione a seguinte variável de ambiente, que informa ao back-end do aplicativo de chat para usar uma URL personalizada para as solicitações do Azure OpenAI:

   azd env set OPENAI_HOST azure_custom
   

3. Adicione a seguinte variável de ambiente, que informa ao back-end do aplicativo de chat qual é o valor da URL personalizada para a solicitação do Azure OpenAI:

   azd env set set AZURE_OPENAI_CUSTOM_URL <APIM_GATEWAY_URL>
   

4. Implante o aplicativo de bate-papo:

   azd up
   

   Aguarde até que este processo termine antes de continuar.

Configurar a cota do TPM

Por padrão, cada uma das instâncias do Azure OpenAI no balanceador de carga é configurada com uma capacidade de 30.000 TPM (tokens por minuto). Você pode usar o aplicativo de bate-papo com a confiança de que ele foi criado para ser dimensionado para muitos usuários sem ficar sem cota. Altere este valor quando:

• Você obtém erros de capacidade de implantação: diminua o valor.
• Você precisa de maior capacidade: aumente o valor.

1. Use o seguinte comando para alterar o valor:

   azd env set OPENAI_CAPACITY 50
   

2. Reimplante o balanceador de carga:

   azd up
   

Clean up resources (Limpar recursos)

Quando terminar de usar o aplicativo de bate-papo e o balanceador de carga, limpe os recursos. Os recursos do Azure criados neste artigo são cobrados na sua assinatura do Azure. Se você não espera precisar desses recursos no futuro, exclua-os para evitar incorrer em mais cobranças.

Limpar os recursos do aplicativo de bate-papo

Volte ao artigo do aplicativo de bate-papo para limpar esses recursos.

• .NET
• JavaScript
• Python

Limpar os recursos do balanceador de carga

Execute o seguinte comando da CLI do Desenvolvedor do Azure para excluir os recursos do Azure e remover o código-fonte:

azd down --purge --force

Os interruptores fornecem:

• purge: Os recursos excluídos são imediatamente limpos. Você pode reutilizar os tokens do Azure OpenAI por minuto.
• force: A exclusão acontece silenciosamente, sem exigir o consentimento do usuário.

Clean up resources (Limpar recursos)

Espaços de código do GitHub

Excluir o ambiente do GitHub Codespaces garante que o utilizador possa maximizar a quota gratuita de horas por núcleo disponível na sua conta.

Importante

Para obter mais informações sobre os direitos da sua conta do GitHub, consulte Codespaces do GitHub mensalmente incluídos armazenamento e horas principais.

1. Faça login no painel do GitHub Codespaces.

2. Localize seus espaços de código em execução que são originados do repositório azure-samples/openai-apim-lb GitHub.

   

3. Abra o menu de contexto do item Codespaces do GitHub e selecione Excluir.

   

Visual Studio Code

Você não é necessariamente obrigado a limpar seu ambiente local, mas pode parar o contêiner de desenvolvimento em execução e retornar à execução do Visual Studio Code no contexto de um espaço de trabalho local.

1. Abra a paleta de Comando e procure os comandos Dev Containers.

2. Selecione Dev Containers: Reabrir Pasta em Local.

   

Gorjeta

O Visual Studio Code interrompe o contêiner de desenvolvimento em execução, mas o contêiner ainda existe no Docker em um estado interrompido. Você sempre tem a opção de excluir a instância do contêiner, a imagem do contêiner e os volumes do Docker para liberar mais espaço em sua máquina local.

Obter ajuda

Se tiver problemas para implantar o balanceador de carga do Gestão de API do Azure, adicione o seu problema à página de Problemas do repositório.

Código de exemplo

Os exemplos usados neste artigo incluem:

• Aplicativo de bate-papo JavaScript com RAG
• Balanceador de Carga com Gerenciamento de API do Azure

Próximo passo

• Exibir dados de diagnóstico do Gerenciamento de API do Azure no Azure Monitor
• Use o Teste de Carga do Azure para carregar seu aplicativo de chat com