Skala Azure OpenAI för .NET-chatt med RAG med Azure Container Apps

Lär dig hur du lägger till belastningsutjämning i ditt program för att utöka chattappen utöver Azure OpenAI-tjänstens token- och modellkvotgränser. Den här metoden använder Azure Container Apps för att skapa tre Azure OpenAI-slutpunkter och en primär container för att dirigera inkommande trafik till en av de tre slutpunkterna.

Den här artikeln kräver att du distribuerar två separata exempel:

• Chattapp

  • Om du inte har distribuerat chattappen ännu, vänta tills exemplet på lastbalanseraren har distribuerats.

  • Om du redan har distribuerat chattappen en gång ändrar du miljövariabeln så att den stöder en anpassad slutpunkt för lastbalanseraren och distribuerar om den igen.

  • Chattappen är tillgänglig på följande språk:

    • .NET
    • JavaScript
    • Python

• Appen Lastbalanserare

Obs

Den här artikeln använder en eller flera AI-appmallar som grund för exemplen och vägledningen i artikeln. MED AI-appmallar får du väl underhållna referensimplementeringar som är enkla att distribuera. De bidrar till att säkerställa en högkvalitativ startpunkt för dina AI-appar.

Arkitektur för belastningsutjämning av Azure OpenAI med Azure Container Apps

Eftersom Azure OpenAI-resursen har specifika token- och modellkvotgränser är en chattapp som använder en enda Azure OpenAI-resurs benägen att få konversationsfel på grund av dessa gränser.

Om du vill använda chattappen utan att nå dessa gränser använder du en belastningsutjämningslösning med Container Apps. Den här lösningen exponerar sömlöst en enskild slutpunkt från Container Apps till chattappservern.

Containerappen finns framför en uppsättning Azure OpenAI-resurser. Containerappen löser två scenarier: normalt och strypt. Under ett normalt scenario där token- och modellkvoten är tillgänglig returnerar Azure OpenAI-resursen 200 tillbaka via containerappen och appservern.

När en resurs befinner sig i ett begränsat scenario på grund av kvotgränser kan containerappen försöka igen med en annan Azure OpenAI-resurs omedelbart för att uppfylla den ursprungliga chattappens begäran.

Förutsättningar

• Azure-prenumeration. Skapa ett kostnadsfritt konto.

• Åtkomst som beviljats till Azure OpenAI i den önskade Azure-prenumerationen.

  För närvarande beviljas åtkomst till den här tjänsten endast genom ansökan. Du bör ansöka om åtkomst till Azure OpenAI.

• Dev-containrar är tillgängliga för båda exemplen, med alla beroenden som krävs för att slutföra den här artikeln. Du kan köra dev-containrarna i GitHub Codespaces (i en webbläsare) eller lokalt med hjälp av Visual Studio Code.

GitHub Codespaces

• Endast ett GitHub-konto krävs för att använda CodeSpaces

Visual Studio Code

• Docker Desktop – Starta Docker Desktop om det inte redan körs
• Visual Studio Code
• Dev Container-tillägg

Öppna exempelappen för Container Apps-lastbalanserare

GitHub Codespaces

GitHub Codespaces driver en utvecklingscontainer som hanteras av GitHub med Visual Studio Code för webben som användargränssnitt. För den enklaste utvecklingsmiljön använder du GitHub Codespaces så att du har rätt utvecklarverktyg och beroenden förinstallerade för att slutföra den här artikeln.

Viktig

Alla GitHub-konton kan använda GitHub Codespaces i upp till 60 timmar kostnadsfritt varje månad med två kärninstanser. För mer information, se GitHub Codespaces inkluderar månatligen lagringsutrymme och kärntimmar.

Visual Studio Code

Tillägget Dev Containers för Visual Studio Code kräver att Docker- installeras på den lokala datorn. Tillägget värdorganiserar utvecklingscontainern lokalt genom att använda Docker-värden där rätt utvecklarverktyg och beroenden är förinstallerade för att möjliggöra slutförandet av denna artikel.

Distribuera lastbalanseraren för Azure Container Apps

1. Logga in på Azure Developer CLI för att tillhandahålla autentisering till etablerings- och distributionsstegen:

   azd auth login --use-device-code
   

2. Ange en miljövariabel för att använda Azure CLI-autentisering i efteretableringssteget.

   azd config set auth.useAzCliAuth "true"
   

3. Distribuera lastbalanseringsappen:

   azd up
   

   Välj en prenumeration och region för distributionen. Det behöver inte vara samma abonnemang och region som chattapplikationen.

4. Vänta tills distributionen är klar innan du fortsätter.

Hämta distributionsslutpunkten

1. Använd följande kommando för att visa den distribuerade slutpunkten för containerappen:

   azd env get-values
   

2. Kopiera värdet för CONTAINER_APP_URL. Du använder den i nästa avsnitt.

Återdistribuera chattappen med lastbalanserarens slutpunkt

De här exemplen har slutförts i chattappexemplet.

Inledande distribution

1. Öppna chattappexemplets utvecklingscontainer med något av följande alternativ.

   Språk	GitHub Codespaces	Visual Studio Code
   .NÄT
   JavaScript
   Python

2. Logga in på Azure Developer CLI (AZD):

   azd auth login
   

   Slutför inloggningsinstruktionerna.

3. Skapa en AZD miljö med ett namn som chat-app:

   azd env new <name>
   

4. Lägg till följande miljövariabel, som instruerar chattappens serverdel att använda en anpassad URL för Azure OpenAI-begäranden:

   azd env set OPENAI_HOST azure_custom
   

5. Lägg till följande miljövariabel. Ersätt <CONTAINER_APP_URL> för URL:en från föregående avsnitt. Den här åtgärden talar om för chattappens serverdel vad värdet är för den anpassade URL:en för Azure OpenAI-begäran.

   azd env set AZURE_OPENAI_CUSTOM_URL <CONTAINER_APP_URL>
   

6. Distribuera chattapplikationen:

   azd up
   

omdistribuering

1. Öppna chattappexemplets utvecklingscontainer igen med något av följande alternativ.

   Språk	GitHub Codespaces	Visual Studio Code
   .NÄT
   JavaScript
   Python

2. Lägg till följande miljövariabel, som instruerar chattappens serverdel att använda en anpassad URL för Azure OpenAI-begäranden:

   azd env set OPENAI_HOST azure_custom
   

3. Lägg till följande miljövariabel, som talar om för chattappens serverdel vad värdet är för den anpassade URL:en för Azure OpenAI-begäran:

   azd env set CONTAINER_APP_URL <CONTAINER_APP_URL>
   

4. Distribuera chattapplikationen:

   azd up
   

   Vänta tills processen är klar innan du fortsätter.

Nu kan du använda chattappen med förtroende för att den är skapad för att skala över många användare utan att kvoten tar slut.

Överför loggar för att se lastbalanserarens resultat

1. I Azure-portalensöker du i resursgruppen.

2. I listan över resurser i gruppen väljer du resursen Azure Container Apps.

3. Välj Övervakning>Loggström för att visa loggen.

4. Använd chattappen för att generera trafik i loggen.

5. Leta efter loggarna som refererar till Azure OpenAI-resurserna. Var och en av de tre resurserna har sin numeriska identitet i loggkommentaren som börjar med Proxying to https://openai3, där 3 anger den tredje Azure OpenAI-resursen.

   

När lastbalanseraren får statusen att begäran överskrider kvoten roteras lastbalanseraren automatiskt till en annan resurs.

Konfigurera TPM-kvoten

Som standard distribueras var och en av Azure OpenAI-instanserna i lastbalanseraren med en kapacitet på 30 000 token per minut (TPM). Du kan använda chattappen med förtroende för att den är skapad för att skala över många användare utan att kvoten tar slut. Ändra det här värdet när:

• Du får distributionskapacitetsfel: Sänk värdet.
• Du behöver högre kapacitet: Öka värdet.

1. Använd följande kommando för att ändra värdet:

   azd env set OPENAI_CAPACITY 50
   

2. Återdistribuera lastbalanseraren

   azd up
   

Rensa resurser

När du är klar med chattappen och lastbalanseraren rensar du resurserna. De Azure-resurser som skapas i den här artikeln faktureras till din Azure-prenumeration. Om du inte förväntar dig att behöva dessa resurser i framtiden tar du bort dem för att undvika att debiteras mer.

Rensa chattappresurser

Gå tillbaka till chattappartikeln för att rensa resurserna:

• .NET
• JavaScript
• Python

Rensa resurser för uppladdningsbalanserare

Kör följande Azure Developer CLI-kommando för att ta bort Azure-resurserna och ta bort källkoden:

azd down --purge --force

Växlarna tillhandahåller:

• purge: Borttagna resurser rensas omedelbart så att du kan återanvända Azure OpenAI-tjänsttoken per minut.
• force: Borttagningen sker tyst, utan att användarens medgivande krävs.

Rensa GitHub Codespaces och Visual Studio Code

GitHub Codespaces

Att ta bort GitHub Codespaces-miljön säkerställer att du kan maximera antalet kostnadsfria timmar per kärna som du får för ditt konto.

Viktig

Mer information om ditt GitHub-kontos rättigheter finns i , där det förklaras om de lagrings- och kärntimmar som ingår varje månad i GitHub Codespaces.

1. Logga in på GitHub Codespaces-instrumentpanelen .

2. Leta upp dina kodområden som körs och som hämtas från azure-samples/openai-aca-lb GitHub-lagringsplats.

   

3. Öppna snabbmenyn för kodområdet och välj sedan Ta bort.

   

Visual Studio Code

Du behöver inte nödvändigtvis rensa din lokala miljö, men du kan stoppa utvecklingscontainern som körs och återgå till att köra Visual Studio Code i kontexten för en lokal arbetsyta.

1. Öppna paletten Kommando och sök efter kommandona Dev Containers.

2. Välj Dev Containers: Öppna mappen lokalt.

   

Tips

Visual Studio Code stoppar utvecklingscontainern som körs, men containern finns fortfarande i Docker i ett stoppat tillstånd. Du har alltid möjlighet att ta bort containerinstansen, containeravbildningen och volymerna från Docker för att frigöra mer utrymme på den lokala datorn.

Få hjälp

Om du har problem med att implementera lastbalanseraren för Azure API Management, lägg till ditt problem på webbsidan i lagringsplatsens Problem-sektion.

Exempelkod

Exempel som används i den här artikeln är:

• .NET-chattapp med RAG-
• En Load Balancer med Azure Container Apps

Nästa steg

• Använd Azure Load Testing för att belastningstesta din chattapp