Skalowanie interfejsu Azure OpenAI na potrzeby czatu w języku JavaScript przy użyciu rozwiązania RAG z usługą Azure Container Apps

Dowiedz się, jak dodać równoważenie obciążenia do swojej aplikacji, aby rozszerzyć aplikację czatu poza limity tokenów i modeli w usłudze Azure OpenAI Service. To podejście używa usługi Azure Container Apps do tworzenia trzech punktów końcowych usługi Azure OpenAI i podstawowego kontenera w celu kierowania ruchu przychodzącego do jednego z trzech punktów końcowych.

Ten artykuł wymaga wdrożenia dwóch oddzielnych przykładów:

• Aplikacja do czatu

  • Jeśli aplikacja czatu nie została jeszcze wdrożona, poczekaj na wdrożenie przykładu modułu równoważenia obciążenia.

  • Jeśli aplikacja czatu została już wdrożona raz, zmień zmienną środowiskową tak, aby obsługiwała niestandardowy punkt końcowy modułu równoważenia obciążenia i ponownie ją wdrożyć.

  • Aplikacja do czatu jest dostępna w następujących językach:

    • .NET
    • JavaScript
    • Python

• Aplikacja modułu równoważenia obciążenia

Uwaga

W tym artykule użyto jednego lub więcej szablonów aplikacji AI jako podstawy przykładów i wskazówek w artykule. Szablony aplikacji sztucznej inteligencji zapewniają dobrze utrzymywane implementacje referencyjne, które można łatwo wdrożyć. Pomagają one zapewnić wysokiej jakości punkt wyjścia dla aplikacji sztucznej inteligencji.

Architektura równoważenia obciążenia usługi Azure OpenAI za pomocą usługi Azure Container Apps

Ponieważ zasób usługi Azure OpenAI ma określone limity przydziału tokenu i modelu, aplikacja czatu korzystająca z jednego zasobu usługi Azure OpenAI jest podatna na błędy konwersacji z powodu tych limitów.

Aby użyć aplikacji do czatu bez osiągnięcia tych limitów, użyj rozwiązania o zrównoważonym obciążeniu z usługą Container Apps. To rozwiązanie bezproblemowo uwidacznia pojedynczy punkt końcowy z usługi Container Apps na serwer aplikacji czatu.

Aplikacja kontenerowa znajduje się przed zestawem zasobów Azure OpenAI. Aplikacja kontenera rozwiązuje dwa scenariusze: normalne i ograniczone. W normalnym scenariuszu, w którym jest dostępny limit przydziału tokenu i modelu, zasób usługi Azure OpenAI zwraca 200 z powrotem za pośrednictwem aplikacji kontenera i serwera aplikacji.

Gdy zasób znajduje się w scenariuszu ograniczonym z powodu limitów przydziału, aplikacja kontenera może natychmiast ponowić próbę innego zasobu usługi Azure OpenAI w celu spełnienia oryginalnego żądania aplikacji czatu.

Diagram przedstawiający scenariusz throttlingu z kodem błędu 429 i nagłówkiem odpowiedzi określającym, ile sekund klient musi poczekać na ponowną próbę.

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz konto za darmo

• Kontenery deweloperskie są dostępne dla obu przykładów, ze wszystkimi zależnościami wymaganymi do ukończenia tego artykułu. Kontenery deweloperskie można uruchamiać w usłudze GitHub Codespaces (w przeglądarce) lub lokalnie przy użyciu programu Visual Studio Code.

  • Konto usługi GitHub.

  • docker Desktop — uruchom program Docker Desktop, jeśli jeszcze nie jest uruchomiony.
  • Visual Studio Code
  • Rozszerzenie kontenera deweloperskiego

Otwieranie przykładowej aplikacji modułu równoważenia obciążenia usługi Container Apps

GitHub Codespaces uruchamia kontener deweloperski zarządzany przez GitHub z Visual Studio Code w wersji Web jako interfejsem użytkownika. W przypadku najprostszego środowiska programistycznego użyj usługi GitHub Codespaces, aby wstępnie zainstalować odpowiednie narzędzia deweloperskie i zależności, aby ukończyć ten artykuł.

Ważne

Wszystkie konta GitHub mogą korzystać z GitHub Codespaces do 60 godzin miesięcznie bezpłatnie, z dwoma podstawowymi instancjami. Aby uzyskać więcej informacji, zobacz miesięczne wliczone przechowywanie i godziny rdzeniowe dla GitHub Codespaces.

Rozszerzenie Dev Containers dla programu Visual Studio Code wymaga Docker zainstalowanego na komputerze lokalnym. Rozszerzenie lokalnie hostuje kontener programistyczny przy użyciu hosta Docker z właściwymi narzędziami programistycznymi i preinstalowanymi zależnościami, aby ukończyć ten artykuł.

Wdrażanie modułu równoważenia obciążenia usługi Azure Container Apps

1. Zaloguj się do CLI programisty platformy Azure, aby zapewnić autoryzację na potrzeby aprowizacji i wdrażania.

   azd auth login --use-device-code
   

2. Ustaw zmienną środowiskową, aby używać uwierzytelniania Azure CLI w kroku po aprowizacji.

   azd config set auth.useAzCliAuth "true"
   

3. Wdróż aplikację modułu równoważenia obciążenia:

   azd up
   

   Wybierz subskrypcję i region wdrożenia. Nie muszą być tą samą subskrypcją i regionem co aplikacja do czatowania.

4. Poczekaj na zakończenie wdrożenia, zanim przejdziesz dalej.

Pobierz punkt końcowy wdrożenia

1. Użyj następującego polecenia, aby wyświetlić wdrożony punkt końcowy dla aplikacji kontenera:

   azd env get-values
   

2. Skopiuj wartość CONTAINER_APP_URL. Użyjesz go w następnej sekcji.

Ponowne wdrażanie aplikacji czatu przy użyciu punktu końcowego modułu równoważenia obciążenia

Przykłady zostały ukończone na przykładzie aplikacji czatu.

Początkowe wdrożenie

1. Otwórz kontener deweloperski przykładowej aplikacji czatu, korzystając z jednej z następujących opcji.

   Język	GitHub Codespaces	Visual Studio Code
   .NET	Otwórz w GitHub Codespaces	Otwórz w kontenerach deweloperskich
   JavaScript	Otwórz w GitHub Codespaces	Otwórz w kontenerach deweloperskich
   Python	Otwórz w GitHub Codespaces	Otwórz w Dev Containers

2. Zaloguj się do narzędzia Azure Developer CLI (AZD):

   azd auth login
   

   Zakończ instrukcje logowania.

3. Utwórz środowisko AZD o nazwie takiej jak chat-app:

   azd env new <name>
   

4. Dodaj następującą zmienną środowiskową, która informuje zaplecze aplikacji czatu o użyciu niestandardowego adresu URL dla żądań usługi Azure OpenAI:

   azd env set OPENAI_HOST azure_custom
   

5. Dodaj następującą zmienną środowiskową. Zastąp <CONTAINER_APP_URL> adresem URL z poprzedniej sekcji. Ta akcja informuje zaplecze aplikacji czatu o tym, jaka jest wartość niestandardowego adresu URL żądania usługi Azure OpenAI.

   azd env set AZURE_OPENAI_CUSTOM_URL <CONTAINER_APP_URL>
   

6. Wdróż aplikację czatu:

   azd up
   

1. Otwórz ponownie kontener deweloperski przykładowej aplikacji czatu, korzystając z jednej z następujących opcji.

   Język	GitHub Codespaces	Visual Studio Code
   .NET	Otwórz w GitHub Codespaces	Otwórz w kontenerach deweloperskich
   JavaScript	Otwórz w GitHub Codespaces	Otwórz w kontenerach deweloperskich
   Python	Otwórz w GitHub Codespaces	Otwórz w kontenerach Dev

2. Dodaj następującą zmienną środowiskową, która informuje zaplecze aplikacji czatu o użyciu niestandardowego adresu URL dla żądań usługi Azure OpenAI:

   azd env set OPENAI_HOST azure_custom
   

3. Dodaj następującą zmienną środowiskową, która informuje zaplecze aplikacji czatu o tym, jaka jest wartość niestandardowego adresu URL żądania usługi Azure OpenAI:

   azd env set CONTAINER_APP_URL <CONTAINER_APP_URL>
   

4. Wdróż aplikację czatu:

   azd up
   

   Przed kontynuowaniem poczekaj na zakończenie tego procesu.

Teraz możesz używać aplikacji do czatu z pewnością, że została utworzona do skalowania dla wielu użytkowników bez wyczerpania limitów.

Streamuj dzienniki, aby zobaczyć wyniki równoważenia obciążenia

1. W Azure portal wyszukaj swoją grupę zasobów.

2. Z listy zasobów w grupie wybierz zasób usługi Azure Container Apps.

3. Wybierz pozycję Monitorowanie>strumienia dziennika, aby wyświetlić dziennik.

4. Użyj aplikacji do czatu, aby wygenerować ruch w dzienniku.

5. Poszukaj dzienników, które odwołują się do zasobów usługi Azure OpenAI. Każdy z trzech zasobów ma swoją tożsamość liczbową w komentarzu dziennika rozpoczynającym się od Proxying to https://openai3, gdzie 3 wskazuje trzeci zasób usługi Azure OpenAI.

   

Gdy moduł równoważenia obciążenia otrzymuje informację, że żądanie przekracza limit przydziału, automatycznie przełącza się na inny zasób.

Konfigurowanie limitu modułu TPM

Domyślnie każde wystąpienie usługi Azure OpenAI w module równoważenia obciążenia jest wdrażane z pojemnością 30 000 tokenów na minutę (TPM). Możesz użyć aplikacji do czatowania z pewnością, że została stworzona, aby obsługiwać wielu użytkowników bez obaw o przekroczenie limitu. Zmień tę wartość, gdy:

• Otrzymujesz błędy dotyczące pojemności wdrożenia: obniż wartość.
• Potrzebna jest większa pojemność: podnieś wartość.

1. Użyj następującego polecenia, aby zmienić wartość:

   azd env set OPENAI_CAPACITY 50
   

2. Ponownie wdróż moduł równoważenia obciążenia:

   azd up
   

Czyszczenie zasobów

Po zakończeniu pracy z aplikacją czatu i modułem równoważenia obciążenia wyczyść zasoby. Zasoby platformy Azure utworzone w tym artykule są rozliczane z subskrypcją platformy Azure. Jeśli nie spodziewasz się, że te zasoby będą potrzebne w przyszłości, usuń je, aby uniknąć naliczania dodatkowych opłat.

Czyszczenie zasobów aplikacji do czatu

Wróć do artykułu o aplikacji czatu, aby wyczyścić zasoby.

• .NET
• JavaScript
• Python

Czyszczenie zasobów równoważnika obciążenia przesyłania

Uruchom następujące polecenie interfejsu wiersza polecenia dla deweloperów platformy Azure, aby usunąć zasoby platformy Azure i usunąć kod źródłowy:

azd down --purge --force

Przełączniki zapewniają:

• purge: Usunięte zasoby są natychmiast usuwane, co pozwala na ponowne wykorzystanie tokenów dla usługi Azure OpenAI na minutę.
• force: Usunięcie odbywa się bez wyraźnego powiadomienia, bez zgody użytkownika.

Czyszczenie usług GitHub Codespaces i Visual Studio Code

Usunięcie środowiska GitHub Codespaces gwarantuje, że możesz zmaksymalizować ilość bezpłatnych godzin przypadających na rdzeń, przysługujących twojemu kontu.

Ważne

Aby uzyskać więcej informacji na temat uprawnień konta GitHub, zobacz GitHub Codespaces - miesięczny limit przestrzeni dyskowej i godzin rdzeni.

1. Zaloguj się do pulpitu nawigacyjnego usługi GitHub Codespaces.

2. Znajdź aktualnie uruchomione przestrzenie kodowe pochodzące z repozytorium GitHub azure-samples/openai-aca-lb.

   

3. Otwórz menu kontekstowe dla przestrzeni kodu, a następnie wybierz pozycję Usuń.

   

Nie musisz czyścić środowiska lokalnego, ale możesz zatrzymać uruchomiony kontener deweloperski i wrócić do pracy z programem Visual Studio Code w kontekście lokalnego obszaru roboczego.

1. Otwórz paletę poleceń i wyszukaj polecenia Dev Containers.

2. Wybierz Dev Containers: Otwórz folder lokalnie ponownie.

   

Napiwek

Program Visual Studio Code zatrzymuje uruchomiony kontener deweloperski, ale kontener nadal istnieje w Dockerze w stanie zatrzymanym. Zawsze możesz usunąć wystąpienie kontenera, obraz kontenera i woluminy z Docker, aby uzyskać więcej wolnego miejsca na komputerze lokalnym.

Uzyskaj pomoc

Jeśli masz problemy z wdrożeniem równoważenia obciążenia usługi Azure API Management, dodaj swoją kwestię do sekcji Problemy w repozytorium.

Przykładowy kod

Przykłady używane w tym artykule obejmują:

• Aplikacja czatowa JavaScript z RAG
• Usługa Load Balancer z usługą Azure Container Apps

Następny krok

• Użyj Azure Load Testing, aby przetestować obciążenie aplikacji czatu za pomocą usługi Azure Load Testing.

• Dowiedz się więcej o sposobie użycia usługi AZD w tym szablonie:
  • Wpis na blogu społeczności technologicznej
  • seria filmów wideo Reactor