Azure Container Apps で RAG を使用して Azure OpenAI for JavaScript チャットをスケーリングする

アプリケーションに負荷分散を追加して、Azure OpenAI サービス トークンとモデル クォータの制限を超えてチャット アプリを拡張する方法について説明します。 この方法では、Azure Container Apps を使用して、3 つの Azure OpenAI エンドポイントと、受信トラフィックを 3 つのエンドポイントのいずれかに送信するプライマリ コンテナーを作成します。

この記事では、次の 2 つの個別のサンプルをデプロイする必要があります。

• チャット アプリ

  • チャット アプリをまだデプロイしていない場合は、ロード バランサーのサンプルがデプロイされるまで待ちます。

  • チャット アプリを既に 1 回デプロイした場合は、ロード バランサーのカスタム エンドポイントをサポートするように環境変数を変更し、再デプロイします。

  • チャット アプリは、次の言語で利用できます。

    • .NET
    • JavaScript
    • Python

• ロード バランサー アプリ

手記

この記事では、記事の例とガイダンスの基礎として 1 つ以上の AI アプリ テンプレートを使用します。 AI アプリ テンプレートを使用すると、デプロイが容易な保守性の高い参照実装が提供されます。 AI アプリの高品質な開始点を確保するのに役立ちます。

Azure Container Apps を使用して Azure OpenAI を負荷分散するためのアーキテクチャ

Azure OpenAI リソースには特定のトークンとモデルのクォータ制限があるため、1 つの Azure OpenAI リソースを使用するチャット アプリでは、これらの制限のために会話エラーが発生する傾向があります。

これらの制限に達せずにチャット アプリを使用するには、Container Apps で負荷分散ソリューションを使用します。 このソリューションは、Container Apps からチャット アプリ サーバーに単一のエンドポイントをシームレスに公開します。

コンテナー アプリは、一連の Azure OpenAI リソースの前に配置されます。 このコンテナー アプリは、通常と調整の 2 つのシナリオを解決します。 トークンとモデルのクォータを使用できる 通常のシナリオでは、Azure OpenAI リソースはコンテナー アプリとアプリ サーバーを通じて 200 を返します。

リソースがクォータ制限のために 調整されたシナリオにある場合、コンテナー アプリは別の Azure OpenAI リソースを直ちに再試行して、元のチャット アプリ要求を満たすことができます。

前提 条件

• Azure サブスクリプション。 無料で作成できる

• 開発コンテナー は両方のサンプルで使用でき、この記事を完了するために必要なすべての依存関係があります。 開発コンテナーは、GitHub Codespaces (ブラウザー) で実行することも、Visual Studio Code を使用してローカルで実行することもできます。

  GitHub Codespaces

  • GitHub アカウント。

  Visual Studio Code

  • Docker Desktop - Docker Desktop がまだ実行されていない場合は起動します。
  • Visual Studio Code
  • 開発コンテナー拡張機能

Container Apps ロード バランサーのサンプル アプリを開く

GitHub Codespaces

GitHub Codespaces は、Web 用の Visual Studio Code ユーザー インターフェイスとして GitHub によって管理される開発コンテナーを実行します。 最も簡単な開発環境では、GitHub Codespaces を使用して、この記事を完了するために正しい開発者ツールと依存関係がプレインストールされるようにします。

重要

すべての GitHub アカウントでは、2 つのコア インスタンスで毎月最大 60 時間無料で GitHub Codespaces を使用できます。 詳細については、GitHub Codespaces の月間ストレージとコア時間の内容に関しては およびを参照してください。

Visual Studio Code

Visual Studio Code 用の Dev Containers 拡張機能 では、ローカル コンピューター Docker をインストールする必要があります。 拡張機能は、Docker ホストを使用して開発コンテナーをローカルでホストし、この記事を完了するために正しい開発者ツールと依存関係がプレインストールされています。

Azure Container Apps ロード バランサーをデプロイする

1. Azure Developer CLI にサインインして、プロビジョニングとデプロイの手順に対する認証を提供します。

   azd auth login --use-device-code
   

2. プロビジョニング後の手順で Azure CLI 認証を使用するように環境変数を設定します。

   azd config set auth.useAzCliAuth "true"
   

3. ロード バランサー アプリをデプロイします。

   azd up
   

   デプロイのサブスクリプションとリージョンを選択します。 チャット アプリと同じサブスクリプションとリージョンである必要はありません。

4. デプロイが完了するまで待ってから続行します。

デプロイ エンドポイントを取得する

1. 次のコマンドを使用して、コンテナー アプリのデプロイされたエンドポイントを表示します。

   azd env get-values
   

2. CONTAINER_APP_URL 値をコピーします。 次のセクションで使用します。

ロード バランサー エンドポイントを使用してチャット アプリを再デプロイする

これらの例は、チャット アプリのサンプルで完了しています。

初期配置

1. 次のいずれかの選択肢を使用して、チャット アプリ サンプルの開発コンテナーを開きます。

   言語	GitHub Codespaces	Visual Studio Code
   .NET	で開く
   JavaScript	で開く
   パイソン	で開く

2. Azure Developer CLI (AZD) にサインインします。

   azd auth login
   

   サインイン手順を完了します。

3. AZDなどの名前を持つ chat-app 環境を作成します。

   azd env new <name>
   

4. 次の環境変数を追加します。これは、チャット アプリのバックエンドに、Azure OpenAI 要求にカスタム URL を使用するように指示します。

   azd env set OPENAI_HOST azure_custom
   

5. 次の環境変数を追加します。 前のセクションの URL で <CONTAINER_APP_URL> を置き換えます。 このアクションは、チャット アプリのバックエンドに、Azure OpenAI 要求のカスタム URL の値を通知します。

   azd env set AZURE_OPENAI_CUSTOM_URL <CONTAINER_APP_URL>
   

6. チャット アプリを展開します。

   azd up
   

再デプロイ

1. 次のいずれかの選択肢を使用して、チャット アプリ サンプルの開発コンテナーをもう一度開きます。

   言語	GitHub Codespaces	Visual Studio Code
   .NET	で開く
   JavaScript	で開く
   パイソン	で開く

2. 次の環境変数を追加します。これは、チャット アプリのバックエンドに、Azure OpenAI 要求にカスタム URL を使用するように指示します。

   azd env set OPENAI_HOST azure_custom
   

3. 次の環境変数を追加します。これは、チャット アプリのバックエンドに、Azure OpenAI 要求のカスタム URL の値を示します。

   azd env set CONTAINER_APP_URL <CONTAINER_APP_URL>
   

4. チャット アプリを展開します。

   azd up
   

   続行する前に、このプロセスが完了するまで待ちます。

これで、チャット アプリは、クォータを使い切ることなく、多くのユーザーにスケーリングできるように構築されているという確信を持って使用できるようになりました。

ログをストリーミングしてロード バランサーの結果を確認する

1. Azure portalで、リソース グループを検索します。

2. グループ内のリソースの一覧から、Azure Container Apps リソースを選択します。

3. ログを表示するには、監視>ログストリーム を選択します。

4. チャット アプリを使用して、ログにトラフィックを生成します。

5. Azure OpenAI リソースを参照するログを探します。 3 つの各リソースのログ コメントには、Proxying to https://openai3で始まる数値 ID があります。ここで、3 は 3 番目の Azure OpenAI リソースを示します。

   

要求がクォータを超えたという状態をロード バランサーが受信すると、ロード バランサーは自動的に別のリソースにローテーションされます。

TPM クォータを構成する

既定では、ロード バランサー内の各 Azure OpenAI インスタンスは、1 分あたり 30,000 トークン (TPM) の容量でデプロイされます。 チャット アプリは、クォータを使い切ることなく、多くのユーザー間でスケーリングできるように構築されているという確信を持って使用できます。 この値は、次の場合に変更します。

• デプロイ容量エラーが発生する: 値を小さくします。
• より高い容量が必要ですので、値を上げてください。

1. 次のコマンドを使用して値を変更します。

   azd env set OPENAI_CAPACITY 50
   

2. ロード バランサーを再デプロイします。

   azd up
   

リソースのクリーンアップ

チャット アプリとロード バランサーの使用が完了したら、リソースをクリーンアップします。 この記事で作成した Azure リソースは、Azure サブスクリプションに課金されます。 今後これらのリソースが必要になるとは思わない場合は、削除して、より多くの料金が発生しないようにします。

チャット アプリリソースをクリーンアップする

チャット アプリの記事に戻り、リソースをクリーンアップします。

• .NET
• JavaScript
• Python

アップロード バランサーのリソースをクリーンアップする

次の Azure Developer CLI コマンドを実行して、Azure リソースを削除し、ソース コードを削除します。

azd down --purge --force

スイッチは次の機能を提供します。

• purge: 削除されたリソースは直ちに消去されるため、1 分あたりに Azure OpenAI サービス トークンを再利用できます。
• force: 削除は、ユーザーの同意を必要とせずに、自動的に行われます。

GitHub Codespaces と Visual Studio Code をクリーンアップする

GitHub Codespaces

GitHub Codespaces 環境を削除すると、アカウントに対して取得するコア時間単位の無料エンタイトルメントの量を最大化できます。

重要

GitHub アカウントの権利の詳細については、「GitHub Codespaces の月単位に含まれるストレージとコア時間 」を参照してください。

1. GitHub Codespaces ダッシュボードにサインインします。

2. azure-samples/openai-aca-lb GitHub リポジトリから提供されている現在実行中のコードスペースを見つけます。

   

3. コードスペースのコンテキスト メニューを開き、[ 削除] を選択します。

   

Visual Studio Code

必ずしもローカル環境をクリーンアップする必要はありませんが、実行中の開発コンテナーを停止し、ローカル ワークスペースのコンテキストで Visual Studio Code の実行に戻ることができます。

1. コマンド パレットを開き、Dev Containers コマンドを検索します。

2. [Dev Containers: フォルダーをローカルで再度開く] を選択します。

   

ヒント

Visual Studio Code は実行中の開発コンテナーを停止しますが、コンテナーは引き続き Docker に停止状態で存在します。 ローカル マシンの領域を増やすために、コンテナー インスタンス、コンテナー イメージ、ボリュームを Docker から削除する選択肢は常にあります。

ヘルプを受ける

Azure API Management ロード バランサーのデプロイで問題が発生した場合は、リポジトリの Issues Web ページに問題を追加します。

サンプル コード

この記事で使用されるサンプルは次のとおりです。

• `RAG を使用した JavaScript チャットアプリ`
• Azure Container Apps を使用したロード バランサー

次の手順

• Azure Load Testing を使用して、Azure Load Testing Service を使用してチャット アプリをロード テストします。

• このテンプレートでの AZD の使用方法の詳細については、以下を参照してください。
  • Tech コミュニティのブログ投稿
  • 原子炉動画シリーズ