教學課程：在 LlamaIndex 中搭配 Azure Container Apps 使用程式代碼解釋器會話

LlamaIndex 是建置內容增強語言模型 （LLM） 應用程式的強大架構。 當您使用 LlamaIndex 建置 AI 代理程式時，LLM 會解譯使用者輸入併產生回應。 AI 代理程式通常需要執行數學和符號推理來產生回應時，通常會苦苦掙扎。 藉由整合 Azure Container Apps 動態會話與 LlamaIndex，您可以為代理程式提供程式 碼解釋器 ，以用來執行特製化工作。

在本教學課程中，您將瞭解如何在 Web API 中執行 LlamaIndex AI 代理程式。 API 接受使用者輸入，並傳回 AI 代理程式所產生的回應。 代理程式會在動態會話中使用程式代碼解釋器來執行計算。

必要條件

• 具有有效訂用帳戶的 Azure 帳戶。
  • 如果您沒有，可以免費建立一個。
• 安裝 Azure CLI。
• Git。
• Python 3.10 或更新版本。

建立 Azure 資源

本快速入門中的範例應用程式會使用來自 Azure OpenAI 的 LLM。 它也會使用 Azure Container Apps 會話來執行 LLM 所產生的程式代碼。

1. 將 Azure CLI 更新為最新版本。

    az upgrade
   

2. 如果已安裝 Azure Container Apps 延伸模組，並安裝包含會話命令的 Azure Container Apps 擴充功能預覽版本，請移除它：

   az extension remove --name containerapp
   az extension add \
       --name containerapp \
       --allow-preview true -y
   

3. 登入 Azure：

   az login
   

4. 設定本快速入門中使用的變數：

   RESOURCE_GROUP_NAME=aca-sessions-tutorial
   AZURE_OPENAI_LOCATION=swedencentral
   AZURE_OPENAI_NAME=<UNIQUE_OPEN_AI_NAME>
   SESSION_POOL_LOCATION=eastasia
   SESSION_POOL_NAME=code-interpreter-pool
   

   將 取代 <UNIQUE_OPEN_AI_NAME> 為唯一的名稱，以建立您的 Azure OpenAI 帳戶。

5. 建立資源群組：

   az group create --name $RESOURCE_GROUP_NAME --location $SESSION_POOL_LOCATION
   

6. 建立 Azure OpenAI 帳戶：

   az cognitiveservices account create \
       --name $AZURE_OPENAI_NAME \
       --resource-group $RESOURCE_GROUP_NAME \
       --location $AZURE_OPENAI_LOCATION \
       --kind OpenAI \
       --sku s0 \
       --custom-domain $AZURE_OPENAI_NAME
   

7. 在 Azure OpenAI 帳戶中建立名為 gpt-35-turbo 的 GPT 3.5 Turbo 模型部署：

   az cognitiveservices account deployment create \
       --resource-group $RESOURCE_GROUP_NAME \
       --name $AZURE_OPENAI_NAME \
       --deployment-name gpt-35-turbo \
       --model-name gpt-35-turbo \
       --model-version "1106" \
       --model-format OpenAI \
       --sku-capacity "100" \
       --sku-name "Standard"
   

8. 建立程式代碼解釋器工作階段集區：

   az containerapp sessionpool create \
       --name $SESSION_POOL_NAME \
       --resource-group $RESOURCE_GROUP_NAME \
       --location $SESSION_POOL_LOCATION \
       --max-sessions 100 \
       --container-type PythonLTS \
       --cooldown-period 300
   

在本機執行範例應用程式

將應用程式部署至 Azure Container Apps 之前，您可以在本機執行應用程式以進行測試。

複製應用程式

1. 複製 Azure Container Apps 作業階段範例存放庫。

   git clone https://github.com/Azure-Samples/container-apps-dynamic-sessions-samples.git
   

2. 變更為包含範例應用程式的目錄：

   cd container-apps-dynamic-sessions-samples/llamaindex-python-webapi
   

設定應用程式

1. 建立 Python 虛擬環境並加以啟用：

   python3.11 -m venv .venv
   source .venv/bin/activate
   

   如果您使用不同的版本，請變更命令中的 Python 版本。 建議使用 Python 3.10 或更新版本。

   注意

   如果您使用 Windows，請將 取代 .venv/bin/activate 為 .venv\Scripts\activate。

2. 安裝必要 Python 套件：

   python -m pip install -r requirements.txt
   

3. 若要執行應用程式，您必須設定環境變數。

   1. 擷取 Azure OpenAI 帳戶端點：

      az cognitiveservices account show \
          --name $AZURE_OPENAI_NAME \
          --resource-group $RESOURCE_GROUP_NAME \
          --query properties.endpoint \
          --output tsv
      

   2. 擷取 Azure Container Apps 會話集區管理端點：

      az containerapp sessionpool show \
          --name $SESSION_POOL_NAME \
          --resource-group $RESOURCE_GROUP_NAME \
          --query properties.poolManagementEndpoint \
          --output tsv
      

   3. .env在範例應用程式目錄的根目錄中建立檔案（與 main.py相同位置）。 將下列內容新增至該檔案：

      AZURE_OPENAI_ENDPOINT=<AZURE_OPENAI_ENDPOINT>
      POOL_MANAGEMENT_ENDPOINT=<SESSION_POOL_MANAGEMENT_ENDPOINT>
      

      將 取代為 Azure OpenAI 帳戶端點，並將 <SESSION_POOL_MANAGEMENT_ENDPOINT> 取代<AZURE_OPENAI_ENDPOINT>為工作階段集區管理端點。

4. 應用程式會使用 DefaultAzureCredential 向 Azure 服務進行驗證。 在您的本機計算機上，它會使用您目前的 Azure CLI 登入認證。 您必須在 Azure OpenAI 帳戶上提供 認知服務 OpenAI 使用者 角色，應用程式才能存取模型端點，以及 應用程式會話集區上的 Azure ContainerApps 會話執行程式 角色，才能存取會話集區。

   1. 擷取您的 Azure CLI 使用者名稱：

      az account show --query user.name --output tsv
      

   2. 執行下列命令以擷取 Azure OpenAI 帳戶資源識別碼：

      az cognitiveservices account show --name $AZURE_OPENAI_NAME --resource-group $RESOURCE_GROUP_NAME --query id --output tsv
      

   3. 將 認知服務 OpenAI 使用者 角色指派給 Azure OpenAI 帳戶上的 Azure CLI 使用者：

      az role assignment create --role "Cognitive Services OpenAI User" --assignee <CLI_USERNAME> --scope <AZURE_OPENAI_RESOURCE_ID>
      

      以您的 Azure CLI 使用者名稱和 <AZURE_OPENAI_RESOURCE_ID> Azure OpenAI 帳戶資源識別碼取代 <CLI_USERNAME> 。

   4. 執行下列命令以擷取工作階段集區資源識別碼：

      az containerapp sessionpool show --name $SESSION_POOL_NAME --resource-group $RESOURCE_GROUP_NAME --query id --output tsv
      

   5. 使用其識別碼將 Azure ContainerApps 會話執行程式角色指派給會話集區上的 Azure CLI 使用者：

      az role assignment create \
          --role "Azure ContainerApps Session Executor" \
          --assignee <CLI_USERNAME> \
          --scope <SESSION_POOL_RESOURCE_ID>
      

      將 取代為您的 Azure CLI 用戶名稱，並將 <SESSION_POOL_RESOURCE_ID> 取代<CLI_USERNAME>為工作階段集區資源識別碼。

執行應用程式

執行範例應用程式之前，請在編輯器中開啟 main.py ，然後檢閱程序代碼。 應用程式會使用 FastAPI 來建立 Web API，以接受查詢字串中的使用者訊息。

下列幾行程式代碼會具現化 AzureCodeInterpreterToolSpec ，並將其提供給 LlamaIndex 代理程式：

code_interpreter_tool = AzureCodeInterpreterToolSpec(
    pool_managment_endpoint=pool_management_endpoint,
)
agent = ReActAgent.from_tools(code_interpreter_tool.to_tool_list(), llm=llm, verbose=True)

當它需要執行計算時，代理程式會使用 AzureCodeInterpreterToolSpec 中的程式碼解釋器來執行程式碼。 程序代碼會在會話集區的會話中執行。 根據預設，當您具現化工具時，會產生隨機會話標識符。 如果代理程式使用相同的工具來執行多個 Python 代碼段，則會使用相同的會話。 若要確保每個使用者都有唯一的工作階段，請針對每個使用者使用不同的代理程式和工具。

套件中llama-index-tools-azure-code-interpreter提供 AzureCodeInterpreterToolSpec。

1. 執行範例應用程式：

   fastapi dev main.py
   

2. 開啟瀏覽器並巡覽至 http://localhost:8000/docs。 您會看到範例應用程式的 Swagger UI。

3. 展開端點，/chat然後選取 [試用]。

4. 在message欄位中輸入 What time is it right now? ，然後選取 [執行]。

   代理程式會以目前時間回應。 在終端機中，您會看到記錄顯示代理程式產生的 Python 程式代碼，以取得目前的時間，並在程式代碼解釋器會話中執行。

5. 若要停止應用程式，請在終端機中輸入 Ctrl+C 。

選擇性：將範例應用程式部署至 Azure Container Apps

若要將 FastAPI 應用程式部署至 Azure Container Apps，您需要建立容器映射，並將其推送至容器登錄。 然後，您可以將映射部署至 Azure Container Apps。 命令 az containerapp up 會將這些步驟合併成單一命令。

接著，您必須設定應用程式的受控識別，併為其指派適當的角色，以存取 Azure OpenAI 和會話集區。

1. 設定 Container Apps 環境與應用程式名稱的變數：

   ENVIRONMENT_NAME=aca-sessions-tutorial-env
   CONTAINER_APP_NAME=chat-api
   

2. 建置應用程式並將其部署至 Azure Container Apps：

   az containerapp up \
       --name $CONTAINER_APP_NAME \
       --resource-group $RESOURCE_GROUP_NAME \
       --location $SESSION_POOL_LOCATION \
       --environment $ENVIRONMENT_NAME \
       --env-vars "AZURE_OPENAI_ENDPOINT=<OPEN_AI_ENDPOINT>" "POOL_MANAGEMENT_ENDPOINT=<SESSION_POOL_MANAGMENT_ENDPOINT>" \
       --source .
   

   將 取代為 Azure OpenAI 帳戶端點，並將 <SESSION_POOL_MANAGMENT_ENDPOINT> 取代<OPEN_AI_ENDPOINT>為工作階段集區管理端點。

3. 為應用程式啟用系統指派的受控識別：

   az containerapp identity assign \
       --name $CONTAINER_APP_NAME \
       --resource-group $RESOURCE_GROUP_NAME \
       --system-assigned
   

4. 若要讓應用程式存取 Azure OpenAI 和會話集區，您必須將受控識別指派適當的角色。

   1. 擷取受控識別的主體標識碼：

      az containerapp show \
          --name $CONTAINER_APP_NAME \
          --resource-group $RESOURCE_GROUP_NAME \
          --query identity.principalId \
          --output tsv
      

   2. 擷取會話集區資源標識碼：

      az containerapp sessionpool show \
          --name $SESSION_POOL_NAME \
          --resource-group $RESOURCE_GROUP_NAME \
          --query id \
          --output tsv
      

   3. 在會話集區上指派 和 Contributor 角色的受控識別Azure ContainerApps Session Executor：

      執行下列命令之前，請將 和 <SESSION_POOL_RESOURCE_ID> 取代<PRINCIPAL_ID>為您在先前步驟中擷取的值。

      az role assignment create \
          --role "Azure ContainerApps Session Executor" \
          --assignee <PRINCIPAL_ID> \
          --scope <SESSION_POOL_RESOURCE_ID>
      
      az role assignment create \
          --role "Contributor" \
          --assignee <PRINCIPAL_ID> \
          --scope <SESSION_POOL_RESOURCE_ID>
      

   4. 擷取 Azure OpenAI 帳戶資源識別碼：

      az cognitiveservices account show \
          --name $AZURE_OPENAI_NAME \
          --resource-group $RESOURCE_GROUP_NAME \
          --query id \
          --output tsv
      

   5. 將 Azure OpenAI 帳戶上的角色指派給受控識別 Cognitive Services OpenAI User ：

      執行下列命令之前，請將 和 <AZURE_OPENAI_RESOURCE_ID> 取代<PRINCIPAL_ID>為您在先前步驟中擷取的值。

      az role assignment create \
          --role "Cognitive Services OpenAI User" \
          --assignee <PRINCIPAL_ID> \
          --scope <AZURE_OPENAI_RESOURCE_ID>
      

5. 擷取應用程式的完整功能變數名稱 （FQDN）：

   az containerapp show \
       --name $CONTAINER_APP_NAME \
       --resource-group $RESOURCE_GROUP_NAME \
       --query properties.configuration.ingress.fqdn \
       --output tsv
   

6. 開啟瀏覽器以 https://<FQDN>/docs 測試已部署的應用程式。

清除資源

當您完成資源時，您可以將其刪除，以避免產生費用：

az group delete --name $RESOURCE_GROUP_NAME --yes --no-wait

下一步

程式碼解譯器工作階段