共用方式為

將模型新增和設定至 Azure AI 模型推斷

  • 發行項

重要

本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

您可以決定並設定哪些模型可用於推斷端點中的推斷。 設定指定的模型時，您就可以在要求上指出其模型名稱或部署名稱，從中產生預測。 您的程式代碼不需要進一步變更即可使用它。

在本文中，您將瞭解如何在 Azure AI Foundry 中將新的模型新增至 Azure AI 模型推斷。

必要條件

若要完成本文，您需要：

  • 使用將模型部署至 Azure AI 模型推斷服務的功能，連線到 Azure AI 服務資源的 AI 專案。

新增模型

您可以使用下列步驟，將模型新增至 Azure AI 模型推斷端點：

  1. 移至 Azure AI Foundry 入口網站中的 [模型目錄] 區段。

  2. 捲動至您感興趣的模型，然後加以選取。

    動畫顯示如何在模型目錄中搜尋模型，並選取一個來檢視其詳細數據。

  3. 您可以在模型卡片中檢閱模型的詳細數據。

  4. 選取 [部署]。

  5. 對於需要更多合約條款的模型提供者，系統會要求您接受這些條款。 例如，這是Mistral模型的情況。 選取 [訂閱並部署]，以接受這些案例的條款。

    顯示如何同意Mistral-Large模型條款和條件的螢幕快照。

  6. 此時您可以設定部署設定。 根據預設，部署會接收您要部署的模型名稱。 部署名稱用於 參數中 model ，要求路由至此特定模型部署。 這可讓您在附加特定組態時，為模型設定特定名稱。 例如 o1-preview-safe ，具有嚴格內容安全性內容篩選的模型。

    提示

    每個模型都可以支援不同的部署類型，以提供不同的數據落地或輸送量保證。 如需詳細資訊，請參閱 部署類型 。

  7. 我們會根據您的項目自動選取 Azure AI Services 連線。 使用 [ 自定義] 選項，根據您的需求變更連線。 如果您要在標準部署類型下部署，模型必須在 Azure AI 服務資源的區域中提供。

    顯示如何視需要自定義部署的螢幕快照。

    提示

    如果未列出所需的資源，您可能需要建立與其連線。 請參閱 在 Azure AI Foundry 入口網站中的項目中 設定 Azure AI 模型推斷服務。

  8. 選取 [部署]。

  9. 部署完成之後，新的模型就會列在頁面中，並準備好使用。

管理模型

您可以使用 Azure AI Foundry 入口網站來管理資源中的現有模型部署。

  1. 移至 Azure AI Foundry 入口網站中的 [模型 + 端點] 區段。

  2. 捲動至 Azure AI Services 資源的連線。 模型部署會分組並顯示每個連線。

    此螢幕快照顯示指定連接下可用的模型清單。

  3. 您會看到每個連線下可用的模型清單。 選取您感興趣的模型部署。

  4. 視需要編輯或刪除部署。

在遊樂場中測試部署

您可以使用遊樂場與 Azure AI Foundry 入口網站中的新模型互動：

注意

只有在使用 Azure AI Foundry 中的 AI 專案時，才能使用遊樂場。 建立 AI 專案，以取得 Azure AI Foundry 中所有功能的完整存取權。

  1. 移至 Azure AI Foundry 入口網站中的 [遊樂場] 區段。

  2. 根據您部署的模型類型，選取所需的遊樂場。 在此案例中，我們選取 [聊天遊樂場]。

  3. 在 [部署] 下拉式清單中，選取您建立的模型部署名稱。

    顯示如何選取要用於遊樂場之模型部署的螢幕快照。

  4. 輸入您的提示，並查看輸出。

  5. 此外，您可以使用 檢視程序代碼 ，以程式設計方式查看如何存取模型部署的詳細數據。

重要

本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

您可以決定並設定哪些模型可用於推斷端點中的推斷。 設定指定的模型時，您就可以在要求上指出其模型名稱或部署名稱，從中產生預測。 您的程式代碼不需要進一步變更即可使用它。

在本文中，您將瞭解如何在 Azure AI Foundry 中將新的模型新增至 Azure AI 模型推斷。

必要條件

若要完成本文，您需要：

  • 安裝 Azure CLI 和cognitiveservices適用於 Azure AI 服務的擴充功能：

    az extension add -n cognitiveservices

  • 本教學課程中的某些命令會使用 jq 工具，而此工具可能未安裝在您的系統中。 如需安裝指示，請參閱 下載 jq。

  • 識別下列資訊：

    • 您的 Azure 訂用帳戶識別碼。

    • 您的 Azure AI 服務資源名稱。

    • 部署 Azure AI 服務資源的資源群組。

加入模型

若要新增模型，您必須先識別要部署的模型。 您可以查詢可用的模型，如下所示：

  1. 登入您的 Azure 訂用帳戶：

    az login

  2. 如果您有 1 個以上的訂用帳戶，請選取資源所在的訂用帳戶：

    az account set --subscription $subscriptionId>

  3. 使用您計劃使用的 Azure AI 服務資源名稱和資源群組，設定下列環境變數。

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"

  4. 如果您尚未建立 Azure AI 服務帳戶，您可以建立一個帳戶，如下所示：

    az cognitiveservices account create -n $accountName -g $resourceGroupName

  5. 讓我們先看看哪些模型可供您使用，以及哪些 SKU。 下列命令會列出所有可用的模型定義：

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. 輸出如下所示：

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. 識別您想要部署的模型。 您需要屬性 name、 format、 version與 sku。 視部署類型而定，可能需要容量。

    提示

    請注意，並非所有模型都可在所有 SKU 中使用。

  8. 將模型部署新增至資源。 下列範例會新增 Phi-3.5-vision-instruct：

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. 模型已準備好取用。

您可以視需要多次部署相同的模型，只要它是在不同的部署名稱下即可。 如果您想要測試指定模型的不同組態，包括內容安全性，這項功能可能會很有用。

管理部署

您可以使用 CLI 檢視所有可用的部署：

  1. 執行下列命令以檢視所有作用中的部署：

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. 您可以看到指定部署的詳細資料：

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. 您可以刪除指定的部署，如下所示：

        az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

使用模型

您可以使用 Azure AI 模型的推斷端點來取用 Azure AI 模型推斷中的模型。 建構要求時，請指出 參數 model ，並插入您已建立的模型部署名稱。 您可以使用下列程式代碼，以程式設計方式取得推斷端點的 URI：

推斷端點

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

若要對 Azure AI 模型推斷端點提出要求，請附加 路由 models，例如 https://<resource>.services.ai.azure.com/models。 您可以在 Azure AI 模型推斷 API 參考頁面看到端點的 API 參考。

推斷索引鍵

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

重要

本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

您可以決定並設定哪些模型可用於推斷端點中的推斷。 設定指定的模型時，您就可以在要求上指出其模型名稱或部署名稱，從中產生預測。 您的程式代碼不需要進一步變更即可使用它。

在本文中，您將瞭解如何在 Azure AI Foundry 中將新的模型新增至 Azure AI 模型推斷。

必要條件

若要完成本文，您需要：

  • 安裝 Azure CLI。

  • 識別下列資訊：

    • 您的 Azure 訂用帳戶識別碼。

    • 您的 Azure AI 服務資源名稱。

    • 部署 Azure AI 服務資源的資源群組。

    • 您想要部署的模型名稱、提供者、版本和 SKU。 您可以使用 Azure AI Foundry 入口網站或 Azure CLI 來識別它。 在此範例中，我們會部署下列模型：

      • 模型名稱：： Phi-3.5-vision-instruct
      • 提供者： Microsoft
      • 版本：2
      • 部署類型：全域標準

新增模型

  1. 使用樣本 ai-services-deployment-template.bicep 來描述模型部署：

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. 執行部署：

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

使用模型

您可以使用 Azure AI 模型的推斷端點來取用 Azure AI 模型推斷中的模型。 建構要求時，請指出 參數 model ，並插入您已建立的模型部署名稱。

下一步