評估、部署及測試微調的基礎模型

已完成

當您已從 Azure Machine Learning 中的模型目錄微調基礎模型時,您可以評估模型並加以部署,以輕鬆測試及取用模型。

評估微調模型

若要決定微調的模型是否如預期般執行,您可以檢閱定型和評估計量。

當您提交要微調的模型時,Azure Machine Learning 會在實驗內建立新的管線作業。 管線作業包含代表模型微調的元件。 您可以藉由選取已完成的管線作業來分析作業的記錄、計量和輸出,並選取特定的微調元件來探索更多內容。

Screenshot of metrics of the completed pipeline job that fine-tuned a foundation model.

提示

在 Azure Machine Learning 中,會使用 MLflow 追蹤模型計量。 如果您想要以程式設計的方式存取和檢閱計量,您可以在 Jupyter 筆記本中使用 MLflow。

刪除微調模型

若要測試及取用微調的模型,您可以將模型部署到端點。

Azure Machine Learning 中的 端點應用程式設計介面 (API),是可公開定型或微調的模型,讓使用者或應用程式根據新資料進行預測。

Azure Machine Learning 中有兩種線上端點:

  • 即時 端點:專為處理即時或動態預測而設計。
  • 批次 端點:已針對一次處理大量資料進行最佳化。

由於即時端點可讓您立即取得預測,因此這些端點也適合用來測試模型的預測。

使用 Azure Machine Learning 工作室註冊您的模型

若要使用 Azure Machine Learning 工作室部署微調模型,您可以使用微調作業的輸出。

Azure Machine Learning 會使用 MLflow 來追蹤作業、記錄計量和模型化檔案。 由於 MLflow 已與 Azure Machine Learning 工作室整合,因此您可以輕鬆地從作業部署模型。

首先,您必須從作業輸出註冊模型。 瀏覽至作業概觀以尋找 [+ 註冊模型] 選項。

Screenshot of pipeline job overview with register model feature.

已註冊的模型類型為 MLflow,而 Azure Machine Learning 會自動填入包含模型檔案的資料夾。 您必須提供已註冊模型的名稱與版本 (選擇性)。

使用 Azure Machine Learning 工作室部署模型

在 Azure Machine Learning 工作區中註冊模型之後,您可以瀏覽至模型概觀,並將其部署至即時或批次端點。

Screenshot of the deployment options from a registered model.

例如,您可以透過提供下列專案,將您的模型部署至即時端點:

Screenshot of the endpoint creation from a registered model.

  • 虛擬機器:端點所使用的計算。
  • 執行個體計數:要用於部署的執行個體數目。
  • 端點:將您的模型部署到新的或現有的端點。
  • 端點名稱:用來產生端點 URL。
  • 部署名稱:已部署至端點的模型名稱。

注意

您可以將多個模型部署到相同的端點。 建立端點並將模型部署至端點需要一些時間。 等到端點和部署都準備好,再嘗試測試或使用已部署的模型。

在 Azure Machine Learning 工作室中測試模型

當您的模型部署至即時端點時,您可以在 Azure Machine Learning 工作室中快速測試模型。

瀏覽至端點並探索 [測試] 索引標籤。

Screenshot of the test pane of a deployed model.

當即時端點作為 API 運作時,它需要 JSON 格式的輸入資料。 在 [測試] 索引標籤中提供的預期輸出範例:

{
  "input_data": {
    "columns": [
      "input_string"
    ],
    "index": [],
    "data": []
  }
}

測試資料的格式應該類似於定型資料,不包括標籤資料行。 例如,當您想要針對文字分類測試模型微調時,您必須提供一個資料行給端點:要分類的句子:

{
  "input_data": {
    "columns": [
      "input_string"
    ],
    "index": [0, 1],
    "data": [["This would be the first sentence you want to classify."], ["This would be the second sentence you want to classify."]]
  }
}

您可以在工作室中輸入任何測試資料,然後選取 [測試] 將資料傳送至端點。 結果幾乎是立即出現在 [測試結果] 之下。

提示

如果您在 [測試結果] 下找不到預期的回應,最可能的原因是輸入資料的格式不正確。 部署 MLflow 模型時,會自動產生評分指令碼,這表示輸入資料的格式應該類似於定型資料 (排除標籤資料行)。