將 ML 工作流程升級至 Unity Catalog 中的目標模型
本文說明如何移轉和升級現有的 Databricks 工作流程, 在 Unity Catalog中使用模型。
需求
必要權限
若要在 Unity Catalog中執行模型訓練、部署或推斷工作流程,執行工作流程的主體必須擁有 catalog 和 schema 上的 USE CATALOG
和 USE SCHEMA
權限,這些是用於存放模型的資源。
也需要下列權限:
- 若要建立模型,主體必須具有
CREATE MODEL
權限。 - 若要載入或部署模型,主體必須具有已註冊模型的
EXECUTE
權限。
只有已註冊模型的擁有者可執行下列動作:
- 建立新的模型版本。
- Set 已註冊模型上的別名。
計算需求
為工作流程指定的計算資源必須能夠存取 Unity Catalog。 請參閱存取模式。
建立平行訓練、部署和推斷工作流程
若要將模型定型和推斷工作流程升級至 Unity Catalog,Databricks 建議使用累加方法,在其中建立平行定型、部署和推斷管線,以利用 Unity Catalog中的模型。 當您熟悉使用 Unity Catalog的結果時,您可以將下游使用者切換為讀取批次推論輸出,或增加流量以路由至服務端點中 Unity Catalog 的模型。
模型訓練工作流程
複製模型訓練工作流程。 確認執行工作流程的主體和為工作流程指定的計算符合需求。
接下來,修改複製工作流程中的模型訓練程式碼。 您可能需要複製工作流程執行的筆記本,或在複製的工作流程中建立新的 Git 分支並設定目標。 請遵循 這些步驟, 安裝必要的 MLflow 版本,並將客戶端設定為在定型程式代碼中以 Unity Catalog 為目標。 然後,update 模型定型程式代碼,將模型註冊至 Unity Catalog。 請參閱 訓練和註冊 Unity Catalog相容模型。
模型部署工作流程
複製模型部署工作流程。 確認執行工作流程的主體和為工作流程指定的計算符合需求。
如果您的部署工作流程中有模型驗證邏輯,update 它 從 UC載入模型版本。 使用別名來管理生產模型推出。
模型推斷工作流程
批次推斷工作流程
複製批次推斷工作流程。 確認執行工作流程的主體和為工作流程指定的計算符合需求。
模型服務工作流程
如果您使用 Mosaic AI 模型服務,則不需要複製現有的端點。 請改用 流量分割 功能,開始將少量流量路由傳送至 Unity Catalog中的模型。 當您使用 Unity Catalog檢閱結果時,請增大流量,直到所有流量重新路由。
跨環境升階模型
跨環境促進模型的運作方式與 Unity Catalog中的模型不同。 如需詳細資訊,請參閱跨環境升階模型。
使用作業 Webhook 進行模型部署的手動核准
Databricks 建議您盡可能自動化模型部署,並在模型部署程序期間使用適當的檢查和測試。 不過,如果您確實需要執行手動核准來部署生產模型,可在模型訓練作業成功完成後,使用作業通知來呼叫外部 CI/CD 系統,要求手動核准以部署模型。 提供手動核准之後,CI/CD 系統就可部署模型版本來提供流量,例如,在上面設定「Champion」的別名。