部署模型以進行批次推斷和預測

本文說明 Databricks 針對批次和串流推斷建議的內容。

如需 Azure Databricks 上的即時模型服務，請參閱 使用 Azure Databricks 提供模型。

使用ai_query進行批次推斷

重要

這項功能處於公開預覽狀態。

Databricks 建議搭配模型服務使用 ai_query 以進行批次推斷。 ai_query 是內建的 Databricks SQL 函式，可讓您使用 SQL 查詢提供端點的現有模型。 它已驗證為在數十億個令牌範圍內可靠地且一致地處理數據集。 如需此 AI 函式的詳細資訊，請參閱ai_query函式。

如需快速實驗，可以搭配每個令牌付費端點使用，ai_query因為這些端點已預先設定在您的工作區上。

當您準備好在大型或實際執行數據上執行批次推斷時，Databricks 建議使用布建的輸送量端點來提升效能。 請參閱 布建的輸送量基礎模型 API ，以建立布建的輸送量端點。

• 請參閱 使用ai_query執行批次推斷。
• 若要開始使用 Unity 目錄數據表上的 LLM 批次推斷，請參閱使用基礎模型 API 布建輸送量進行批次推斷中的筆記本範例。