部署模型以進行批次推斷和預測
本文說明 Databricks 針對批次推斷建議的內容。
如需在 Azure Databricks 上提供即時模型服務，請參閱 馬賽克 AI 模型服務部署模型。
用於批次推斷的 AI 函式
重要
這項功能處於公開預覽狀態。
AI Functions 是內建的函式，可用來對儲存在 Databricks 上的數據套用 AI。 您可以使用 工作特定的 AI 函式 或一般用途函式，ai_query執行批次推斷。 為了有彈性，Databricks 建議使用 ai_query 進行批次推斷。
使用 ai_query 進行批次推斷有兩種主要方式：
- 使用
ai_query和 Databricks 裝載的基礎模型進行 批次推斷。 當您使用此方法時，Databricks 會設定服務端點的模型，以根據工作負載自動調整。 查看哪些預先布建的 LLM 得到支援。 -
使用
ai_query的 Batch 推論，並使用您自行設定的模型服務端點。 使用批次推理工作流程時，如果涉及由 Databricks 外部裝載的基礎模型、調整過的基礎模型或傳統 ML 模型，就必須使用此方法。 部署之後，端點可以直接與ai_query搭配使用。
使用 Spark DataFrame 進行 批次推斷
若需有關使用 Spark 的模型推論工作流程的逐步指南，請參閱 使用 Spark DataFrame 執行批次推論。
如需深度學習模型推斷範例，請參閱下列文章：
使用 Spark UDF 的結構化數據擷取和批次推斷
下列範例筆記本示範透過自動化擷取技術，將未經結構化數據擷取的簡單代理程式開發、記錄和評估，轉換成有組織、可使用的資訊。 此方法示範如何使用 MLflow 的 PythonModel 類別來實作批次推斷的自定義代理程式，並使用記錄的代理程式模型作為 Spark User-Defined 函式 （UDF）。 此筆記本也會示範如何使用馬賽克 AI 代理程式評估，使用地面真相數據來評估精確度。
使用 Spark UDF 的結構化數據擷取和批次推斷
:::