部署模型以進行批次推斷和預測

本文說明 Databricks 針對批次推斷建議的內容。

如需在 Azure Databricks 上提供即時模型服務，請參閱 馬賽克 AI 模型服務部署模型。

使用ai_query進行批次推斷

重要

這項功能處於公開預覽狀態。

Databricks 建議搭配ai_query使用 以進行批次推斷。 ai_query 是內建的 Databricks SQL 函式，可讓您使用 SQL 查詢提供端點的現有模型。 它已驗證為在數十億個令牌範圍內可靠地且一致地處理數據集。 如需此 AI 函式的詳細資訊，請參閱ai_query函式。

如需快速實驗，可以搭配ai_query使用，因為這些端點已預先設定在您的工作區上。

當您準備好在大型或實際執行數據上執行批次推斷時，Databricks 建議使用布建的輸送量端點來提升效能。 請參閱 布建的輸送量基礎模型 API，以建立布建的輸送量端點。

• 請參閱 使用 ai_query執行批次 LLM 推理。