部署模型进行批量推理和预测

本文介绍 Databricks 建议用于批处理和流式推理的内容。

有关 Azure Databricks 上的实时模型服务，请参阅 使用 Azure Databricks 提供服务的模型。

使用ai_query进行批处理推理

重要

此功能目前以公共预览版提供。

Databricks 建议将模型服务用于ai_query批处理推理。 ai_query 是一个内置的 Databricks SQL 函数，可用于查询使用 SQL 提供终结点的现有模型。 它已验证为在数十亿个令牌范围内可靠且一致地处理数据集。 有关此 AI 函数的更多详细信息，请参阅ai_query函数。

对于快速试验，可与按令牌付费的终结点一起使用，ai_query因为这些终结点已在工作区上预先配置。

准备好对大型数据或生产数据运行批处理推理时，Databricks 建议使用预配的吞吐量终结点来提高性能。 请参阅 预配吞吐量基础模型 API 来创建预配的吞吐量终结点。

• 请参阅使用 ai_query 执行批处理推理。
• 若要开始使用 Unity 目录表上的 LLM 进行批量推理，请参阅使用基础模型 API 预配吞吐量的 Batch 推理中的笔记本示例。