你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

LLM 工具

使用提示流中的大型语言模型（LLM）工具，可以利用 OpenAI 或 Azure OpenAI 服务等广泛使用的大型语言模型，或者 Azure AI 模型推理 API 支持的任何语言模型，以便进行自然语言处理。

提示流提供几个不同的大型语言模型 API：

注意

我们从 LLM 工具 API 设置中删除了 embedding 该选项。可以将嵌入 API 与嵌入工具一起使用。 Azure OpenAI 连接仅支持基于密钥的身份验证。请不要在 Azure OpenAI 资源的资源组名称中使用非 ascii 字符，提示流不支持这种情况。

先决条件

创建 OpenAI 资源：

OpenAI：
- 在 OpenAI 网站上注册帐户。
- 登录并查找个人 API 密钥。
Azure OpenAI：
- 按照这些说明创建 Azure OpenAI 资源。
部署到无服务器 API 终结点的模型
- 使用感兴趣的目录中的模型创建终结点，并使用无服务器 API 终结点部署该终结点。
- 若要使用部署到 Azure AI 模型推理 API 支持的无服务器 API 终结点的模型，例如 Mistral、Cohere、Meta Llama 或 Microsoft 系列模型（等等），需要在项目中创建与终结点的连接

在提示流中设置与预配资源的连接。

类型	名称	API 密钥	API 类型	API 版本
OpenAI	必需	必须	-	-
Azure OpenAI - API 密钥	必须	必需	必需	必须
Azure OpenAI - Microsoft Entra ID	必须	-	-	必须
无服务器模型	必须	必须	-	-

提示

若要对 Azure OpenAI 连接使用 Microsoft Entra ID 身份验证类型，需要为用户或用户分配的托管标识分配 Cognitive Services OpenAI User 或 Cognitive Services OpenAI Contributor role。
详细了解如何指定使用用户标识提交流运行。
详细了解如何为 Azure OpenAI 服务配置托管标识。

以下部分显示了各种输入。

名称	Type	描述	必需
prompt	string	语言模型用于响应的文本提示。	是
model, deployment_name	string	要使用的语言模型。如果将模型部署到无服务器 API 终结点，则不需要此参数。	是*
max_tokens	integer	要在响应中生成的最大令牌数。默认为 inf。	否
温度	FLOAT	所生成文本的随机性。默认值为 1。	否
stop	list	所生成文本的停止序列。默认值为 null。	否
top_p	FLOAT	使用所生成令牌中首选项的概率。默认值为 1。	否
presence_penalty	float	用于控制模型重复短语的行为的值。默认为 0。	否
frequency_penalty	float	用于控制模型生成罕见短语的行为的值。默认为 0。	否
logit_bias	dictionary	语言模型的 Logit 偏差。默认值为空字典。	否

API	返回类型	说明
Completion	string	一个预测完成的文本
聊天	string	对话的一个响应的文本