探索连接和运行时
使用提示流创建大型语言模型 (LLM) 应用程序时,首先需要配置任何必要的连接和运行时。
探索连接
每当你希望你的流连接到外部数据源、服务或 API 时,都需要授权该流与该外部服务通信。 创建连接时,可以在提示流和外部服务之间配置安全链接,确保无缝和安全的数据通信。
根据所创建的连接类型,连接会安全地存储终结点、API 密钥或凭据,以便提示流与外部服务通信。 任何必要的机密不会向用户公开,而是存储在 Azure Key Vault 中。
通过设置连接,用户可以轻松地重复使用其流中工具所需的外部服务。
某些内置工具要求配置连接:
连接类型 | 内置工具 |
---|---|
Azure Open AI | LLM 或 Python |
Open AI | LLM 或 Python |
认知搜索 | 矢量数据库查找或 Python |
Serp | Serp API 或 Python |
自定义 | Python |
提示流连接在两种方案中扮演关键角色。 它们自动执行 API 凭据管理,简化和保护对敏感信息的处理。 此外,它们还支持从各种源进行安全数据传输,这对于在不同的环境中维护数据完整性和隐私至关重要。
探索运行时
创建流并配置工具使用的必要连接后,你需要运行流。 要运行流,需要通过提示流运行时提供的计算。
运行时 (1) 是一个计算实例 (2) 的组合,提供必要的计算资源,以及一个环境 (3),用于指定能够运行流之前需要安装的必要包和库。
使用运行时时,你有一个受控的环境,可在其中运行和验证流,确保一切按预期在稳定的设置中工作。 默认环境可用于快速开发和测试。 当你需要安装其他包时,可以创建自定义环境。