总结

在本模块中，我们介绍了如何将 Azure OpenAI 与 Azure API 管理配合使用。通过组合这些服务，可以管理和保护对 AI 模型的访问。

首先，我们讨论了负载均衡问题，以及 Azure API 管理如何帮助你管理流量并确保负载均匀分布在后端。我们还探讨了断路器，以及它们如何帮助引导流量远离运行不正常的后端。

接下来，我们讨论了基于令牌的速率限制以及如何使用它来控制对 API 的访问。一项重要的学习内容是，通过设置令牌消耗限制来避免过度消耗和所谓的“嘈杂邻居”。

最后，我们讨论了如何使用 Azure OpenAI 发出令牌指标策略来监视和分析令牌使用模式。通过提供全面的指标，可以优化资源分配、改进决策并增强性能监视。

后续步骤

以下是建议的后续步骤：