摘要

在本課程模組中，我們已討論如何將 Azure OpenAI 與 Azure APIM 搭配使用。藉由結合這些服務，您就能夠管理和保護對於 AI 模型的存取。

首先，我們討論了負載平衡的問題，以及 Azure APIM 能如何協助您管理流量，並確保負載平均分散到您的後端。我們也看了斷路器，以及其如何協助引導流量遠離狀況不良的後端。

接下來，我們還討論了權杖型速率限制，以及如何用它控制對於 API 的存取。我們學到的重要知識是，藉由設定權杖使用量限制可避免過量使用，以及所謂的「嘈雜的鄰居」。

最後，我們討論了如何使用 Azure OpenAI 發出權杖計量原則來監視和分析權杖使用模式。藉由提供完整的計量，您可以將資源配置最佳化、改善決策制定，以及增強效能監控。

下一步

以下是我們建議的後續步驟：