共用方式為

自動調整 AI 服務限制

  • 發行項

本文提供指引，說明客戶如何存取特定 Azure AI 服務資源的較高速率限制。

概觀

每個 Azure AI 服務資源都有預先設定的靜態呼叫速率 (每秒交易)，這會限制客戶可在指定時間範圍，對後端服務進行同時呼叫的次數。 根據近乎即時的資源使用量計量和後端服務容量計量，自動調整功能會自動增加/減少客戶資源的速率限制。

開始使用自動調整功能

預設會針對每個新資源停用這項功能。 如果您的資源支援自動調整，請遵循下列指示加以啟用：

移至 Azure 入口網站的資源頁面，然後選取左窗格中的 [概觀] 索引標籤。 在 [基本資訊] 區段下，尋找 [自動調整] 行，然後選取連結以檢視 [自動調整設定] 窗格並啟用此功能。

Azure 入口網站的螢幕擷取畫面，其中包含右側的 [自動調整] 窗格。

常見問題集

哪些服務支援自動調整功能？

自動調整功能可在下列服務的付費訂用帳戶層中使用：

我可以使用免費訂用帳戶測試此功能嗎？

否，免費層訂用帳戶無法使用自動調整功能。

啟用自動調整功能是否表示我的資源永遠不會再次節流？

否，您仍可能會收到 429 超出速率限制的錯誤。 如果應用程式觸發尖峰，且資源回報 429 回應，自動調整將會檢查可用的容量預測區段，以查看目前的容量是否可以容納速率限制增加，並在五分鐘內回應。

如果可用的容量足以增加，自動調整將會逐漸增加資源的速率限制上限。 如果您繼續以高速率呼叫資源，導致更多 429 節流，則 TPS 速率會隨著時間持續增加。 如果此動作持續一小時以上，您應該會達到目前可供該資源使用的最大速率 (最多 1000 TPS)。

如果可用的容量不足以增加，自動調整功能會等候五分鐘，然後再檢查一次。

如果我需要較高的預設速率限制，該怎麼辦？

根據預設，Azure AI 服務資源的預設速率限制為 10 TPS。 如果您需要較高的預設 TPS，請遵循 Azure 入口網站中資源頁面上的 [新增支援要求] 連結，以提交票證。 請記得在要求中包含業務理由。

這項功能是否會增加 Azure 支出？

Azure AI 服務價格尚未變更，且可在這裡查看。 我們只會針對向 Azure AI 服務 API 所做成功呼叫計費。 不過，增加的呼叫速率限制表示將完成更多交易，而且您可能會收到較高額的帳單。

請注意潛在錯誤及其結果。 如果用戶端應用程式中的錯誤 (bug) 導致其每秒呼叫服務數百次，這可能會導致較高的帳單，而成本在固定速率限制下會比較有限。 這種錯誤是您的責任。 我們強烈建議您在使用自動調整功能之前，針對具有固定速率限制的資源執行開發和用戶端更新測試。

如果我寧願限制費率，而不是無法預測支出，是否可以停用此功能？

是，您可以透過 Azure 入口網站或 CLI 停用自動調整功能，並返回預設呼叫速率限制設定。 如果先前已針對較高的預設 TPS 核准資源，則會回到該速率。 變更最多可能需要五分鐘才會生效。

下一步