編輯

共用方式為


Azure AI 模型推斷常見問題

如果您在本文件中找不到問題的解答,且仍需要協助,請參閱 Azure AI 服務支援選項指南

一般

Azure OpenAI 服務和 Azure AI 模型推斷有何差異?

Azure OpenAI 服務可讓客戶從 OpenAI 存取進階語言模型。 Azure AI 模型推斷可擴充這類功能,讓客戶在相同的服務、端點和認證下存取 Azure AI 中的所有旗艦模型。 其中包含 Azure OpenAI、Cohere、Mistral AI、Meta Llama、AI21 實驗室等。客戶可以在模型之間順暢地切換,而不需要變更其程序代碼。

Azure OpenAI 服務和 Azure AI 模型推斷都是 Azure AI 服務系列的一部分,並建立在 Azure 相同的安全性和企業承諾之上。

雖然 Azure AI 模型推斷著重於推斷,但 Azure OpenAI 服務可以搭配更進階的 API 使用,例如批次、微調、助理和檔案。

OpenAI 與 Azure OpenAI 之間的差異為何?

Azure AI 模型和 Azure OpenAI 服務可讓客戶透過 Azure 的安全性和企業承諾,從 OpenAI 存取進階語言模型。 Azure OpenAI 使用 OpenAI 共同開發 API,以確保相容性,並且能夠在兩個 API 之間順暢轉換。

客戶在執行與 OpenAI 相同的模型時,可取得Microsoft Azure 的安全性功能。 它提供專用網、區域可用性,以及負責任的 AI 內容篩選。

深入瞭解 Azure OpenAI 服務

Azure AI 服務和 Azure AI Foundry 有何差異?

Azure AI 服務是一套 AI 服務,可為常見的 AI 案例提供預先建置的 API。 Azure AI 服務是 Azure AI Foundry 平臺的一部分。 Azure AI 服務可用於 Azure AI Foundry 入口網站,透過預先建置的 AI 功能來增強您的模型。

模型

為什麼 Azure AI 服務不支援 Azure AI 模型目錄中的所有模型?

AI 服務中的 Azure AI 模型推斷支援 Azure AI 目錄中具有隨用隨付計費的所有模型。 如需詳細資訊,請參閱 模型一文

Azure AI 模型目錄包含更廣泛的模型清單,不過,這些模型需要訂用帳戶的計算配額。 他們也需要有專案或 AI 中樞,才能裝載部署。 如需詳細資訊,請參閱 Azure AI Foundry 中的部署選項。

SDK 和程式設計語言

Azure AI 模型推斷支援的 SDK 和程式設計語言有哪些?

您可以使用 Azure 推斷 SDK 搭配 Azure AI 模型推斷在 Azure AI 服務中支援的任何模型、 AzureOpenAI OpenAI SDK 中的 類別,或 Azure OpenAI SDK。

連線到 Azure AI 服務時,不支援 Cohere SDK、Mistral SDK 和模型提供者特定的 SDK。

如需詳細資訊,請參閱 支援的SDK和程式設計語言

Azure AI 模型推斷是否可與 OpenAI (version>=1.0) 發行的最新 Python 連結庫搭配運作?

Azure AI 服務支援最新版的 OpenAI Python 連結庫(version>=1.0)。

我要求支援 Azure AI 模型推斷的模型,但我收到 404 錯誤。 我該怎麼做?

請確定您已為指定的模型建立部署,且部署名稱與您傳入model參數的值完全相符。 雖然路由不區分大小寫,但請確定沒有特殊的標點符號或空格,因為這些是常見的錯誤。

我使用適用於 Python 的 'azure-ai-inference' 套件,當我嘗試使用密鑰進行驗證時,我會收到 401 錯誤。 我該怎麼做?

Azure AI Services 資源需要適用於 Python 的版本 azure-ai-inference>=1.0.0b5 。 請確定您使用的是該版本。

我使用的是 OpenAI SDK,並指出 Azure OpenAI 推斷端點作為基底 URL(https://<resource-name>.openai.azure.com)。 不過,我收到 404 錯誤。 我該怎麼做?

請確定您使用的是正確的 Azure OpenAI 服務和正確的認證集合端點。 此外,請確定您使用的是 OpenAI SDK 中的 類別 AzureOpenAI ,因為所使用的驗證機制和 URL 不同。

Azure AI 模型推斷是否支援自定義 API 標頭? 我們會將自定義標頭附加至 API 要求,並看到 HTTP 431 失敗錯誤。

我們目前的 API 最多允許 10 個自訂標頭,這些標頭會透過管線傳遞並傳回。 我們注意到一些客戶現在超過此標頭計數,導致 HTTP 431 錯誤。 除了減少標頭磁碟區以外,沒有此錯誤的解決方案。 在未來的 API 版本中,我們不再通過自定義標頭。 建議您在未來的系統架構中,不要相依於自定義標頭。

定價與計費

Azure AI 模型推斷如何計費?

您需要為 API 的輸入和輸出 (通常為權杖形式) 付費。 資源本身或部署沒有任何相關成本。

令牌價格會因每個模型而有所不同,且每1,000個令牌計費。 您可以在部署指定的模型之前,先查看定價詳細數據。 如需計費的詳細資訊,請參閱 管理成本

哪裡可以看到帳單詳細數據?

計費和成本會顯示在 Azure 成本管理 + 計費中。 您可以在 Azure 入口網站 中看到使用量詳細數據。

Azure AI Foundry 入口網站中不會顯示計費。

如何將消費限制放在帳單上?

您可以在 Azure 成本管理 + 計費Azure 入口網站設定消費限制。 此限制可防止您花費超過您設定的限制。 一旦達到消費限制,訂用帳戶將會停用,而且在下一個計費週期之前,您將無法使用端點。

資料及隱私權

您是否使用我的公司資料來訓練任何模型?

Azure AI 模型推斷不會使用客戶數據來重新定型模型,而且客戶數據永遠不會與模型提供者共用。

客戶著作權承諾

我該如何根據客戶著作權承諾獲得保險?

客戶著作權承諾書是 2023 年 12 月 1 日所包含的條款,Microsoft產品條款,其中說明Microsoft有義務保護客戶免受與輸出內容相關的某些非Microsoft智慧財產權索賠。 如果宣告的主體是 Azure OpenAI 服務所產生的輸出內容(或任何其他允許客戶設定安全系統的涵蓋產品),則若要接收涵蓋範圍,客戶必須在提供輸出內容的供應專案中實作 Azure OpenAI 服務檔所需的所有風險降低措施。 必要的風險降低措施記載於此處,並持續更新。 對於新的服務、功能、模型或使用案例,新的 CCC 要求會在該等服務、功能、模型或使用案例發行當下或之後生效。 否則,客戶自發行之日起,有六個月的時間可實行新的風險降低措施,以維持 CCC 保險。 如果客戶提出索賠,客戶必須證明其遵守相關要求。 涵蓋產品需要這些風險降低措施,可讓客戶設定安全系統,包括 Azure OpenAI 服務;它們不會影響使用其他涵蓋產品的客戶涵蓋範圍。