Azure AI Foundry 入口網站中的模型目錄和集合
重要
本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。
Azure AI Foundry 入口網站中的模型目錄是用來探索和使用各種模型來建置產生式 AI 應用程式的中樞。 模型目錄提供來自 Azure OpenAI 服務、Mistral、Meta、Cohere、NVIDIA、Hugging Face 等模型提供者的數百個模型，包括由 Microsoft 定型的模型。 來自 Microsoft 以外提供者的模型是非 Microsoft 產品，如 Microsoft 的產品條款所定義，並受模型提供的條款規範。
模型集合
模型目錄會將模型組織成不同的集合：
由 Azure AI 策展：最熱門的非 Microsoft 開放式加權和專利模型，已經過封裝和最佳化，可在 Azure AI 平台上順暢地運作。 這些模型的使用受模型提供者的授權條款規範。 當您在 Azure AI Foundry 入口網站中部署這些模型時，其可用性會受限於適用的 Azure 服務等級協定（SLA），Microsoft提供部署問題的支援。
來自 Meta、NVIDIA 和 Mistral AI 等合作夥伴的模型即為目錄中集合中可用模型的範例。 可以透過查看目錄中模型磚上的綠色勾選記號來識別這些模型。 或者，可以依由 Azure AI 策展集合進行篩選。
Azure 上獨家提供的 Azure OpenAI 模型：透過與 Azure OpenAI 服務整合提供的 Azure OpenAI 旗艦模型。 Microsoft 會為這些模型提供支援，其使用受產品條款和 Azure OpenAI 服務的 SLA規範。
來自 Hugging Face 中樞的開放式模型：來自 Hugging Face 中樞的數百個模型，用於在受控計算中進行即時推斷。 此集合中列出的模型由 Hugging Face 建立並維護。 如需協助，請使用 Hugging Face 論壇或 Hugging Face 支援。 深入瞭解 使用 Azure AI Foundry 部署開放式模型。
您可以使用此表單來要求將模型新增至模型目錄。
模型目錄功能的概觀
您可以透過 keyword search 和 filters來搜尋及探索符合您需求的模型。 模型目錄也提供選取模型的模型效能基準檢驗計量。 您可以按下 Compare Models 或從模型卡片 [基準檢驗] 索引標籤來存取基準檢驗。
在模型卡片上，您會發現：
- 快速事實：您會快速查看模型的重要資訊。
- 詳細數據：此頁面包含模型的詳細資訊，包括描述、版本資訊、支持的數據類型等等。
- 效能評定：您會發現選取模型的效能基準檢驗計量。
- 現有的部署：如果您已經部署模型，您可以在 [現有部署] 索引卷標下找到它。
- 程式代碼範例：您會發現基本的程式碼範例，以開始使用 AI 應用程式開發。
- 授權：您會發現與模型授權相關的法律資訊。
- 成品：此索引標籤只會針對開啟的模型顯示。 您可以看到模型資產，並透過使用者介面下載它們。
模型部署：Azure OpenAI
如需 Azure OpenAI 模型的詳細資訊，請參閱什麼是 Azure OpenAI 服務？。
模型部署：受控計算和無伺服器 API
除了 Azure OpenAI 服務模型之外，模型目錄還提供兩種不同的方法來部署模型以供使用：受控計算和無伺服器 API。
每個模型的可用部署選項和功能會有所不同，如下表所述。 深入了解部署選項的資料處理。
模型部署選項的功能
| 功能 | 受控計算 | 無伺服器 API （按令牌付費） |
|---|---|---|
| 部署體驗和計費 | 模型權數會部署到具有受控計算的專用虛擬機器。 受控計算 (可以有一或多個部署) 會提供 REST API 以進行推斷。 將根據部署所使用的虛擬機器核心時數計費。 | 透過部署存取模型，這會佈建一個 API 來存取模型。 使用該 API 可以存取 Microsoft 裝載和管理的模型，以進行推斷。 您需要為 API 的輸入和輸出 (通常為權杖形式) 付費。 在部署之前會提供定價資訊。 |
| API 驗證 | 金鑰和 Microsoft Entra 驗證。 | 僅限金鑰。 |
| 內容安全性 | 使用 Azure AI 內容安全服務 API。 | 提供與推斷 API 整合的 Azure AI 內容安全篩選。 Azure AI 內容安全篩選可能會分開計費。 |
| 網路隔離 | 設定 Azure AI Foundry 中樞的受控網路。 | 受控計算會遵循中樞的公用網路存取 (PNA) 旗標設定。 如需詳細資訊，請參閱本文稍後的透過無伺服器 API 所部署模型的網路隔離一節。 |
支援部署選項的可用模型
下列清單包含無伺服器 API 模型。 如需 Azure OpenAI 模型，請參閱 Azure OpenAI 服務模型。
| Model | 受控計算 | 無伺服器 API （按令牌付費） |
|---|---|---|
| Llama 系列模型 | Llama-3.2-3B-指示 Llama-3.2-1B-指示 Llama-3.2-1B Llama-3.2-90B-Vision-指示 Llama-3.2-11B-Vision-指示 Llama-3.1-8B-指示 Llama-3.1-8B Llama-3.1-70B-指示 Llama-3.1-70B Llama-3-8B-Instruct Llama-3-70B Llama-3-8B Llama-Guard-3-1B Llama-Guard-3-8B Llama-Guard-3-11B-Vision Llama-2-7b Llama-2-70b Llama-2-7b-chat Llama-2-13b-chat CodeLlama-7b-hf CodeLlama-7b-Instruct-hf CodeLlama-34b-hf CodeLlama-34b-Python-hf CodeLlama-34b-Instruct-hf CodeLlama-13b-Instruct-hf CodeLlama-13b-Python-hf Prompt-Guard-86M CodeLlama-70b-hf |
Llama-3.2-90B-Vision-指示 Llama-3.2-11B-Vision-指示 Llama-3.1-8B-指示 Llama-3.1-70B-指示 Llama-3.1-405B-指示 Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-70b Llama-2-70b-chat Llama-2-13b Llama-2-13b-chat |
| Mistral 系列模型 | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small 部長-3B Mistral-NeMo |
| Cohere 系列模型 | 無法使用 | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-多語系版 Cohere-rerank-v3-english Cohere-rerank-v3-multilingual |
| JAIS | 無法使用 | jais-30b-chat |
| AI21 系列模型 | 無法使用 | Jamba-1.5-Mini Jamba-1.5-Large |
| 醫療保健 AI 系列模型 | MedImageParse MedImageInsight CxrReportGen Virchow Virchow2 Prism \(英文\) BiomedCLIP-PubMedBERT microsoft-llava-med-v1.5 m42-health-llama3-med4 biomistral-biomistral-7b microsoft-biogpt-large-pub microsoft-biomednlp-pub stanford-crfm-biomedlm medicalai-clinicalbert microsoft-biogpt microsoft-biogpt-large microsoft-biomednlp-pub |
無法使用 |
| Phi-3 系列模型 | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | 無法使用 | TimeGEN-1 |
受控計算
以受控計算形式部署模型的功能會建置在 Azure Machine Learning 的平台功能上，以在大型語言模型 (LLM) 作業的整個生命週期中順暢地整合模型目錄中的各種模型集合。
可部署為受控計算的模型的可用性
這些模型可透過 Azure Machine Learning 登錄提供。 這些登錄允許啟用機器學習優先方法來裝載和散發 Azure Machine Learning 資產。 這些資產包括模型權重、用於執行模型的容器執行階段、用於評估和微調模型的管線，以及基準和範例的資料集。
這些登錄建置在可高度調整並符合企業需求的基礎結構之上，以便：
透過內建異地複寫，將低延遲存取模型成品傳遞至所有 Azure 區域。
支援企業安全性需求，例如使用 Azure 原則限制對模型的存取，以及使用受控虛擬網路保護部署。
使用受控計算來部署模型以進行推斷
可用於部署至受控計算的模型可以部署至 Azure Machine Learning 受控計算以進行即時推斷。 部署到受控計算時，需要在 Azure 訂閱中為特定產品提供虛擬機器配額，以便能夠以最佳方式執行模型。 某些模型可讓您部署到暫時共用的配額以進行模型測試。
深入了解如何部署下列模型：
使用受控計算來建置生成式 AI 應用程式
Azure Machine Learning 中的提示流程功能為原型設計提供了絕佳的體驗。 您可以使用提示流程中已部署受控計算的模型，搭配開放式模型 LLM 工具。 您也可以使用 LangChain 等熱門 LLM 工具中受控計算所公開的 REST API，搭配 Azure Machine Learning 延伸模組。
部署為受控計算之模型的內容安全
Azure AI 內容安全服務可與受控計算搭配使用，以篩選各種有害內容的類別，例如色情內容、暴力、仇恨和自殘。 您也可以使用服務來篩選進階威脅，例如越獄風險偵測和受保護材料的文字偵測。
您可以參考此筆記本來了解與適用於 Llama 2 的 Azure AI 內容安全的整合。 或者，可以在提示流程中使用內容安全 (文字) 工具，將模型的回應傳遞至 Azure AI 內容安全以進行篩選。 如 Azure AI 內容安全定價中所述，您需要為這類用法單獨付費。
無伺服器 API （按令牌付費） 計費
您可以在模型目錄中使用按令牌付費計費來部署特定模型。 這個部署方法也稱為 無伺服器 API，可讓您使用模型作為 API，而不在您的訂用帳戶上裝載它們。 模型會裝載於 Microsoft 管理的基礎結構中，以便對模型提供者的模型進行 API 型存取。 API 型存取可大幅降低存取模型的成本，並簡化佈建體驗。
模型提供者會提供可部署為採用隨用隨付計費的無伺服器 API 模型，但這些模型裝載於受 Microsoft 管理的 Azure 基礎結構中，並透過 API 存取。 模型提供者會為其模型定義授權條款並設定使用的價格。 Azure Machine Learning 服務：
- 管理裝載基礎結構。
- 提供推斷 API。
- 做為資料處理器，用於處理透過 MaaS 部署的模型所提交提示和輸出的內容。
在有關資料隱私一文中深入了解 MaaS 的資料處理。
計費
透過 MaaS 部署之模型的探索、訂用帳戶和取用體驗位於 Azure AI Foundry 入口網站中，並 Azure Machine Learning 工作室。 使用者接受使用模型時所要遵守的授權條款。 在部署期間會提供取用定價資訊。
非 Microsoft 提供者所提供的模型會根據 Microsoft 商業市集使用條款，透過 Azure Marketplace 計費。
Microsoft 提供的模型會作為第一方取用服務透過 Azure 計量計費。 如產品條款所述，可以使用 Azure 計量購買第一方取用服務，但不受 Azure 服務條款的約束。 使用這些模型必須遵守提供的授權條款。
微調模型
某些模型也支援無伺服器微調。 對於這些模型，您可以使用託管微調功能和隨用隨付計費，使用您提供的資料來量身打造模型。 如需詳細資訊，請參閱微調概觀。
部署為無伺服器 API 之模型的 RAG
在 Azure AI Foundry 入口網站中，您可以使用向量索引和擷取增強世代 （RAG）。 您可以使用可透過無伺服器 API 部署的模型，根據自訂資料產生內嵌和推斷。 然後，這些內嵌和推斷可以產生所使用案例專屬的解答。 如需詳細資訊，請參閱 在 Azure AI Foundry 入口網站中建置和使用向量索引。
供應項目和模型的區域可用性
每個令牌付費僅適用於 Azure 訂用帳戶屬於模型提供者已提供供應專案的國家/地區的計費帳戶的使用者。 如果供應專案可在相關區域中使用，則用戶必須在 Azure 區域中擁有項目資源，模型可供部署或微調，如適用。 請參閱 無伺服器 API 端點中模型的區域可用性 |Azure AI Foundry 以取得詳細資訊。
透過無伺服器 API 所部署模型的內容安全
針對透過無伺服器 API 所部署的語言模型，Azure AI 會實作 Azure AI 內容安全文字調節篩選的預設設定，而文字調節篩選可偵測仇恨、自殘、性與暴力這類有害內容。 若要深入了解內容篩選 (預覽版)，請參閱 Azure AI 內容安全中的有害類別。
提示
內容篩選 (預覽) 不適用於透過無伺服器 API 所部署的特定模型類型。 這些模型類型包括內嵌模型和時間序列模型。
當服務處理提示產生內容時，內容篩選 (預覽版) 會同步發生。 您可以根據 Azure AI 內容安全價格個別計費，以供此類使用。 您可以在以下時機停用個別無伺服器端點的內容篩選 (預覽版)：
- 第一次部署語言模型時
- 稍後設定，透過選取部署詳細資料頁面上的內容篩選切換開關
假設您決定使用 Azure AI 模型推斷 API 以外的 API 來處理透過無伺服器 API 所部署的模型。 在這種情況下，除非您使用 Azure AI 內容安全個別實作內容篩選 (預覽版)，否則不會啟用內容篩選。
若要開始使用 Azure AI 內容安全，請參閱快速入門：分析文字內容。 如果您在使用透過無伺服器 API 所部署的模型時未使用內容篩選 (預覽)，則有較高風險讓使用者暴露在有害內容中。
透過無伺服器 API 所部署模型的網路隔離
部署為無伺服器 API 之模型的受控計算會遵循具有部署所在專案的 AI Foundry 中樞的公用網路存取旗標設定。 若要協助保護您的受控計算，請在 AI Foundry 中樞上停用公用網路存取旗標。 您可以協助使用中樞的私人端點，保護從用戶端到受控計算的輸入通訊。
若要設定 AI Foundry 中樞的公用網路存取旗標：
- 前往 Azure 入口網站。
- 搜尋中樞所屬的資源群組，然後從此資源群組所列的資源中選取您的 AI Foundry 中樞。
- 在中樞概觀頁面上的左窗格中，移至 [設定]>[網路]。
- 在 [公用存取] 索引標籤上，您可以設定公用網路存取旗標的設定。
- 儲存您的變更。 您的變更最多可能需要五分鐘才能散佈。
限制
如果您有在 2024 年 7 月 11 日之前建立的受控計算的 AI Foundry 中樞，則新增至此中樞之專案的受控計算不會遵循中樞的網路設定。 相反地，您需要為中樞建立新的受控計算，並在專案中建立新的無伺服器 API 部署，讓新的部署可以遵循中樞的網路設定。
如果您在 2024 年 7 月 11 日之前建立具有 MaaS 部署的 AI Foundry 中樞，而且在此中樞上啟用受控計算，則現有的 MaaS 部署不會遵循中樞的網路設定。 若要讓中樞內的無伺服器 API 部署遵循中樞的網路設定，您需要再次建立部署。
目前，基於自有資料的 Azure OpenAI 支援不適用於私人中樞內的 MaaS 部署，因為私人中樞已停用公用網路存取旗標。
任何網路設定變更 (例如，啟用或停用公用網路存取旗標) 最多可能需要五分鐘的時間才能散佈。