如何使用 Azure AI Foundry 設定內容篩選
整合至 Azure AI Foundry 的內容篩選系統會與核心模型一起執行，包括 DALL-E 映射產生模型。 其使用多類別分類模型集成來偵測四類有害內容 (暴力、仇恨、性和自殘)，分別為四個嚴重性層級 (安全、低、中和高)，並使用選用二分法分類器，以偵測公用存放庫中的越獄風險、現有文字和程式碼。
預設內容篩選設定設定為在提示和完成的所有四類內容危害類別的中等嚴重性閾值下進行篩選。 這表示偵測到的嚴重性層級為中或高的內容將被篩選，而偵測到嚴重性層級為低或安全的內容則不會。 在此處深入了解內容類別、嚴重性層級和內容篩選系統行為。
越獄風險偵測和受保護的文字和程式代碼模型預設為選擇性和開啟。 針對越獄和受保護的材料文字和程式碼模型，可設定功能可讓所有客戶開啟及關閉模型。 模型預設為開啟，而且可以根據您的案例關閉。 某些案例中必須開啟某些模型，才能保留客戶著作權承諾的涵蓋範圍。
注意
所有客戶都能夠修改內容篩選，並設定嚴重性閾值 (低、中、高)。 需要核准才能部分或完全關閉內容篩選。 受控客戶只能透過以下表單申請完整的內容篩選控制：Azure OpenAI Limited Access Review: Modified Content Filters (英文)。 目前無法成為受控客戶。
可以在資源層級設定內容篩選。 建立了新設定後，就可以將其與一個或多個部署相關聯。 如需模型部署的詳細資訊，請參閱資源部署指南。
必要條件
- 您必須擁有 Azure OpenAI 資源和大型語言模型 (LLM) 部署，才能設定內容篩選。 請遵循快速入門以開始使用。
了解內容篩選可設定性
Azure OpenAI 服務包含套用至所有模型的預設安全設定，不包括 Azure OpenAI Whisper。 依預設，這些設定會為您提供負責任的體驗，包括 內容篩選模型、封鎖清單、提示轉換、內容認證等等。 在此處閱讀相關資訊。
所有客戶也可以設定內容篩選，並建立針對其使用案例需求量身打造的自訂安全原則。 可設定性功能允許客戶分別調整提示和完成的設定，以篩選不同嚴重性層級的每個內容類別之內容，如下表所示。 偵測到嚴重性層級為「安全」的內容會在註釋中標記，但不受限於篩選且無法設定。
| 篩選的嚴重性 | 可針對提示設定 | 可針對完成設定 | Description |
|---|---|---|---|
| 低、中等、高 | Yes | Yes | 最嚴格的篩選設定。 偵測到的嚴重性層級為低、中和高的內容將被篩選。 |
| 中、高 | Yes | Yes | 偵測到嚴重性層級為低的內容不會被篩選，中和高的內容將被篩選。 |
| 高 | Yes | Yes | 偵測到嚴重性層級為低和中的內容不會被篩選。 僅篩選嚴重性層級為高的內容。 |
| 沒有篩選 | 如果已核准1 | 如果已核准1 | 無論偵測到的嚴重性層級如何，都不會篩選任何內容。 需要核准1。 |
| 僅限標註 | 如果已核准1 | 如果已核准1 | 停用篩選功能，因此不會封鎖內容，但標註會透過 API 回應傳回。 需要核准1。 |
1 針對 Azure OpenAI 模型，只有獲核准內容篩選的客戶才有完整的內容篩選控制和關閉內容篩選。 透過此窗體套用已修改的內容篩選： Azure OpenAI 有限存取權檢閱：已修改的內容篩選。 針對 Azure Government 客戶，請透過下列形式申請修改的內容篩選： Azure Government - 要求 Azure OpenAI 服務修改的內容篩選。
所有 Azure OpenAI 模型都可以使用輸入（提示）和輸出（完成）的可設定內容篩選。
內容篩選組態是在 Azure AI Foundry 入口網站中的資源內建立，並可與部署相關聯。 在這裡深入了解可設定性。
客戶須負責確保整合 Azure OpenAI 的應用程式符合規範。
了解其他篩選
除了預設傷害類別篩選之外，您還可以設定下列篩選類別。
| 篩選類別 | 狀態 | 預設設定 | 適用於提示或完成？ | 描述 |
|---|---|---|---|---|
| 針對直接攻擊 (越獄) 的提示防護 | GA | 另一 | 使用者提示 | 篩選 / 標註可能會有越獄風險的使用者提示。 如需註釋的詳細資訊，請流覽 Azure AI Foundry 內容篩選。 |
| 針對間接攻擊的提示防護 | GA | 關閉 | 使用者提示 | 篩選 / 標註間接攻擊又稱為間接提示攻擊或跨網域提示插入攻擊，這是潛在的弱點，其中第三方將惡意指示放在生成式 AI 系統可以存取和處理的文件內。 需要： 檔案內嵌和格式設定。 |
| 受(版權)保護素材 - 程式碼 | GA | 另一 | Completion | 篩選受保護的程式碼，或在符合由 GitHub Copilot 提供之任何公用程式碼來源的程式碼片段的註釋中取得範例引文和授權資訊。 如需取用標註的詳細資訊，請參閱內容篩選概念指南 |
| 受(版權)保護素材 - 文字 | GA | 另一 | Completion | 識別並使已知的文字內容無法顯示在模型輸出 (例如歌曲歌詞、食譜和選取的 Web 內容) 中。 |
| 基礎性* | 預覽 | 關閉 | Completion | 偵測大型語言模型 (LLM) 的文字回應是否以使用者所提供的來源資料為根據。 非根據性是指 LLM 從來源素材中出現的資訊產生非事實或不準確資訊的執行個體。 需要： 檔案內嵌和格式設定。 |
在 Azure AI Foundry 中建立內容篩選
針對 Azure AI Foundry 中的任何模型部署，您可以直接使用預設內容篩選器，但您可能想要擁有更多控制權。 例如，您可以讓篩選更嚴格或更寬鬆，或啟用更進階的功能，例如提示盾牌和受保護的內容偵測。
提示
如需 Azure AI Foundry 專案中內容篩選的指引，您可以在 Azure AI Foundry 內容篩選中深入瞭解。
請遵循這些步驟建立內容篩選器：
移至 Azure AI Foundry 並流覽至您的專案。 然後從左側功能表中選取 [ 安全 + 安全性 ] 頁面，然後選取 [ 內容篩選] 索引卷標。
選取 [+ 建立內容篩選]。
在 [ 基本資訊] 頁面上，輸入內容篩選組態的名稱。 選取要與內容篩選相關聯的連線。 然後選取下一步。
現在您可以設定輸入篩選條件（針對使用者提示）和輸出篩選條件（用於模型完成）。
在 [輸入篩選] 頁面上，您可以設定輸入提示的篩選條件。 前四個內容類別有三個可設定的嚴重性層級：低、中和高。 如果您判斷您的應用程式或使用案例需要與預設值不同的篩選，您可以使用滑桿來設定嚴重性閾值。 某些篩選條件，例如提示盾牌和受保護的材料偵測，可讓您判斷模型是否應該標註和/或封鎖內容。 選取 [批注] 只會 執行個別的模型，並透過 API 回應傳回批注，但不會篩選內容。 除了批注之外，您也可以選擇封鎖內容。
如果您的使用案例已核准修改的內容篩選，您會收到內容篩選設定的完整控制權，而且可以選擇部分或完全關閉篩選，或只針對內容危害類別啟用批注（暴力、仇恨、性與自我傷害）。
內容會依類別加上批注，並根據您設定的閾值封鎖。 針對暴力、仇恨、性及自我傷害類別，調整滑桿以阻止高、中或低嚴重性的內容。
在 [輸出篩選] 頁面上，您可以設定輸出篩選，這會套用至模型所產生的所有輸出內容。 和之前一樣設定個別篩選。 此頁面也提供 [串流模式] 選項，可讓您在模型產生的內容時，以近乎即時的方式篩選內容，以減少延遲。 完成之後，選取 [下一步]。
內容會依類別加上批注，並根據閾值封鎖。 針對暴力內容、仇恨內容、性內容和自殘內容類別，調整閾值，以封鎖同等或更高嚴重性等級的有害內容。
或者，在 [部署] 頁面上，您可以將內容篩選條件與部署產生關聯。 如果選取的部署已附加篩選，您必須確認要取代。 您也可以稍後將內容篩選與部署產生關聯。 選取 建立。
內容篩選組態是在 Azure AI Foundry 入口網站的中樞層級建立。 深入瞭解 Azure OpenAI 服務檔中的可設定性。
在 [檢閱] 頁面上檢閱設定，然後選取 [建立篩選器]。
使用封鎖清單作為篩選
您可以將封鎖清單套用為輸入或輸出篩選條件，或兩者皆可套用。 在 [輸入篩選] 和/或 [輸出篩選] 頁面上，啟用 [封鎖清單] 選項。 從下拉式清單中選取一或多個封鎖清單，或使用內建粗話封鎖清單。 您可以將多個封鎖清單合併到相同的篩選。
套用內容篩選
篩選建立程序可讓您選擇將篩選套用至您想要的部署。 您也可以隨時變更或移除部署中的內容篩選。
請遵循下列步驟，將內容篩選套用至部署：
移至 Azure AI Foundry 並選取專案。
選取 左窗格中的 [模型 + 端點 ]，然後選擇其中一個部署，然後選取 [ 編輯]。
在 [更新部署] 視窗中，選取您要套用至部署的內容篩選器。 然後，選取 [儲存並關閉]。
如果需要，還可以編輯和删除內容篩選設定。 刪除內容篩選組態之前，您必須從 [部署] 索引標籤中的任何部署取消指派並加以取代。
現在，您可以至遊樂場測試內容篩選是否如預期般運作。
報告內容篩選意見反應
如果您遇到內容篩選問題，請選取遊樂場頂端的 [ 篩選意見反應 ] 按鈕。 當您提交提示時，這會在 影像、聊天和完成 遊樂場中啟用。
當對話框出現時，請選取適當的內容篩選問題。 盡可能包含與內容篩選問題相關的詳細數據，例如您遇到的特定提示和內容篩選錯誤。 請勿包含任何私人或敏感性資訊。
如需支援，請 提交支援票證。
遵循最佳做法
我們建議透過反覆式識別 (例如，紅色小組測試、壓力測試和分析) 和量測程序來告知您的內容篩選設定決策，以解决與特定模型、應用程式和部署情節相關的潜在危害。 在您實作內容篩選等風險降低措施後，重複量測以測試有效性。 基於 Microsoft 負責任 AI 標準之適用於 Azure OpenAI 的負責任 AI 之建議和最佳做法可以在 Azure OpenAI 的負責任 AI 概觀中找到。
相關內容
- 深入了解 Azure OpenAI 負責任 AI 做法：適用於 Azure OpenAI 模型的負責任 AI 做法概觀。
- 深入瞭解 Azure AI Foundry 的內容篩選類別和嚴重性層級 。
- 從我們的：(LLM) 的紅色小組簡介文章中深入了解紅色小組。