如何使用 Azure OpenAI 服務設定內容篩選
整合至 Azure OpenAI 服務中的內容篩選系統與核心模型一起執行，包括 DALL-E 映像產生模型。 其使用多類別分類模型集成來偵測四類有害內容 (暴力、仇恨、性和自殘)，分別為四個嚴重性層級 (安全、低、中和高)，並使用選用二分法分類器，以偵測公用存放庫中的越獄風險、現有文字和程式碼。 預設內容篩選設定設定為在提示和完成的所有四類內容危害類別的中等嚴重性閾值下進行篩選。 這表示偵測到的嚴重性層級為中或高的內容將被篩選，而偵測到嚴重性層級為低或安全的內容則不會。 在此處深入了解內容類別、嚴重性層級和內容篩選系統行為。 越獄風險偵測和受保護的文字和程式碼模型預設為選用且為關閉狀態。 針對越獄和受保護的材料文字和程式碼模型，可設定功能可讓所有客戶開啟及關閉模型。 模型預設為關閉狀態，且可依案例開啟。 某些案例中必須開啟某些模型，才能保留客戶著作權承諾的涵蓋範圍。
注意
所有客戶都能夠修改內容篩選，並設定嚴重性閾值 (低、中、高)。 需要核准才能部分或完全關閉內容篩選。 受控客戶只能透過以下表單申請完整的內容篩選控制：Azure OpenAI Limited Access Review: Modified Content Filters (英文)。 目前無法成為受控客戶。
可以在資源層級設定內容篩選。 建立了新設定後，就可以將其與一個或多個部署相關聯。 如需模型部署的詳細資訊，請參閱資源部署指南。
必要條件
- 您必須擁有 Azure OpenAI 資源和大型語言模型 (LLM) 部署，才能設定內容篩選。 請遵循快速入門以開始使用。
了解內容篩選可設定性
Azure OpenAI 服務包含套用至所有模型的預設安全設定，不包括 Azure OpenAI Whisper。 依預設，這些設定會為您提供負責任的體驗，包括 內容篩選模型、封鎖清單、提示轉換、內容認證等等。 在此處閱讀相關資訊。
所有客戶也可以設定內容篩選，並建立針對其使用案例需求量身打造的自訂安全原則。 可設定性功能允許客戶分別調整提示和完成的設定，以篩選不同嚴重性層級的每個內容類別之內容，如下表所示。 偵測到嚴重性層級為「安全」的內容會在註釋中標記，但不受限於篩選且無法設定。
| 篩選的嚴重性 | 可針對提示設定 | 可針對完成設定 | Description |
|---|---|---|---|
| 低、中等、高 | Yes | Yes | 最嚴格的篩選設定。 偵測到的嚴重性層級為低、中和高的內容將被篩選。 |
| 中、高 | Yes | Yes | 偵測到嚴重性層級為低的內容不會被篩選，中和高的內容將被篩選。 |
| 高 | Yes | Yes | 偵測到嚴重性層級為低和中的內容不會被篩選。 僅篩選嚴重性層級為高的內容。 |
| 沒有篩選 | 如果已核准1 | 如果已核准1 | 無論偵測到的嚴重性層級如何，都不會篩選任何內容。 需要核准1。 |
| 僅限標註 | 如果已核准1 | 如果已核准1 | 停用篩選功能，因此不會封鎖內容，但標註會透過 API 回應傳回。 需要核准1。 |
1 針對 Azure OpenAI 模型，只有獲核准內容篩選的客戶才有完整的內容篩選控制和關閉內容篩選。 透過此窗體套用已修改的內容篩選： Azure OpenAI 有限存取權檢閱：已修改的內容篩選。 針對 Azure Government 客戶，請透過下列形式申請修改的內容篩選： Azure Government - 要求 Azure OpenAI 服務修改的內容篩選。
輸入 (提示) 和輸出 (完成) 的可設定內容篩選條件，可供下列 Azure OpenAI 模型使用：
- GPT 模型系列
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 和 3
無法設定的內容篩選
- o1-preview
- o1-mini
*僅適用於 GPT-4 Turbo Vision GA，不適用於 GPT-4 Turbo Vision 預覽版
內容篩選設定是在 Azure AI Studio 中的資源內建立，並且可與部署相關聯。 在這裡深入了解可設定性。
客戶須負責確保整合 Azure OpenAI 的應用程式符合規範。
了解其他篩選
除了預設傷害類別篩選之外，您還可以設定下列篩選類別。
| 篩選類別 | 狀態 | 預設設定 | 適用於提示或完成？ | 描述 |
|---|---|---|---|---|
| 針對直接攻擊 (越獄) 的提示防護 | GA | 另一 | 使用者提示 | 篩選 / 標註可能會有越獄風險的使用者提示。 如需標註的詳細資訊，請造訪 Azure OpenAI 服務內容篩選。 |
| 針對間接攻擊的提示防護 | GA | 另一 | 使用者提示 | 篩選 / 標註間接攻擊又稱為間接提示攻擊或跨網域提示插入攻擊，這是潛在的弱點，其中第三方將惡意指示放在生成式 AI 系統可以存取和處理的文件內。 必要：文件格式設定。 |
| 受(版權)保護素材 - 程式碼 | GA | 另一 | Completion | 篩選受保護的程式碼，或在符合由 GitHub Copilot 提供之任何公用程式碼來源的程式碼片段的註釋中取得範例引文和授權資訊。 如需取用標註的詳細資訊，請參閱內容篩選概念指南 |
| 受(版權)保護素材 - 文字 | GA | 另一 | Completion | 識別並使已知的文字內容無法顯示在模型輸出 (例如歌曲歌詞、食譜和選取的 Web 內容) 中。 |
| 基礎性* | 預覽 | 關閉 | Completion | 偵測大型語言模型 (LLM) 的文字回應是否以使用者所提供的來源資料為根據。 非根據性是指 LLM 從來源素材中出現的資訊產生非事實或不準確資訊的執行個體。 |
*需要在您的提示中內嵌檔。 閱讀更多內容。
使用 Azure AI Studio 設定內容篩選
下列步驟示範如何在 AI Studio 中設定 Azure OpenAI 資源的自定義內容篩選組態。 如需 Azure AI Studio 專案中內容篩選的指引，您可以在 Azure AI Studio 內容篩選中深入瞭解。
移至 Azure AI Studio，然後瀏覽至左側選單上的 [安全性 + 安全性 ] 頁面。
繼續進行 [ 內容篩選] 索引標籤，並建立新的自定義內容篩選組態。
這將導致以下設定檢視，您可以在其中選擇自訂內容篩選設定的名稱。 輸入名稱之後，您可以設定輸入篩選條件（針對使用者提示）和輸出篩選條件（用於模型完成）。
前四個內容類別有三個可設定的嚴重性層級：低、中和高。 如果您判斷您的應用程式或使用案例需要與預設值不同的篩選，您可以使用滑桿來設定嚴重性閾值。
某些篩選條件，例如提示盾牌和受保護的材料偵測，可讓您判斷模型是否應該標註和/或封鎖內容。 選取 [批注] 只會 執行個別的模型，並透過 API 回應傳回批注，但不會篩選內容。 除了批注之外，您也可以選擇封鎖內容。
如果您的使用案例已核准修改的內容篩選，您會收到內容篩選設定的完整控制權，而且可以選擇部分或完全關閉篩選，或只針對內容危害類別啟用批注（暴力、仇恨、性與自我傷害）。
您可以根據需要建立多個內容篩選設定。
接下來，若要使用自定義內容篩選組態，請將它指派給資源中的一或多個部署。 若要這樣做，請移至 [ 部署] 索引 標籤，然後選取您的部署。 然後，選取 [編輯]。
在出現的 [ 更新部署] 視窗中，從 [內容篩選] 下拉功能表中選取您的自定義篩選 。 然後選取 [ 儲存]，然後關閉 以將選取的組態套用至部署。
如果需要，還可以編輯和删除內容篩選設定。
刪除內容篩選組態之前，您必須從 [部署] 索引標籤中的任何部署取消指派並加以取代。
報告內容篩選意見反應
如果您遇到內容篩選問題，請選取遊樂場頂端的 [ 傳送意見反應 ] 按鈕。 這會在影像、聊天和完成遊樂場中啟用。
當對話框出現時，請選取適當的內容篩選問題。 盡可能包含與內容篩選問題相關的詳細數據，例如您遇到的特定提示和內容篩選錯誤。 請勿包含任何私人或敏感性資訊。
如需支援，請 提交支援票證。
遵循最佳做法
我們建議透過反覆式識別 (例如，紅色小組測試、壓力測試和分析) 和量測程序來告知您的內容篩選設定決策，以解决與特定模型、應用程式和部署情節相關的潜在危害。 在您實作內容篩選等風險降低措施後，重複量測以測試有效性。 基於 Microsoft 負責任 AI 標準之適用於 Azure OpenAI 的負責任 AI 之建議和最佳做法可以在 Azure OpenAI 的負責任 AI 概觀中找到。
相關內容
- 深入了解 Azure OpenAI 負責任 AI 做法：適用於 Azure OpenAI 模型的負責任 AI 做法概觀。
- 深入閲讀 Azure OpenAI 服務的內容篩選類別和嚴重性層級。
- 從我們的：(LLM) 的紅色小組簡介文章中深入了解紅色小組。