什麼是 Azure AI 內容安全性？
Azure AI 內容安全性是一項 AI 服務，可在應用程式與服務中偵測使用者產生和 AI 產生的有害內容。 Azure AI 內容安全包含文字和影像 API，可讓您偵測有害的資料。 互動式 Content Safety Studio 可讓您檢視、探索及試用範例程式碼，以偵測不同形式的有害內容。
內容篩選軟體可協助應用程式遵循法規或維護使用者應有的環境。
此文件包含下列類型的文章：
其使用場合
以下是軟體開發人員或小組將需要內容仲裁服務的幾個案例：
- 提交至生成式 AI 服務的使用者提示。
- 由生成式 AI 模型所產生的內容。
- 線上市場，可管理產品目錄和其他使用者產生的內容。
- 遊戲公司，可管理使用者產生的遊戲成品和聊天室。
- 對使用者新增的影像和文字進行仲裁的社交傳訊平台。
- 對其內容實作集中式仲裁的企業媒體公司。
- 為學生和授課者篩選掉不當內容的 K-12 教育解決方案提供者。
重要
您無法使用 Azure AI 內容安全來偵測不合法的孩童利用影像。
產品功能
此服務提供數種不同類型的分析。 下表描述目前可用的 API。
| 功能 | 功能 | 概念指南 | 開始使用 |
|---|---|---|---|
| 提示盾 | 掃描文字以尋找大型語言模型上使用者輸入攻擊的風險。 | 提示防護概念 | 快速入門 |
| 根據性偵測 (預覽版) | 偵測大型語言模型 (LLM) 的文字回應是否以使用者所提供的來源資料為根據。 | 根據性偵測概念 | 快速入門 |
| 受(版權)保護素材文字偵測 | 掃描 AI 產生的文字以尋找已知文字內容 (例如歌曲歌詞、文章、食譜、選取的 Web 內容)。 | 受保護素材概念 | 快速入門 |
| 自訂類別 (標準) API (預覽) | 可讓您建立和訓練自己的自訂內容類別，並掃描文字尋找相符項目。 | 自訂類別概念 | 快速入門 |
| 自訂類別 (快速) API (預覽版) | 可讓您定義新興的有害內容模式，並掃描文字和影像以尋找相符項目。 | 自訂類別概念 | 操作指南 |
| 分析文字 API | 掃描文字中是否有多重嚴重性層級的色情內容、暴力、仇恨和自殘。 | 傷害類別 | 快速入門 |
| 分析影像 API | 掃描影像中是否有多重嚴重性層級的色情內容、暴力、仇恨和自殘。 | 傷害類別 | 快速入門 |
Content Safety Studio
Azure AI Content Safety Studio 是一種線上工具，其設計目的是使用最先進的內容仲裁 ML 模型來處理潛在冒犯性、風險性或不想要的內容。 其提供範本和自訂工作流程，可讓使用者選擇並建置自己的內容仲裁系統。 使用者可以上傳自己的內容，或試用提供的範例內容。
Content Safety Studio 不僅包含現成可用的 AI 模型，也包含 Microsoft 的內建字詞封鎖清單，可標幟粗話並掌握最新內容趨勢。 您也可以上傳自己的封鎖清單，以加強特定使用案例中有害內容的涵蓋範圍。
Studio 也可讓您設定仲裁工作流程，您可以在其中持續監視和改善內容仲裁效能。 其可協助您符合各種產業的內容需求，例如遊戲、媒體、教育、電子商務等等。 企業可以輕鬆地將其服務連線到 Studio，並即時仲裁其內容，無論是使用者產生或 AI 產生的內容。
所有這些功能都是由 Studio 及其後端處理；客戶不需要擔心模型開發。 您可以讓資料上線以進行快速驗證，並據以監控 KPI，例如技術指標 (延遲、精確度、重新叫用) 或業務指標 (區塊速率、區塊數量、類別比例、語言比例等)。 透過簡單的作業和設定，客戶可以快速測試不同的解決方案，並找出最適合的解決方案，而不需花時間試驗自訂模型或手動進行仲裁。
Content Safety Studio 功能
在 Content Safety Studio 中，有下列 Azure AI 內容安全功能可供使用：
仲裁文字內容：您可以使用文字仲裁工具輕鬆地對文字內容執行測試。 無論要測試單一句子或整個資料集，我們工具提供的便利介面都可讓您直接在入口網站中評估測試結果。 您可以試驗不同的敏感度層級來設定內容篩選器和封鎖清單管理，確保始終按照確切的規格對您的內容進行仲裁。 此外，工具具備匯出程式碼的功能，您可直接在應用程式中實作工具，進而簡化工作流程並節省時間。
仲裁影像內容：您可使用影像仲裁工具輕鬆對影像執行測試，確保其符合您的內容標準。 我們易於使用的介面可讓您直接在入口網站中評估測試結果，而且您可以試驗不同的敏感度層級來設定內容篩選器。 自訂設定之後，您可以輕鬆匯出程式碼，以在應用程式中實作工具。
監視線上活動：功能強大的監視頁面可讓您輕鬆追蹤不同形式的仲裁 API 使用量和趨勢。 此功能可讓您存取詳細的回應資訊，包括類別和嚴重性分佈、延遲、錯誤和封鎖清單偵測。 這項資訊提供內容仲裁效能的完整概觀，可讓您最佳化工作流程，確保始終按照確切的規格對您的內容進行仲裁。 透過易於使用的介面，您可以快速且輕鬆地瀏覽監視頁面，以存取您做出明智的內容仲裁策略決策所需的資訊。 您擁有保持內容仲裁效能並達成內容目標所需的工具。
安全性
使用 Microsoft Entra ID 或受控識別來管理存取權
為了增強安全性，您可以使用 Microsoft Entra ID 或受控識別 (MI) 來管理資源的存取權。
- 當您建立內容安全性資源時，會自動啟用受控識別。
- API 和 SDK 案例都支援 Microsoft Entra ID。 請參閱使用 Microsoft Entra ID 進行驗證的一般 AI 服務指導方針。 您也可以將認知服務使用者和讀者的角色指派給貴組織內的其他使用者，授與其存取權。 若要深入了解如何使用 Azure 入口網站將 Azure 資源的存取權授與使用者，請參閱角色型存取控制指南。
待用資料加密
了解 Azure AI 內容安全如何處理資料的加密和解密。 客戶自控金鑰 (CMK) 也稱為自備金鑰 (BYOK)，可提供更大的彈性來建立、輪替、停用及撤銷存取控制。 您也可稽核用來保護資料的加密金鑰。
定價
目前，Azure AI 內容安全具有 F0 和 S0 定價層。 如需詳細資訊，請參閱 Azure 定價頁面。
服務限制
警告
淘汰注意事項
作為內容安全性版本設定和生命週期管理的一部分，我們宣佈淘汰我們服務 API 的特定公開預覽和 GA 版本。 遵循淘汰原則：
- 公開預覽版本：每個新的公開預覽版本都會在90天期間之後觸發舊版的淘汰，但不會導入任何重大變更。
- GA 版本：發行新的 GA 版本時，如果維護相容性，則會在 90 天的期間之後淘汰舊版。
請參閱即將淘汰的新功能頁面。
輸入需求
請參閱下列清單，以取得每項功能的輸入需求。
- 分析文字 API：
- 預設最大長度：1 萬個字元 (視需要分割較長的文字)。
- 分析影像 API：
- 影像檔大小上限：4 MB
- 50 x 50 和 7200 x 7200 像素之間的尺寸。
- 映像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
- 剖析多模式 API （預覽）：
- 預設最大文字長度：1 千個字元。
- 影像檔大小上限：4 MB
- 50 x 50 和 7200 x 7200 像素之間的尺寸。
- 映像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
- 提示防護 API：
- 最大提示長度：1 萬個字元。
- 最多五個文件，共 1 萬個字元。
- 根據性偵測 API (預覽版)：
- 根據性來源的最大長度：55,000 個字元 (每個 API 呼叫)。
- 文字和查詢長度上限：7,500 個字元。
- 受(版權)保護素材偵測 API：
- 預設最大長度：1 千個字元。
- 預設最小長度：110 個字元 (用於掃描 LLM 完成，而不是使用者提示)。
- 自訂類別 (標準) API (預覽)：
- 推斷輸入長度上限：1K 個字元。
語言支援
適合受保護資料、根據性偵測和自訂類別 (標準) 的 Azure AI 內容安全模型僅適用英文。
其他 Azure AI 內容安全模型已針對下列語言進行訓練及測試：中文、英文、法文、德文、西班牙文、義大利文、日文、葡萄牙文。 不過，這些功能可在許多其他語言下運作，但品質可能有所不同。 在所有情況下，您應該執行自己的測試，以確保其適用於您的應用程式。
如需詳細資訊，請參閱語言支援。
區域可用性
若要使用內容安全 API，您必須在支援的區域中建立 Azure AI 內容安全資源。 目前，內容安全性功能可在下列具有不同 API 版本的 Azure 區域中取得：
| 區域 | 自訂類別 | 根據性 | 映像 | 多模式（具有 Tex 的影像） | 事件回覆 | 提示防護 | 受保護的材料（文字） | 受保護的材料（代碼） | Text | Unified API |
|---|---|---|---|---|---|---|---|---|---|---|
| 澳大利亞東部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 加拿大東部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 美國中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 美國東部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| 美國東部 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 法國中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 日本東部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 美國中北部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 波蘭中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 美國中南部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 印度南部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 瑞典中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 瑞士北部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 瑞士西部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 阿拉伯聯合大公國北部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 英國南部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 西歐 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 美國西部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 美國西部 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 美國西部 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| FairFax - USGovArizona | ✅ | ✅ | ✅ | ✅ | ✅ | |||||
| FairFax - USGovVirginia | ✅ | ✅ | ✅ | ✅ | ✅ |
如果您的業務需要其他區域，請隨時與我們連絡。
查詢速率
內容安全功能在每秒要求數 (RPS) 或每 10 秒 (RP10S) 的要求中有查詢速率限制。 請參閱下表，取得每項功能的速率限制。
| 定價層 | 仲裁 API (文字和影像) |
提示盾 | 受保護的資料 偵測 |
根據性 偵測 (預覽版) |
自訂類別 (快速) (預覽版) |
自訂類別 (標準) (預覽) |
多模式 |
|---|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | N/A | 5 RPS | 5 RPS | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RPS | 1000 RP10S | 5 RPS | 10 RPS |
如果您需要更快的速率，請與我們連絡以提出要求。
與我們連絡
如果您遇到問題，請傳送電子郵件給我們或使用任何 Microsoft Learn 頁面底部的意見反應小工具。
下一步
請遵循快速入門，開始在您的應用程式中使用 Azure AI 內容安全。