你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
什么是 Azure AI 内容安全？
Azure AI 内容安全是一项 AI 服务，旨在检测应用程序和服务中用户生成和 AI 生成的有害内容。 Azure AI 内容安全包括文本和图像 API，可用于检测有害材料。 交互式内容安全工作室可用于查看、浏览和试用用于检测不同形式的有害内容的示例代码。
内容筛选软件可以帮助你的应用遵守法规或维护用户的预期环境。
本文档包含以下文章类型：
使用场合
下面是软件开发人员或团队需要使用内容审核服务的一些场景：
- 提交给生成式 AI 服务的用户提示。
- 由生成式 AI 模型生成的内容。
- 在联机市场中审查产品目录和其他用户生成的内容。
- 在游戏公司中审查用户生成的游戏项目和聊天室。
- 对用户添加的图片和文字进行审查的社交通讯平台。
- 企业媒体公司对其内容进行集中式审查。
- K-12 教育解决方案提供商为学生和教师筛选掉不当的内容。
重要
不能使用 Azure AI 内容安全检测非法儿童剥削图像。
产品功能
此服务提供不同类型的分析。 下表介绍当前可用的 API。
| 功能 | 功能 | 概念指南 | 开始使用 |
|---|---|---|---|
| 提示盾牌 | 扫描文本以查找大型语言模型上的用户输入攻击。 | 提示防护概念 | 快速入门 |
| 有据性检测（预览版） | 检测大型语言模型 (LLM) 的文本响应是否以用户提供的源材料为依据。 | 根基性检测概念 | 快速入门 |
| 受保护材料文本检测 | 扫描 AI 生成的文本以查找已知文本内容（例如歌词、文章、食谱、选定的 Web 内容）。 | 受保护材料概念 | 快速入门 |
| 自定义类别（标准）API（预览版） | 你可以创建和训练自己的自定义内容类别并扫描文本以查找匹配项。 | 自定义类别概念 | 快速入门 |
| 自定义类别（快速）API（预览版） | 允许定义出现的有害内容模式并扫描文本和图像以查找匹配项。 | 自定义类别概念 | 操作指南 |
| 分析文本 API | 扫描文本以检测多种严重性级别的色情、暴力、仇恨和自残内容。 | 有害categories | 快速入门 |
| 分析图像 API | 扫描图像以检测多种严重性级别的色情、暴力、仇恨和自残内容。 | 有害categories | 快速入门 |
Content Safety Studio
Azure AI Content Safety Studio 是一种在线工具，旨在使用先进的内容审核 ML 模型处理可能存在的冒犯性、有风险或不良的内容。 它提供模板和自定义工作流，让用户能够选择和构建自己的内容审核系统。 用户可以上传自己的内容，也可以使用提供的示例内容进行试用。
内容安全工作室不仅包含现成的 AI 模型，还包含 Microsoft 内置术语阻止列表，用于标记不雅内容并及时了解新内容趋势。 你还可以上传自己的阻止列表，拓展有害内容的覆盖范围以满足特定用例。
该工作室还允许设置审核工作流，可在其中持续监视和提高内容审核性能。 可帮助你满足各种行业（如游戏、媒体、教育、电子商务等）的内容要求。 企业可以轻松地将其服务连接到该工作室，并实时审核其内容（包括用户生成的内容以及 AI 生成的内容）。
所有这些功能都由工作室及其后端处理，客户无需操心模型开发。 可以载入数据以快速验证并对 KPI 进行相应的监视，例如技术指标（延迟、准确性、召回率）或业务指标（阻止率、阻止量、类别比例、语言比例等）。 通过简单的操作和配置，客户可以快速测试不同的解决方案并找到最合适的解决方案，而无需花时间试验自定义模型或手动进行审核。
Content Safety Studio 功能
内容安全工作室中提供以下 Azure AI 内容安全功能：
审查文本内容：使用文本审查工具，可以轻松对文本内容运行测试。 无论是要测试单个句子还是整个数据集，我们的工具都为你提供用户友好的界面，让你可以直接在门户中评估测试结果。 可以尝试使用不同的敏感度级别来配置内容筛选器和阻止列表管理，确保内容始终按照确切规范进行审核。 此外，借助导出代码的功能，可以直接在应用程序中实现该工具，从而简化工作流并节省时间。
审查图像内容：使用图像审查工具，可以轻松对图像运行测试，以确保它们符合内容标准。 使用用户友好的界面，可以直接在门户中评估测试结果，并且可以尝试使用不同的敏感度级别来配置内容筛选器。 自定义设置后，可以轻松导出代码，在应用程序中实现该工具。
监视联机活动：借助功能强大的监视页面，你可以轻松地跟踪不同形式的审查 API 使用情况和趋势。 使用此功能，可以访问详细的响应信息，包括类别和严重性分布情况、延迟、错误和阻止列表检测。 此信息提供内容审查性能的完整概述，让你能优化工作流，并确保内容始终按照确切规范进行审核。 使用我们的用户友好界面，可以快速轻松地导航监视页面，以访问在内容审核策略方面做出明智决策所需的信息。 你拥有随时了解内容审核性能以及实现内容目标所需的工具。
安全性
使用 Microsoft Entra ID 或托管标识管理访问权限
为了实现增强的安全性，可以使用 Microsoft Entra ID 或托管实例 (MI) 来管理对资源的访问。
- 在创建内容安全资源时，将会自动启用托管标识。
- API 和 SDK 方案都支持 Microsoft Entra ID。 请参阅使用 Microsoft Entra ID 进行身份验证的常规 AI 服务准则。 还可以通过为组织中的其他用户分配认知服务用户以及读者角色来向其授予访问权限。 要详细了解如何使用 Azure 门户向用户授予对 Azure 资源的访问权限，请参阅基于角色的访问控制指南。
静态数据加密
了解 Azure AI 内容安全如何处理数据的加密和解密。 客户管理的密钥 (CMK)（也称为创建自己的密钥 (BYOK)）在创建、轮换、禁用和撤销访问控制方面具有更大的灵活性。 此外，你还可以审核用于保护数据的加密密钥。
定价
目前，Azure AI 内容安全具有 F0 和 S0 定价层。 有关详细信息，请参阅 Azure 定价页。
服务限制
注意
不推荐使用的声明
作为内容安全版本控制和生命周期管理的一部分，我们宣布弃用服务 API 的某些公共预览版和 GA 版本。 遵循弃用策略：
- 公共预览版：如果没有在新的公共预览版中引入重大更改，则在每个新的公共预览版发布 90 天后，系统会将上一个预览版标记为弃用。
- GA 版本：当新的 GA 版本发布时，如果兼容性维持不变，则之前的 GA 版本将在 90 天后遭到弃用。
请参阅新增功能页面，了解即将弃用的内容。
输入要求
有关每个功能的输入要求，请参阅以下列表。
- “分析文本”API：
- 默认最大长度：10K 个字符（根据需要拆分较长的文本）。
- “分析图像”API：
- 最大图像文件大小：4 MB
- 尺寸介于 50 x 50 到 7200 x 7200 像素之间。
- 图像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
- 分析多模态 API（预览版）：
- 默认最大文本长度：1000 个字符。
- 最大图像文件大小：4 MB
- 尺寸介于 50 x 50 到 7200 x 7200 像素之间。
- 图像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
- 提示盾牌 API：
- 最大提示长度：10K 个字符。
- 最多 5 个文档来总共包含 10K 个字符。
- 有据性检测 API（预览版）：
- 依据源的最大长度：每个 API 调用 55,000 个字符。
- 最大文本和查询长度：7,500 个字符。
- 受保护材料检测 API：
- 默认最大长度：1K 个字符。
- 默认最小长度：110 个字符（用于扫描 LLM 补全，而不是用户提示）。
- 自定义类别（标准）API（预览版）：
- 最大推理输入长度：1K 个字符。
语言支持
针对受保护材料、有据性检测和自定义类别（标准）的 Azure AI 内容安全模型仅适用于英语。
其他 Azure AI 内容安全模型已针对以下语言进行了专门训练和测试：中文、英语、法语、德语、西班牙语、意大利语、日语、葡萄牙语。 但是，这些功能可以使用许多其他语言，但质量可能会有所不同。 在所有情况下，都应执行自己的测试，以确保它适用于你的应用程序。
有关详细信息，请参阅语言支持。
上市区域
若要使用内容安全 API，必须在受支持的区域中创建 Azure AI 内容安全资源。 目前，内容安全功能在以下 Azure 区域中可用，但具有不同的 API 版本：
| 区域 | 自定义类别 | 真实性 | 映像 | 多模式（包含文本的图像） | 事件响应 | 提示防护 | 受保护材料（文本） | 受保护材料（代码） | 文本 | Unified API |
|---|---|---|---|---|---|---|---|---|---|---|
| 澳大利亚东部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 加拿大东部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 美国中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 美国东部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| 美国东部 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 法国中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 日本东部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 美国中北部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 波兰中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 美国中南部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 印度南部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 瑞典中部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 瑞士北部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 瑞士西部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 阿拉伯联合酋长国北部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 英国南部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 西欧 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 美国西部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 美国西部 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 美国西部 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 费尔法克斯 - USGovArizona | ✅ | ✅ | ✅ | ✅ | ✅ | |||||
| 费尔法克斯 - USGovVirginia | ✅ | ✅ | ✅ | ✅ | ✅ |
如果在业务上需要使用其他区域，请随时与我们联系。
查询速率
内容安全功能具有每秒的请求数 (RPS) 形式或每 10 秒的请求数 (RP10S) 形式的查询速率限制。 有关每项功能的速率限制，请参阅下表。
| 定价层 | 审查 API （文本和图像） |
提示盾牌 | 受保护的材料 检测 |
真实性 检测（预览版） |
自定义类别 （快速）（预览版） |
自定义类别 （标准）（预览版） |
多模式 |
|---|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | 空值 | 5 RPS | 5 RPS | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RPS | 1000 RP10S | 5 RPS | 10 RPS |
如果需要更快的速率，请与我们联系以提交请求。
联系我们
如果遇到问题，请向我们发送电子邮件或使用任何 Microsoft Learn 页面底部的反馈小组件。
后续步骤
遵照快速入门的说明，开始在应用程序中使用 Azure AI 内容安全。