你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
滥用监视
如果有反复出现的内容和/或行为表明使用 Azure OpenAI 服务的方式可能违反了行为准则或其他适用产品条款，Azure OpenAI 服务会检测和缓解这些内容和/或行为的实例。 若要详细了解数据的处理方式，可查看数据、隐私和安全页。
滥用监视功能的组成部分
滥用监视功能由下面几部分组成：
- 内容分类：分类器模型检测用户提示（输入）和完成项（输出）中的有害文本和/或图像。 系统查找内容要求中定义的危害类别，并按照“内容筛选”页中的更详细描述分配严重性级别。 内容分类信号有助于模式检测，如下所述。
- 滥用模式捕获：Azure OpenAI 服务的滥用监视系统可查看客户使用模式，并采用算法和启发法来检测潜在滥用指标并进行评分。 例如，检测到的模式考虑了在客户的提示和完成项中检测到有害内容的频率和严重程度（如内容分类器信号所示），以及行为的意图。 所检测到的模式的趋势和紧迫性也会影响潜在滥用严重性的评分。 例如，被归类为较高严重性的有害内容量较高，或指示故意性（如反复的越狱尝试）的反复行为，都有可能导致较高的潜在滥用分数。
- 评审和决策：通过内容分类标记为和/或标识为潜在滥用使用模式的一部分的提示和完成项，将受到另一个评审过程的约束，以帮助确认系统分析和通知操作决策。 此类评审通过两种方法进行：人工评审和 AI 评审。
- 默认情况下，如果提示和完成项通过内容分类被标记为有害和/或被识别为可能滥用的使用模式的一部分，则可能会使用 LLM 而不是人工评审对这些提示和完成项采样以进行自动的无需关注的评审。 用于此目的的 LLM 仅处理提示和完成项，以确认系统分析和通知操作决策；进行此类 LLM 评审的提示和完成项不会由系统存储，也不会用于训练 LLM 或其他系统。
- 在某些情况下，当自动评审未达到复杂上下文中适用的置信度阈值或者 LLM 评审系统不可用时，可能会引入人工关注的评审来进行额外的判断。 这有助于提高滥用分析的整体准确性。 获得授权的 Microsoft 员工可以评估所标记的内容，并根据预定义的准则和策略来确认或更正分类或确定。 只有获得授权的 Microsoft 员工可通过安全访问工作站 (SAW) 访问提示和完成项以进行人工评审，并由团队经理授予即时 (JIT) 请求审批。 对于部署在欧洲经济区的 Azure OpenAI 服务资源，获得授权的 Microsoft 员工位于欧洲经济区。 如果客户获得审批进行经过修改的滥用监视，则不会进行此人工评审过程。
- 通知和操作：根据上述步骤确认滥用行为的阈值后，会通过电子邮件将这一决定告知给客户。 除了严重或反复滥用的情况外，客户通常有机会解释或修正滥用行为，并实施机制来防止滥用行为再次发生。 如果未能解决该行为（或反复出现或严重滥用），可能会导致暂停或终止客户对 Azure OpenAI 资源和/或功能的访问。
经过修改的滥用监视
某些客户可能想要将 Azure OpenAI 服务用于涉及处理高度敏感或高度机密数据的用例，否则可能会得出结论，认为他们不希望或无权允许 Microsoft 存储并对其提示和完成项进行人工评审以进行滥用检测。 为了解决这些问题，Microsoft 允许满足其他受限访问资格条件的客户通过完成此表单来修改滥用监视。 在对 Azure OpenAI 服务的受限访问权限中详细了解如何申请经过修改的滥用监视，在 Azure OpenAI 服务的数据、隐私和安全性中详细了解经过修改的滥用监视对数据处理的影响。
注意
修改滥用监视并且不执行人工评审时，对潜在滥用的检测可能不太准确。 客户将收到上述潜在滥用检测的通知，并应准备好对此类通知作出回应，以避免服务中断。
后续步骤
- 详细了解为 Azure OpenAI 提供支持的基础模型。
- 详细了解和缓解与应用程序相关的风险：Azure OpenAI 模型的负责任 AI 做法概述。
- 详细了解系统如何处理与内容筛选和滥用情况监视相关的数据：Azure OpenAI 服务的数据、隐私和安全性。