你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Azure AI Content Safety 中的危害类别
- 项目
本指南介绍了 Azure AI 内容安全用于标记内容的所有危害类别和分级。 文本和图像内容使用相同的标志集。
有害类别
Content Safety 可识别四种不同类别的令人反感的内容。
| 类别 | 说明 | API 术语 |
|---|---|---|
| 仇恨和公平性 | 仇恨和公平伤害是指任何基于个人或身份群体的某些区别性属性攻击或使用歧视性语言的内容。 这些属性包括但不限于：
|
Hate |
| 性 | 性指的是与以下方面相关的语言：解剖器官和生殖器、恋爱关系与性行为、以色情或情爱用语描述的行为（包括被描述为攻击或违背个人意愿的强迫性暴力行为的情况）。 包括但不限于：
|
Sexual |
| 暴力 | 暴力是指与旨在伤害、损伤、损害或杀害某人或某物的肢体动作相关的语言，以及与武器、枪支和相关实体相关的语言。 这包括但不限于：
|
Violence |
| 自残 | 自残指的是与故意伤害、损伤、损害某人身体或自杀的身体行为相关的语言。 这包括但不限于：
|
SelfHarm |
分类可以是多标记的。 例如，通过文本审查模型运行文本示例时，可以将其归类为性内容和暴力。
严重性级别
该服务适用的每种伤害类别还带有严重性评级。 严重性级别旨在表明，如果显示了已标记的内容，则造成的后果的严重性有多高。
文本：文本模型的当前版本支持完整的 0-7 严重度。 分类器按照此程度检测所有严重性。 如果用户已指定，它可以返回修整标度 0、2、4 和 6 的严重性；每两个相邻级别映射到单个级别。
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
图像：当前版本的图像模型支持完整 0-7 严重性标度的修整版本。 分类器仅返回严重性 0、2、4 和 6。
0246
带文本的图像：多模式模型的当前版本支持完整的 0-7 严重性标度。 分类器按照此程度检测所有严重性。 如果用户已指定，它可以返回修整标度 0、2、4 和 6 的严重性；每两个相邻级别映射到单个级别。
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
文本内容
警告
本文档中的严重性定义选项卡包含可能对某些读者造成干扰的有害内容示例。
仇恨和公平严重性级别
| 严重级别 | 描述 | 示例文本 |
|---|---|---|
| 级别 0 | 包含一般意义上使用的仇恨和公平相关字词的内容，适用于所有目标受众，包括儿童。 这包括：
|
I hate cats. |
| 1 级 | 包含一般意义上使用的仇恨和公平相关术语的内容，但可能会根据上下文得到不同的含义，并且不会以偏见或消极的方式区分身份群体和其他人。 这包括：
|
Black people should not be killed by police or mistreated just because of their skin color. |
| 2 级 | 包含对身份群体的积极描述或保护的内容，会引发有利的情绪反应。 这包括：
|
I hate you. |
| 级别 3 | 包含偏见、批判、刻板印象或负面情绪的内容。 这包括：
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
| 级别 4 | 包含直接情绪驱动的口头侮辱、负面评论和种族诽谤的内容，用作针对身份群体的描述，企图根据个人特性来伤害个人。 这包括：
|
All [identity group] are ugly. |
| 级别 5 | 包含非人性化或贬损个人或群体的内容，通过人性灭绝、暴力、否认事件、欺凌或恐吓行为加剧负面情绪。 这包括：
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
| 级别 6 | 基于针对身份群体的负面情绪和仇恨言论的内容。 提及区分身份群体和其他群体的群体特征，并呼吁根据身份群体的特性对其采取措施。 这可能包括：
|
Send [identity group] back to the gas chambers. |
| 级别 7 | 基于负面情绪的内容，表现出仇恨性犯罪和跟踪的意图，引发敌对情绪反应并区分身份群体和其他导致犯罪的人。 这包括：
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
性严重性级别
| 严重级别 | 描述 | 示例文本 |
|---|---|---|
| 级别 0 | 包含一般意义上使用的与性相关的字词的内容，对所有目标受众（包括儿童）无害。
|
The sports bra and yoga pants were too tight for comfort. |
| 1 级 | 包含一般意义上使用的与性相关的字词的内容，但可以根据上下文得到不同的含义。 这包括：
|
Fewer young adults are having sex than in previous generations. |
| 2 级 | 包含虚构或真实世界经历中与性相关的字词的内容，这些字词不是非常生动。 这包括：
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
| 级别 3 | 在包含一些图形内容、表达对性相关问题的偏见、成见、批判或固执己见的观点的案例中，内容包含与性相关的字词。 这包括：
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
| 级别 4 | 描述性幻想、职业性产业和广告以及有性动物繁殖的内容。 这包括：
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
| 级别 5 | 将色情表演或经历描述为个人经历、经明确同意的 BDSM 以及色情故事和网站的内容。 这包括：
|
We both climaxed at the same time. |
| 级别 6 | 描述性商业服务招揽的内容，包括对性活动、暴力性虐待和强奸、非自愿权力交换、虐待和偷窥的详细描述。 这包括：
|
I love forced sex, it's so much hotter. |
| 级别 7 | 用于宣扬、支持、美化极端性奴役的内容。 极端或非法的内容。 这包括：
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
暴力严重性级别
| 严重级别 | 描述 | 示例文本 |
|---|---|---|
| 级别 0 | 包含非暴力行为或一般意义上的暴力相关字词的内容，对所有目标受众（包括儿童）无害。 这包括：
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
| 1 级 | 包含一般意义上使用的与暴力相关的字词或行为的内容，但可以根据上下文得到不同的含义。 这包括：
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
| 2 级 | 包含虚构或真实世界体验中与暴力相关的字词或行为的内容，这些字词或行为不是非常生动，也没有针对恶意行为进行美化或认可。 这包括：
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
| 级别 3 | 在包含一些图形内容、表达对暴力的偏见、成见、批判或固执己见的观点的案例中，内容包含暴力相关的字词或行为。 这包括：
|
Some people just need to be slapped. |
| 级别 4 | 描述受害者遭受身体虐待的毫无根据的理由、毫无根据地归因于施虐者的积极品质、暴力行为威胁以及与如何伤害他人有关的幻想，以及中度血腥内容。 这包括：
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
| 级别 5 | 旨在加剧暴力的内容，提供有关如何伤害特定个人或群体的直接指示。 这包括：
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
| 级别 6 | 描述极端主义群体和恐怖组织、大规模杀戮和明显人身伤害，以及宣扬恐怖主义及其宣传的内容。 这包括：
|
We must kill them all. God wills it, and society will be better for it. |
| 级别 7 | 用于描述、赞扬、支持、宣扬、认可、美化极端暴力的内容。 支持恐怖组织并煽动、指导或培训恐怖分子的内容。 这包括：
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
自残严重性级别
| 严重级别 | 描述 | 示例文本 |
|---|---|---|
| 级别 0 – 安全 | 包含一般意义上使用的与自残相关的字词的内容，对所有目标受众（包括儿童）无害。 这包括：
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
| 1 级 | 包含一般意义上使用的与自残相关的字词的内容，但可以根据上下文得到不同的含义。 这包括：
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
| 2 级 | 包含虚构或真实世界经历中与自残相关的字词或行为的内容，这些字词不是非常生动。 这包括：
|
Oedipus stabbed his eyes in despair. |
| 级别 3 | 在包含一些图形内容、表达对自残的偏见、成见、批判或固执己见的观点的案例中，内容包含自残相关的字词或行为。 这包括：
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
| 级别 4 | 嘲笑自杀或自残的受害者或幸存者、毫无根据地将积极品质归因于自残、自残的幻想或愿望的内容，并包含涉及死亡、尸检、犯罪或死亡现场的明确图形内容。 这包括：
|
It's hilarious when [identity group] kill themselves. |
| 级别 5 | 旨在进一步宣传自残的内容，提供有关如何自残或欺凌受害者的直接指示。 这包括：
|
Go kill yourself, you are worthless. |
| 级别 6 | 描述有关如何自杀的详细而明确指示的内容。 这包括：
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
| 级别 7 | 用于认可和美化自杀或其他严重自残行为的内容。 这包括：
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
图像内容
警告
本文档中的严重性定义选项卡包含可能对某些读者造成干扰的有害内容示例。
仇恨和公平严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但以下或类似上下文中，可能包含非歧视性、非冒犯性的仇恨和公平相关的图像，且不附带情绪或仅附带中立情绪：
|
非邦联旗帜，例如带十字架的国家或州的旗帜
|
| 低 | 包含积极情绪、错误积极情绪或将身份群体与其他群体区分开来的消极、偏见情绪的内容。 此内容旨在引发情绪反应。 这包括：
|
“禁止仇恨言论”运动的陈述 在面试场合中陈述哪些求职者不被优先考虑（例如残疾人） |
| 中 | 包含针对身份群体和其他人的负面情绪行为的内容，这些内容会导致加剧针对身份群体的行为和优越感。 这包括：
|
提倡对 [身份群体] 进行社交回避的图像 描绘种族进步理论和优生学的图像 |
| 高 | 包含针对身份群体的负面情绪和仇恨言论的内容，导致产生仇恨言论或仇恨性犯罪。 这包括：
|
反犹太主义图像 描绘“南十字星”的图像，其特征是蓝色十字星（对角十字），并带有明显的暴力倾向（例如显示/使用枪支） |
性严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但包含一般意义上使用的与性相关的图像。 这包括：
|
拥抱或进行非性身体接触的表现形式 描绘感情的身体表达形式，例如接吻，但不是舌吻且不裸露身体 |
| 低 | 包含性暗示行为或动作的内容。 这包括：
|
人物描写 |
| 中 | 包含没有视觉摄影渗透的商业和业余色情和/或色情内容，以及涉及旨在造成性唤起的性场景的裸体或半裸体参与者内容。 这包括：
|
性交描绘，可能部分被遮挡，但仍然清晰地出现在图像 |
| 高 | 包含对性器官和性行为（包括非法行为）的明确详细描绘的内容。 这包括：
|
与动物或尸体发生性行为的描绘 |
暴力严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但包含一般意义上使用的与暴力相关的图像。 这包括：
|
对非现实武器和刀片工具的描绘 |
| 低 | 包含暴力相关图像以及真实或虚构环境中低血腥行为的内容。 这包括：
|
ISIS/基地组织旗帜的描绘 |
| 中 | 包含中度暴力画面和针对特定目标的暴力行为的内容。 这包括：
|
描绘使用武力和胁迫来侵略性地支配或恐吓个人 |
| 高 | 包含对高度血腥暴力和暴力行为的明确详细描绘的内容。 这包括：
|
描绘恐怖组织实施的杀戮，此类组织可以根据 ISIS 旗帜和符号来识别 |
自残严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但包含一般意义上使用的与自残相关的图像。 这包括：
|
描绘飞机跳伞 |
| 低 | 包含自残相关图像以及真实或虚构环境中低血腥行为的内容。 这包括：
|
自残相关行为、工具、伤害和情绪状态的陈述 |
| 中 | 包含与自残和自杀相关的温和图像的内容。 这包括：
|
有关使用武力和胁迫来侵略性地支配或恐吓个人自残的陈述 |
| 高 | 包含高度血腥的自残和自杀明确详细描绘的内容。 这包括：
|
故意自杀的描绘，例如某人从高楼跳下自杀 |
多模式（带文本的图像）内容
警告
本文档中的严重性定义选项卡包含可能对某些读者造成干扰的有害内容示例。
仇恨和公平严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但可能包含在通用和安全环境中使用的与仇恨和公平相关的文本和视觉对象，例如：
|
场景：带文本覆盖层的图像 图像：某个人的良性照片 文本： Attends rally wearing sneakers |
| 低 | 包含对身份群体的正面描述或保护，显露歧视、刻板印象以及与仇恨言论相关的或针对身份群体的偏见性的、评判性的、固执己见的观点或态度的内容。 这包括：
|
场景：带文本覆盖层的图像 图像：某个人的良性照片 文本： Everyone assumes that I got high grades in math because I’m Asian. I did. 理由：暗示种族性的刻板印象。 |
| 中 | 包含侮辱、欺凌、恐吓、去人化或贬低个人或群体的内容。 这包括：
|
场景：带文本覆盖层的图像 图像：帕金森患者的良性照片 文本： This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? 理由：暗示对残疾人的嘲讽 |
| 高 | 包含仇恨言论的内容，作为威胁或呼吁对身份组使用暴力的宣传，激进化、招募或煽动人们加入极端主义活动或传播仇恨言论。 这包括：
|
场景：图文交错Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
性严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但可能包含在通用和安全环境中使用的性相关术语或视觉对象，例如：
|
场景：带文本覆盖层的图像 图像：臭鼬 文本： Looks aren’t everything, be careful who you marry, and check your mirrors too. |
| 低 | 对性相关话题表达偏见、评判性或固执己见的观点，或在虚构或现实世界的经历中提及性相关术语的内容，这些内容都不是非常生动。 这包括：
|
场景：图文交错I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
| 中 | 以明确的和带图形术语或视觉对象的方式描述性唤起和性活动的内容，包括对性和性虐待的幻想。 这包括：
|
场景：图文交错There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
| 高 | 描述性商业服务招揽的内容，包括对性活动、暴力性虐待和强奸、非自愿权力交换、虐待和偷窥的详细描述。 这也包括用于宣传、支持或美化极端或非法性行为的内容。 这包括：
|
场景：图文交错Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
暴力严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但可能包含在通用和安全环境中使用的与暴力相关的术语和视觉对象，例如：
|
场景：图文交错[Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
| 低 | 虚构环境（例如游戏、文学、艺术）中描绘暴力或图像场景而没有美化、认可或恶意的内容。 这包括：
|
场景：带文本覆盖层的图像 图像：某个“呆子”的良性照片 文本： Runs suicides at basketball practice. Dies. 理由：暗示由于人的身体能力不足而导致精疲力竭。 |
| 中 | 包含中等强度暴力和死亡的图形描述以及对暴力行为或威胁的幻想的内容。 这包括：
|
场景：图文交错She needs [image of a graphic that reads "to die"] already。 |
| 高 | 互联网上包含恐怖主义或暴力极端主义宣传和暴力意识形态的内容，描述、赞扬、支持、赞同或美化作为恐怖活动一部分的杀戮，声援恐怖组织或事业。 这包括：
|
场景：图文交错I can’t wait for this [image of ISIS kafir beheading]. |
自残严重性级别
| 严重级别 | 描述 | 图像示例 |
|---|---|---|
| Safe | 内容是安全的，但可能包含在通用和安全环境中使用的与自残相关的术语或视觉对象，例如：
|
场景：图文交错How do I tie a [image of a rope]? |
| 低 | 包含虚构上下文（例如文学、电影）中计划或进行自杀的人物，或包含对自残行为或自杀的低强度描述的内容。 这包括：
|
场景：带文本覆盖层的图像 图像：科米蛙 文本： Life ain’t no good for a frog. Even tried to Kermit suicide. |
| 中 | 嘲笑自残受害者或幸存者的内容，如饮食失调或自杀，以及煽动和促进自残行为的欺凌和恐吓。 这包括：
|
场景：图文交错I will [image of a knife] myself soon. But until then, how do I tame my pain? |
| 高 | 内容包括研究如何进行导致死亡的自残或如何自杀，以及美化和认可自杀或其他严重类型的自残，以寻求建议或提供指导和方法。 这包括：
|
场景：图文交错Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
后续步骤
遵照快速入门的说明，开始在应用程序中使用 Azure AI 内容安全。
反馈
此页面是否有帮助？