Azure AI Content Safety の危害カテゴリ
- [アーティクル]
このガイドでは、Azure AI Content Safety でコンテンツにフラグを設定するために使用される危害カテゴリと評価について説明します。 テキストと画像の両方のコンテンツで同じフラグ セットが使用されます。
危害カテゴリ
Content Safety により、不快なコンテンツの 4 つの異なるカテゴリが認識されます。
カテゴリ | 説明 | API 用語 |
---|---|---|
ヘイトと公平性 | ヘイトと公平性の危害とは、そのグループの特定の差別化属性に基づいて個人または ID グループを攻撃する、あるいはそのグループに関して差別的な言葉を使用するコンテンツを指します。 たとえば、次のようなものが挙げられます。
|
Hate |
性的 | 性的とは、解剖学的臓器や生殖器、恋愛関係、性行為、性愛的または情愛的な用語で描写された行為 (暴行または意志に反した強制的な性的暴力行為として描写されたものを含む) に関連する言葉を表します。 たとえば、次のようなものが挙げられます。
|
Sexual |
暴力 | 暴力は、人や何かに苦痛を与える、傷つける、損傷を与える、殺害することを意図した物理的行為に関連する言葉、武器、銃器などを表します。 たとえば、次のようなものが挙げられます。
|
Violence |
自傷行為 | 自傷行為とは、故意に自分の体に苦痛を与える、傷つける、損傷を与える、または自殺を意図した物理的な行為に関連する言葉を表します。 たとえば、次のようなものが挙げられます。
|
SelfHarm |
分類には複数のラベルを付けることができます。 たとえば、テキスト サンプルがテキスト モデレーション モデルを通過すると、性的コンテンツと暴力の両方として分類される可能性があります。
セキュリティ レベル
サービスで適用されるすべての危害カテゴリには、重大度レベルも含まれます。 重大度レベルは、フラグが設定されたコンテンツを表示した結果の重大度を示すためのものです。
テキスト: テキスト モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールがサポートされています。 この分類子は、このスケールに沿ってすべての重大度の中から検出します。 ユーザーが指定した場合、0、2、4、6 へとトリミングしたスケールで重大度を返すことができます。2 つの隣接するレベルはそれぞれ、1 つのレベルにマップされます。
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
画像: 画像モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールをトリミングしたバージョンがサポートされています。 分類子は重大度 0、2、4、6 のみを返します。
0
2
4
6
テキスト付きの画像: マルチモーダル モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールがサポートされています。 この分類子は、このスケールに沿ってすべての重大度の中から検出します。 ユーザーが指定した場合、0、2、4、6 へとトリミングしたスケールで重大度を返すことができます。2 つの隣接するレベルはそれぞれ、1 つのレベルにマップされます。
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
テキスト コンテンツ
警告
このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。
ヘイトと公平性の重大度レベル
重大度レベル | 説明 | 文章の例 |
---|---|---|
レベル 0 | 子どもを含むすべての対象ユーザーに適している、一般的な意味で使用されるヘイトと公平性に関する用語を含むコンテンツ。 これには、次のものが含まれます。
|
I hate cats. |
レベル 1 | 一般的な意味で使用されるヘイトと公平性に関連する用語を含むが、文脈によっては異なる意味を獲得する可能性があり、アイデンティティ グループと他者を偏見的または否定的に差別化しないコンテンツ。 これには、次のものが含まれます。
|
Black people should not be killed by police or mistreated just because of their skin color. |
レベル 2 | アイデンティティ グループについての、好ましく感情的な反応を引き起こすような肯定的な描写または擁護を含むコンテンツ。 これには、次のものが含まれます。
|
I hate you. |
レベル 3 | 偏見、判断、固定観念に基づく描写または否定的な感情を含むコンテンツ。 これには、次のものが含まれます。
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
[レベル 4] | 個人の属性に基づいて個人を傷つける意図を持って、アイデンティティ グループを標的とする記述として使用される、口頭での直接的な感情に動機付けられた暴言、否定的なコメント、人種的な中傷を含むコンテンツ。 これには、次のものが含まれます。
|
All [identity group] are ugly. |
レベル 5 | 非人間化、暴力、出来事の否定、いじめ、または脅迫行為により否定的な感情をさらに強めるような、個人またはグループの非人間化または品位を貶める内容を含むコンテンツ。 これには、次のものが含まれます。
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
レベル 6 | アイデンティティ グループに対する否定的感情とヘイト スピーチに基づくコンテンツ。 アイデンティティ グループと他のアイデンティティ グループを差別化するようなグループの特徴に言及し、その属性に基づいてアイデンティティ グループに対して行動を起こすよう訴えかけることによる。 次の事柄が関係します。
|
Send [identity group] back to the gas chambers. |
レベル 7 | 否定的な感情に基づくコンテンツ。ヘイト犯罪やストーカーの意図を示し、敵対的な感情的反応を引き起こし、アイデンティティ グループやその他のユーザーを差別化し犯罪へとつながるようなコンテンツ。 これには、次のものが含まれます。
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
性的な重大度レベル
重大度レベル | 説明 | 文章の例 |
---|---|---|
レベル 0 | 子どもを含むすべての対象ユーザーにとって無害な、一般的な意味で使用される性的な内容に関する用語を含むコンテンツ。
|
The sports bra and yoga pants were too tight for comfort. |
レベル 1 | 一般的な意味で使用される性的な内容に関する用語を含むが、文脈により異なる意味を得る可能性があるコンテンツ。 これには次のものが含まれます
|
Fewer young adults are having sex than in previous generations. |
レベル 2 | 架空または現実世界での経験における、性的な内容に関する極端に描写的ではない用語を含むコンテンツ。 これには次のものが含まれます
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
レベル 3 | 性的内容に関する用語を含むコンテンツ。性的関連の問題に関する具体的描写のあるコンテンツ、偏見、先入観、批判、または独断的な意見が含まれている場合。 これには次のものが含まれます
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
[レベル 4] | 性的なファンタジー、プロのセックス業界と広告、動物の有性生殖について記述するコンテンツ。 これには次のものが含まれます
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
レベル 5 | 個人的な経験として、性愛的内容の番組や経験、明確な同意のある性的嗜好行為、そして性愛ストーリーやウェブサイトについて記述するコンテンツ。 これには次のものが含まれます
|
We both climaxed at the same time. |
レベル 6 | 性的な商業サービスへの勧誘を記述したコンテンツ。性的行為、暴力による性的虐待とレイプ、合意のない権力の交換、虐待、のぞきについての詳細な描写が含まれるもの。 これには次のものが含まれます
|
I love forced sex, it's so much hotter. |
レベル 7 | 性的奴隷の過激な形態を推奨、是認、美化するために使用されるコンテンツ。 過激または違法なコンテンツ。 これには次のものが含まれます
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
暴力の重大度レベル
重大度レベル | 説明 | 文章の例 |
---|---|---|
レベル 0 | 子どもを含むすべての対象ユーザーにとって無害な、一般的な意味で使用される非暴力行為または暴力関連の用語を含むコンテンツ。 これには、次のものが含まれます。
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
レベル 1 | 一般的な意味で使用される暴力に関連する用語または行為を含むが、文脈により異なる意味を得る可能性があるコンテンツ。 これには、次のものが含まれます。
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
レベル 2 | 架空または現実世界での経験における、暴力に関する極端に描写的ではない用語や行動を含むコンテンツで、悪意の美化や是認がないもの。 これには、次のものが含まれます。
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
レベル 3 | 暴力に関する用語や行動を含むコンテンツ。暴力に関する具体的描写のあるコンテンツ、偏見、先入観、批判、または独断的な意見が含まれている場合。 これには、次のものが含まれます。
|
Some people just need to be slapped. |
[レベル 4] | 被害者が身体虐待を受けている理由についての根拠のない正当化、虐待者に対する根拠のない肯定的な性質の付与、他の人に危害を加える方法に関連する暴力行為やファンタジーの脅迫に関して記述したコンテンツで、中程度の流血のあるもの。 これには、次のものが含まれます。
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
レベル 5 | 特定の個人またはグループに危害を与える方法に関する直接的な指示を提供し、暴力をさらに促すこと目的としたコンテンツ。 これには、次のものが含まれます。
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
レベル 6 | 過激派グループやテロ組織、大量殺害、明らかな物理的損害について、また、テロとそのプロパガンダに対する推奨が記述されたコンテンツで、流血の多い表現のもの。 これには、次のものが含まれます。
|
We must kill them all. God wills it, and society will be better for it. |
レベル 7 | 過激な形態の暴力を記述、賞賛、支持、推奨、是認、美化するために使用されるコンテンツ。 テロ組織を支援し、過激化、指導、または訓練を行うコンテンツ。 これには、次のものが含まれます。
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
自傷の重大度レベル
重大度レベル | 説明 | 文章の例 |
---|---|---|
レベル 0 – 安全 | 子どもを含むすべての対象ユーザーにとって無害な、一般的な意味で使用される自傷行為に関する用語を含むコンテンツ。 これには、次のものが含まれます。
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
レベル 1 | 一般的な意味で使用される自傷行為に関する用語を含むが、文脈により異なる意味を得る可能性があるコンテンツ。 これには、次のものが含まれます。
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
レベル 2 | 架空または現実世界での経験における、自傷行為に関する極端に描写的ではない用語や行動を含むコンテンツ。 これには、次のものが含まれます。
|
Oedipus stabbed his eyes in despair. |
レベル 3 | 自傷行為に関する用語や行動を含むコンテンツ。自傷行為に関する具体的描写のあるコンテンツ、偏見、先入観、批判、または独断的な意見が含まれている場合。 これには、次のものが含まれます。
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
[レベル 4] | 自殺行為または自傷行為の被害者または生存者を嘲笑するコンテンツ。自傷行為、ファンタジー、または自傷行為の願望に対して、根拠なく肯定的な性質を付与するもの。また、死、解剖、犯罪、または死亡シーンに関する、あからさまに描写的なコンテンツが含まれているもの。 これには、次のものが含まれます。
|
It's hilarious when [identity group] kill themselves. |
レベル 5 | 自傷行為を行う方法や、被害者をいじめる方法に関する直接的な指示を提供して、自傷行為のさらに促すことを目的としたコンテンツ。 これには、次のものが含まれます。
|
Go kill yourself, you are worthless. |
レベル 6 | 自殺する方法に関する詳細かつ明示的な指示を説明するコンテンツ。 これには、次のものが含まれます。
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
レベル 7 | 自殺やその他の重大な自傷行為を是認し美化するために使用されるコンテンツ。 これには、次のものが含まれます。
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
画像コンテンツ
警告
このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。
ヘイトと公平性の重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、以下のような文脈またはそれに類似の文脈において、非差別的な非攻撃的な形で、感情を伴わない、または中立的な感情を持つような、ヘイトと公平性に関連する画像が含まれている可能性があります。
|
コンフェデレート旗 (南軍旗) 以外の旗 (たとえば、クロスを特徴とする国または州の旗)
|
低 | 肯定的な感情、誤りの肯定的な感情、または否定的な偏った感情のいずれかを含むコンテンツで、アイデンティティ グループ間での差別化を行うもの。 このコンテンツは、感情的な反応を引き起こすことを目的としています。 これには、次のものが含まれます。
|
「ヘイトスピーチ反対」運動の表現 採用面接を受ける障碍者など、優先されない求職者に関する表現 |
Medium | アイデンティティ グループや他者に対する否定的な感情を含むコンテンツで、あるアイデンティティ グループに対する行動の推奨と優越感の感情につながりるもの。 これには、次のものが含まれます。
|
「アイデンティティグループ」を社会的避けることを推奨する画像 人種改善論と優生学を描写する画像 |
高 | アイデンティティ グループに対する否定的な感情とヘイト スピーチを含み、ヘイト スピーチやヘイト犯罪の発生につながるコンテンツ。 これには、次のものが含まれます。
|
反ユダヤ主義の画像 明らかな暴力 (銃の誇示、使用など) に関係づけられた、青い格子 (斜めの十字模様) を特徴とする「南十字」旗が描かれた画像 |
性的な重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、一般的な意味で使用される性的に関連する画像が含まれています。 これには、次のものが含まれます。
|
抱きしめたり、性的でない物理的接触を行ったりする表現 舌を使わないキスやヌードを伴わないキスなどの愛情の物理的な表示を示す表現 |
低 | 性的に示唆的な行動や行為を含むコンテンツ。 これには、次のものが含まれます。
|
人の描写 |
Medium | 性的興奮を意図した性的なシーンに関与する、視覚的に露骨な挿入を伴わずヌードまたは半ヌードの参加者のない、商用およびアマチュアによる性愛コンテンツおよび/またはポルノコンテンツを含むコンテンツ。 これには、次のものが含まれます。
|
部分的に隠されている可能性があるが、画像内で依然として明確に判別できる性交の描写 |
高 | 違法行為を含む、生殖器や性的行為の明らさまで詳細な表現を含むコンテンツ。 これには、次のものが含まれます。
|
動物や死体との性行為に関する描写 |
暴力の重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、一般的な意味で使用される暴力関連の画像が含まれています。 これには、次のものが含まれます。
|
非現実的な武器や刃物の描写 |
低 | 現実世界または架空の文脈における暴力関連の画像や行為を含む、流血の少ないコンテンツ。 これには、次のものが含まれます。
|
ISIS/al-Qaeda の旗の図 |
Medium | 特定の標的を狙った中程度の具体的描写のある暴力と暴力行為を含むコンテンツ。 これには、次のものが含まれます。
|
個人を積極的に支配または威嚇するための力と強制の使用についての描写 |
高 | 暴力と暴力行為についての明示的で詳細な、流血の多い表現を含むコンテンツ。 これには、次のものが含まれます。
|
ISIS の旗とシンボルによって識別可能なテロリスト グループによって実行された死の描写 |
自傷の重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、一般的な意味で使用される自傷関連の画像が含まれています。 これには、次のものが含まれます。
|
平面からパラシュートで飛び降りる様子 |
低 | 現実の世界または架空の文脈における自傷行為に関連する画像や行為を含む、流血の少ないコンテンツ。 これには、次のものが含まれます。
|
自傷行為に関連する、道具、傷害および感情的状態の表現 |
Medium | 自傷行為や自傷行為に関連する中程度の具体的描写のある画像を含むコンテンツ。 これには、次のものが含まれます。
|
力や威圧を用いて暴力的に支配または脅迫することにより個人に自傷行為をさせることの表現 |
高 | 自傷行為と自殺の明示的な詳細な表現を含む流血の多いコンテンツ。 これには、次のものが含まれます。
|
人が高い建物から飛び降りて自殺した、意図的な自殺の描写 |
マルチモーダル (テキスト付きの画像) コンテンツ
警告
このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。
ヘイトと公平性の重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、ヘイトや公平性に関連するテキストやビジュアルが含まれる場合があります。
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のない人物写真 テキスト: Attends rally wearing sneakers |
低 | アイデンティティ グループの肯定的な特性や保護を含み、ヘイト スピーチやアイデンティティ グループを標的にした発言に関連する、差別、ステレオタイプ、偏見、判断、独断的な意見、または態度を表示するコンテンツ。 これには次のものが含まれます
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のない人物写真 テキスト: Everyone assumes that I got high grades in math because I’m Asian. I did. 理論的根拠: 人種的固定観念を示唆しています。 |
Medium | 個人または団体を侮辱、いじめ、脅迫、非人間化、または品位を貶める内容を含むコンテンツ。 これには次のものが含まれます
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のないパーキンソン病患者の写真 テキスト: This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? 理論的根拠: 障碍による嘲笑を示唆 |
高 | アイデンティティ グループに対する暴力をそそのかし、または呼びかけるプロパガンダとしてのヘイト スピーチを含むコンテンツ、過激派の活動に参加するよう過激化を勧誘し、扇動するコンテンツ、またはヘイト スピーチを広めるコンテンツ。 これには次のものが含まれます
|
シナリオ: 画像とテキストのインターリーブNever forget that everything [image of Adolf Hitler] did in Germany was legal. |
性的な重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、性に関連する用語やビジュアルが含まれる場合があります。
|
シナリオ: テキスト オーバーレイ付きの画像 画像: スカンク テキスト: Looks aren’t everything, be careful who you marry, and check your mirrors too. |
低 | 性的な話題に関する偏見、判断、意見を表明する内容や、極端に生々しくないフィクションや実体験の中で性的な用語に言及する内容。 これには次のものが含まれます
|
シナリオ: 画像とテキストのインターリーブI hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
Medium | 露骨で生々しい言葉やビジュアルで性的興奮や行為を描写する内容で、セックスや性的虐待に関する妄想を含む内容。 これには次のものが含まれます
|
シナリオ: 画像とテキストのインターリーブThere is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
高 | 性的な商業サービスへの勧誘を記述したコンテンツ。性的行為、暴力による性的虐待とレイプ、合意のない権力の交換、虐待、のぞきについての詳細な描写が含まれるもの。 これには、過激または違法な性行為を促進、推奨、賛美するために使用される内容も含まれます。 これには次のものが含まれます
|
シナリオ: 画像とテキストのインターリーブCan too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
暴力の重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、暴力に関連する用語やビジュアルが含まれる場合があります。
|
シナリオ: 画像とテキストのインターリーブ[Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
低 | フィクションのコンテキスト (ゲーム、文学、芸術など) において、美化、推奨、悪意なく暴力的または生々しいシーンを描写する内容。 これには次のものが含まれます
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のない "秀才" の写真 テキスト: Runs suicides at basketball practice. Dies. 理論的根拠: その人物の身体能力が劣っていることによる極度の疲労を示唆しています。 |
Medium | 中強度の暴力や死の描写があり、暴力的な行為や脅迫に関する妄想が含まれる内容。 これには次のものが含まれます
|
シナリオ: 画像とテキストのインターリーブShe needs [image of a graphic that reads "to die"] already |
高 | テロ活動の一環としての殺人を記述、賞賛、支援、承認、または賛美する、インターネット上のテロリストまたは暴力的過激派のプロパガンダや暴力的イデオロギーなどの内容、テロ組織または思想への提供を支援する内容。 これには次のものが含まれます
|
シナリオ: 画像とテキストのインターリーブI can’t wait for this [image of ISIS kafir beheading]. |
自傷の重大度レベル
重大度レベル | 説明 | 画像の例 |
---|---|---|
Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、自傷に関連する用語やビジュアルが含まれる場合があります。
|
シナリオ: 画像とテキストのインターリーブHow do I tie a [image of a rope]? |
低 | フィクションの文脈 (文学、映画など) において、自殺を計画または実行する登場人物への言及を含む内容、または自傷行為や自殺の描写が低強度で含まれる内容 これには次のものが含まれます
|
シナリオ: テキスト オーバーレイ付きの画像 画像: カエルのカーミット テキスト: Life ain’t no good for a frog. Even tried to Kermit suicide. |
Medium | 摂食障害や自殺などの自傷行為の被害者や生存者をばかにする内容や、自傷行為を扇動し、助長するいじめや脅迫。 これには次のものが含まれます
|
シナリオ: テキストのインターリーブ付きの画像I will [image of a knife] myself soon. But until then, how do I tame my pain? |
高 | 死に至る自傷行為や自殺の方法に関するアドバイスや手順、方法の研究を含む内容、自殺やその他の深刻な種類の自傷行為を美化し、推奨する内容。 これには次のものが含まれます
|
シナリオ: 画像とテキストのインターリーブBlack Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
次のステップ
クイックスタートに従って、アプリケーションで Azure AI Content Safety の使用を開始します。
フィードバック
このページはお役に立ちましたか?