Kategorie škod v zabezpečení obsahu Azure AI
- Článek
Tato příručka popisuje všechny kategorie škod a hodnocení, které Azure AI Content Safety používá k označení obsahu. Text i obsah obrázku používají stejnou sadu příznaků.
Kategorie škod
Bezpečnost obsahu rozpozná čtyři různé kategorie problematického obsahu.
Kategorie | Popis | Termín rozhraní API |
---|---|---|
Nenávist a nestrannost | Nenávist a nestrannost poškozují veškerý obsah, který útoky nebo používá diskriminační jazyk s odkazem na osobu nebo skupinu identit na základě určitých atributů těchto skupin. To zahrnuje, ale není omezeno na:
|
Hate |
Sexuální | Sexuální popis jazyka související s anatomickými orgány a pohlavními orgány, romantickými vztahy a sexuálními činy, působí v erotických nebo laskavých termínech, včetně těch, které jsou znázorněny jako útok nebo vynucený sexuální násilí proti willu člověka. To zahrnuje, ale není omezeno na:
|
Sexual |
Násilí | Násilí popisuje jazyk související s fyzickými činy, které mají ublížit, poškodit, poškodit nebo zabít někoho nebo něco; popisuje zbraně, zbraně a související entity. To zahrnuje, ale není omezené na:
|
Violence |
Sebepoškozování | Sebepoškozování popisuje jazyk související s fyzickými akcemi, jejichž účelem je úmyslně ublížit, poškodit, poškodit tělo nebo zabít sebe. To zahrnuje, ale není omezené na:
|
SelfHarm |
Klasifikaci lze označit více popisky. Když například ukázka textu prochází modelem moderování textu, může být klasifikována jako sexuální obsah i násilí.
Úrovně závažnosti
Každá kategorie škod, na které se služba vztahuje, má také hodnocení na úrovni závažnosti. Úroveň závažnosti je určena k označení závažnosti důsledků zobrazení obsahu označeného příznakem.
Text: Aktuální verze textového modelu podporuje úplné měřítko závažnosti 0–7. Klasifikátor zjistí v tomto měřítku všechny závažnosti. Pokud uživatel určí, může vrátit závažnosti v oříznuté škále 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Obrázek: Aktuální verze modelu image podporuje oříznutou verzi plné závažnosti 0–7. Klasifikátor vrátí pouze závažnosti 0, 2, 4 a 6.
0
2
4
6
Obrázek s textem: Aktuální verze multimodálního modelu podporuje úplné měřítko závažnosti 0–7. Klasifikátor zjistí v tomto měřítku všechny závažnosti. Pokud uživatel určí, může vrátit závažnosti v oříznuté škále 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Textový obsah
Upozorňující
Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.
Úrovně závažnosti nenávisti a nestrannosti
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 | Obsah, který obsahuje výrazy související s nenávistí a nestranností, které se používají v obecném smyslu a jsou vhodné pro všechny cílové skupiny, včetně dětí. Sem patří:
|
I hate cats. |
Úroveň 1 | Obsah, který obsahuje výrazy související s nenávistí a nestranností, které se používají v obecném smyslu, ale mohou získat jiný význam na základě kontextu a nerozlišuje mezi skupinami identit a ostatními zkreslenými nebo negativními způsoby. Sem patří:
|
Black people should not be killed by police or mistreated just because of their skin color. |
Úroveň 2 | Obsah, který obsahuje pozitivní charakterizaci nebo ochranu skupin identit, které aktivují uspokojivou emocionální reakci. Sem patří:
|
I hate you. |
Úroveň 3 | Obsah, který obsahuje předsudek, úsudek, stereotypní charakterizaci nebo negativní mínění. Sem patří:
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
Level 4 | Obsah, který obsahuje přímé slovní urážky motivované míněním, negativní komentáře a rasové slury používané jako popisy zaměřené na skupiny identit se záměrem poškodit jednotlivce na základě jejich atributů. Sem patří:
|
All [identity group] are ugly. |
Úroveň 5 | Obsah, který obsahuje odlidnění nebo odchylku jednotlivců nebo skupin, které dále záporně zabarvení prostřednictvím odlidnění, násilí, odepření událostí, bullyingu nebo zastrašování chování. Sem patří:
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
Úroveň 6 | Obsah založený na negativním mínění a nenávisti vůči skupinám identit. Odkazem na charakteristiky skupin, které rozlišují skupinu identit a další uživatele, a odvolání k provedení akcí vůči skupinám identit na základě jejich atributů. Může to zahrnovat:
|
Send [identity group] back to the gas chambers. |
Úroveň 7 | Obsah založený na negativním mínění, zobrazení záměru nenávisti a stalkingu, aktivace nepřátelské emocionální reakce a odlišení skupin identit a dalších, které vedou k trestné činnosti. Sem patří:
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
Úrovně sexuální závažnosti
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 | Obsah, který obsahuje sexuálně související termíny používané obecně, které jsou neškodné pro všechny cílové skupiny, včetně dětí.
|
The sports bra and yoga pants were too tight for comfort. |
Úroveň 1 | Obsah, který obsahuje sexuálně související termíny používané v obecném smyslu, ale může získat jiný význam na základě kontextu. To zahrnuje:
|
Fewer young adults are having sex than in previous generations. |
Úroveň 2 | Obsah, který obsahuje sexuálně související termíny ve fiktivních nebo skutečných prostředích, které nejsou extrémně grafické. To zahrnuje:
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
Úroveň 3 | Obsah se sexuálními termíny v případech, které obsahují nějaký grafický obsah, názory vyjadřující předsudky, dotčeny, úsudek nebo názory na problémy související se sexem. To zahrnuje:
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
Level 4 | Obsah popisující sexuální fantazie, profesionální sex průmysl a reklamy a sexuální reprodukci zvířat. To zahrnuje:
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
Úroveň 5 | Obsah popisující erotické show nebo zážitky jako osobní zkušenosti, BDSM s jasným souhlasem, a erotické příběhy a weby. To zahrnuje:
|
We both climaxed at the same time. |
Úroveň 6 | Obsah popisující vyžádání sexuálních komerčních služeb obsahující podrobné popisy sexuální aktivity, násilného sexuálního zneužívání a znásilnění a nekonenzuální výměny moci, zneužívání a voyeurismu. To zahrnuje:
|
I love forced sex, it's so much hotter. |
Úroveň 7 | Obsah používaný k propagaci, schválení, glorifie extrémní formy sexuálního zoslavnění. Obsah, který je extrémní nebo nelegální. To zahrnuje:
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
Úrovně závažnosti násilí
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 | Obsah obsahující nenásilné akce nebo termíny související s násilím používané v obecném smyslu, které jsou neškodné pro všechny cílové skupiny, včetně dětí. Sem patří:
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
Úroveň 1 | Obsah, který obsahuje výrazy související s násilím nebo činy používané v obecném smyslu, ale mohou získat jiný význam na základě kontextu. Sem patří:
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
Úroveň 2 | Obsah, který obsahuje výrazy související s násilím nebo činy ve fiktivním nebo skutečném prostředí, které nejsou extrémně grafické a bez glorifikace nebo doporučení malintentu. Sem patří:
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
Úroveň 3 | Obsah s výrazy nebo činy souvisejícími s násilím v případech, které obsahují nějaký grafický obsah, názory vyjadřující předsudky, dotčeny, úsudky nebo názory na násilí. Sem patří:
|
Some people just need to be slapped. |
Level 4 | Obsah popisující neuzemněné důvody, proč jsou oběti fyzicky zneužívané, nepodložení pozitivních vlastností zneužití, hrozby násilné činy a fantazie týkající se toho, jak poškodit jinou osobu a střední gore. Sem patří:
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
Úroveň 5 | Obsah zaměřený na další násilí, který poskytuje přímé pokyny k poškození konkrétních jednotlivců nebo skupin. Sem patří:
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
Úroveň 6 | Obsah popisující teroristické skupiny a teroristické organizace, hromadné vraždy a explicitní fyzické škody ve vysoké gore a propagaci terorismu a její pornografie. Sem patří:
|
We must kill them all. God wills it, and society will be better for it. |
Úroveň 7 | Obsah používaný k popisu, pochvalu, podpoře, podpoře, podpoře, podpoře, podpoře, glorifii extrémních forem násilí. Obsah, který podporuje teroristické organizace a radikalizuje, dává pokyn nebo vlaky. Sem patří:
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
Úrovně závažnosti sebepoškozování
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 – bezpečný | Obsah, který obsahuje termíny související se sebepoškozováním, které se používají v obecném smyslu, které jsou neškodné pro všechny cílové skupiny, včetně dětí. Sem patří:
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
Úroveň 1 | Obsah, který obsahuje termíny související se sebepoškozováním, které se používají v obecném smyslu, ale mohou získat jiný význam na základě kontextu. Sem patří:
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
Úroveň 2 | Obsah, který obsahuje pojmy související se sebepoškozováním nebo činy ve fiktivním nebo skutečném prostředí, které nejsou extrémně grafické. Sem patří:
|
Oedipus stabbed his eyes in despair. |
Úroveň 3 | Obsah s pojmy souvisejícími se sebepoškozováním nebo činy v případech, které obsahují určitý grafický obsah, názory vyjadřující předsudky, dotčeny, úsudky nebo názory na sebepoškozování. Sem patří:
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
Level 4 | Obsah, který napodobuje oběti nebo přeživší sebevraždy nebo sebepoškozování, neodůvodněný přisuzování pozitivních vlastností k sebepoškozování, fantazii nebo přání sebepoškozování a obsahuje explicitně grafický obsah zahrnující smrt, autopsy, zločin nebo scénu smrti. Sem patří:
|
It's hilarious when [identity group] kill themselves. |
Úroveň 5 | Obsah zaměřený na další propagaci sebepoškozování, poskytování přímých pokynů k výkonu sebepoškozování nebo býčí oběti. Sem patří:
|
Go kill yourself, you are worthless. |
Úroveň 6 | Obsah popisující podrobné a explicitní instrukce o tom, jak spáchat sebevraždu. Sem patří:
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
Úroveň 7 | Obsah používaný ke schválení a glorifii sebevraždy nebo jinému závažnému činu sebepoškozování. Sem patří:
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Obsah obrázku
Upozorňující
Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.
Úrovně závažnosti nenávisti a nestrannosti
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale může obsahovat obrázky související s nenávistí a nestranností bez mínění nebo neutrálních mínění v nediskriminačních nediskriminacích způsobech v následujících kontextech nebo podobných:
|
Nefederační vlajky, např. vlajky zemí nebo států, které mají křížky
|
Nízká | Obsah, který obsahuje buď pozitivní mínění, falešně pozitivní mínění nebo negativní, zkreslené mínění, které se liší od ostatních skupin identit. Tento obsah je určený k aktivaci emocionální odpovědi. Sem patří:
|
Reprezentace hnutí "No Hate Speech" Reprezentace zastaralých uchazečů o zaměstnání, jako jsou kandidáti s postižením v nastavení pohovoru |
Střední | Obsah, který obsahuje akci negativního mínění vůči skupinám identit a dalším osobám, které vedou k povýšení akce proti skupinám identit a míněním nadřazenosti. Sem patří:
|
Imagery, které podporují sociální předcházení [skupinám identit] Imagery, která znázorňuje teorii rasového zlepšení a eugenii |
Vysoká | Obsah, který obsahuje negativní mínění a projevy nenávisti vůči skupinám identit, které vedou ke generování řeči nebo nenávisti. Sem patří:
|
Snímky typu "Jižní kříž", který znázorňuje modrý solí (diagonální kříž) se sdružováním zjevného násilí (např. zbraně v displeji/použití) |
Úrovně sexuální závažnosti
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale obsahuje sexuálně související obrázky používané v obecném smyslu. Sem patří:
|
Reprezentace huggingu nebo vytváření non-sexuální fyzické kontaktní reprezentace znázorňující fyzické zobrazení lásky, jako je líbání bez jazyka a bez nahoty |
Nízká | Obsah, který obsahuje sexuální sugestivní chování nebo činy. Sem patří:
|
Znázornění lidí |
Střední | Obsah, který obsahuje komerční a amatérský erotický a/nebo pornografický obsah bez vizuální fotografické penetrace a nahá nebo nahá nahá účastníci zapojené do sexuálních scén, které mají být sexuálně probuzující. Sem patří:
|
Znázornění pohlavního styku, které mohou být částečně odlehlé, ale stále jasně přítomné na obrázku |
Vysoká | Obsah, který obsahuje explicitní podrobné znázornění sexuálních orgánů a sexuálních činů, včetně nelegálních činů. Sem patří:
|
Znázornění zapojení do sexuálních aktivit se zvířaty nebo mrtvolami |
Úrovně závažnosti násilí
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale obsahuje obrázky související s násilím, které se používají obecně. Sem patří:
|
Znázornění nerealistických zbraní a ostří nástrojů |
Nízká | Obsah, který obsahuje obrázky související s násilím a působí ve skutečném světě nebo fiktivní kontexty s nízkými gore. Sem patří:
|
Znázornění příznakůLUŠ/al-Qaeda |
Střední | Obsah, který obsahuje středně závažné grafické násilí a násilné činy zaměřené na identifikovaný cíl. Sem patří:
|
Znázornění použití síly a vynucení k agresivnímu dominování nebo zastrašení jednotlivce |
Vysoká | Obsah, který obsahuje explicitní podrobné znázornění násilí a násilné činy ve vysoké gore. Sem patří:
|
Znázornění smrti při provedení teroristických skupin identifikovatelných příznakem a symboly |
Úrovně závažnosti sebepoškozování
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale obsahuje obrázky související s vlastním poškozením, které se používají v obecném smyslu. Sem patří:
|
Znázornění skoku s padákem z letadla |
Nízká | Obsah, který obsahuje obrázky související se sebepoškozováním a působí ve skutečném světě nebo fiktivních kontextech s nízkými gore. Sem patří:
|
Reprezentace činů, nástrojů, zranění a emocionálního stavu souvisejících se sebepoškozováním |
Střední | Obsah, který obsahuje moderované grafické obrázky týkající se sebepoškozování a sebevraždy Sem patří:
|
Reprezentace použití síly a vynucení k agresivnímu dominování nebo zastrašení jednotlivce do sebepoškozování |
Vysoká | Obsah, který obsahuje explicitní podrobné znázornění sebepoškozování a sebevraždy ve vysoké gore. Sem patří:
|
Znázornění úmyslné sebevraždy, kdy osoba spáchá sebevraždu skokem z vysoké budovy |
Multimodální obsah (obrázek s textem)
Upozorňující
Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.
Úrovně závažnosti nenávisti a nestrannosti
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale může obsahovat text a vizuály související s nenávistí a nestranností, které se používají v obecných a bezpečných kontextech, například:
|
Scénář: Obrázek s překryvným textem Obrázek: Neškodná fotka osoby Text: Attends rally wearing sneakers |
Nízká | Obsah, který obsahuje pozitivní charakterizaci nebo ochranu skupin identit, zobrazuje diskriminaci, stereotypy a předsudky, úsudek, názory nebo postoje týkající se nenávisti řeči nebo cílení skupin identit. To zahrnuje:
|
Scénář: Obrázek s překryvným textem Obrázek: Neškodná fotka osoby Text: Everyone assumes that I got high grades in math because I’m Asian. I did. Odůvodnění: Implikuje rasový stereotyp. |
Střední | Obsah, který obsahuje urážky, bullying, zastrašování, de-humanizaci nebo odchylku jednotlivců nebo skupin. To zahrnuje:
|
Scénář: Obrázek s překryvným textem Obrázek: Neškodná fotografie osoby s Focs Text: This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? Odůvodnění: Implikuje napodobení kvůli postižení |
Vysoká | Obsah, který obsahuje nenávistnou řeč jako hrozbu nebo vyzývá k násilí proti skupinám Identity, radikalizuje, rekrutuje nebo inkasuje lidi, aby se připojili k nenávistným snahám nebo šířili nenávistnou řeč. To zahrnuje:
|
Scénář: Obrázek a text prokládání Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
Úrovně sexuální závažnosti
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale může obsahovat sexuálně související termíny nebo vizuály používané v obecných a bezpečných kontextech, jako jsou:
|
Scénář: Obrázek s překryvným textem Obrázek: Skunk Text: Looks aren’t everything, be careful who you marry, and check your mirrors too. |
Nízká | Obsah, který vyjadřuje předsudky, úsudek nebo názorné názory na sexuálně související témata nebo zmínky o sexuálně souvisejících termínech ve fiktivních nebo skutečných zkušenostech, které nejsou extrémně grafické. To zahrnuje:
|
Scénář: Obrázek a text prokládání I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
Střední | Obsah, který popisuje sexuální vzrušení a aktivitu ve explicitních a grafických pojmech nebo vizuálech, včetně fantazí o sexu a sexuálním zneužívání. To zahrnuje:
|
Scénář: Obrázek a text prokládání There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
Vysoká | Obsah popisující vyžádání sexuálních komerčních služeb obsahující podrobné popisy sexuální aktivity, násilného sexuálního zneužívání a znásilnění a nekonenzuální výměny moci, zneužívání a voyeurismu. Patří sem také obsah, který se používá k propagaci, podpoře nebo glorifii extrémních nebo nelegálních sexuálních činů. To zahrnuje:
|
Scénář: Obrázek a text prokládání Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
Úrovně závažnosti násilí
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale může obsahovat výrazy a vizuály související s násilím používaným v obecných a bezpečných kontextech, jako jsou:
|
Scénář: Obrázek a text prokládání [Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
Nízká | Obsah v fiktivních kontextech (například hry, literatura, umění), které znázorňují násilné nebo grafické scény bez glorifikace, doporučení nebo malintentu. To zahrnuje:
|
Scénář: Obrázek s překryvným textem Obrázek: Neškodná fotka "nerdy" osoby Text: Runs suicides at basketball practice. Dies. Odůvodnění: Implikuje vyčerpání z důvodu nedostatku fyzických schopností osoby. |
Střední | Obsah, který obsahuje grafické znázornění násilí a smrti ve střední intenzitě a také fantazie o násilném činu nebo hrozbách. To zahrnuje:
|
Scénář: Obrázek a text prokládání She needs [image of a graphic that reads "to die"] already . |
Vysoká | Obsah, který obsahuje teroristickou nebo násilnou pornografii a násilnou hierarchii na internetu, která popisuje, chválí, podporuje, podporuje nebo glorifuje vraždy v rámci teroristických aktivit, pomáhá nabídek teroristickým organizacím nebo příčinám. To zahrnuje:
|
Scénář: Obrázek a text prokládání I can’t wait for this [image of ISIS kafir beheading]. |
Úrovně závažnosti sebepoškozování
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale může obsahovat termíny nebo vizuály související se sebepoškozováním používanými v obecných a bezpečných kontextech, jako jsou:
|
Scénář: Obrázek a text prokládání How do I tie a [image of a rope]? |
Nízká | Obsah, který obsahuje odkazy na postavy plánující nebo spáchání sebevraždy v fiktivním kontextu (například literatura, filmy) nebo obsahuje znázornění činů sebepoškozování nebo sebevraždy s nízkou intenzitou. To zahrnuje:
|
Scénář: Obrázek s překryvným textem Obrázek: Kermit žába Text: Life ain’t no good for a frog. Even tried to Kermit suicide. |
Střední | Obsah, který napodobuje oběti nebo přeživší sebepoškozování, jako jsou poruchy stravování nebo sebevražda, stejně jako bully a zastrašování, které vyvolává a podporuje činy sebepoškozování. To zahrnuje:
|
Scénář: Obrázek s textem prokládáním I will [image of a knife] myself soon. But until then, how do I tame my pain? |
Vysoká | Obsah, který obsahuje výzkum pro radu nebo poskytuje pokyny a metody týkající se sebepoškozování, které vede k smrti nebo k tomu, jak spáchat sebevraždu a potvrzení sebevraždy nebo jiné závažné typy sebepoškozování. To zahrnuje:
|
Scénář: Obrázek a text prokládání Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
Další kroky
Pokud chcete ve své aplikaci začít používat Azure AI Content Safety, postupujte podle rychlého startu.
Váš názor
Byla tato stránka užitečná?