Sdílet prostřednictvím


Kategorie škod v zabezpečení obsahu Azure AI

Tato příručka popisuje všechny kategorie škod a hodnocení, které Azure AI Content Safety používá k označení obsahu. Text i obsah obrázku používají stejnou sadu příznaků.

Kategorie škod

Bezpečnost obsahu rozpozná čtyři různé kategorie problematického obsahu.

Kategorie Popis Termín rozhraní API
Nenávist a nestrannost Nenávist a nestrannost poškozují veškerý obsah, který útoky nebo používá diskriminační jazyk s odkazem na osobu nebo skupinu identit na základě určitých atributů těchto skupin.

To zahrnuje, ale není omezeno na:
  • Rasa, etnická příslušnost, státní příslušnost
  • Skupiny a výrazy genderové identity
  • Sexuální orientace
  • Náboženství
  • Osobní vzhled a velikost těla
  • Stav postižení
  • Obtěžování a bullying
Hate
Sexuální Sexuální popis jazyka související s anatomickými orgány a pohlavními orgány, romantickými vztahy a sexuálními činy, působí v erotických nebo laskavých termínech, včetně těch, které jsou znázorněny jako útok nebo vynucený sexuální násilí proti willu člověka. 

 To zahrnuje, ale není omezeno na:
  • Vulgární obsah
  • Prostituce
  • Nahota a pornografie
  • Zneužití
  • Zneužívání dětí, zneužívání dětí, výmaz dětí
Sexual
Násilí Násilí popisuje jazyk související s fyzickými činy, které mají ublížit, poškodit, poškodit nebo zabít někoho nebo něco; popisuje zbraně, zbraně a související entity.

To zahrnuje, ale není omezené na:
  • Zbraně
  • Bullying and zastrašující
  • Teroristická a násilná teroristická hrozba
  • Sledování
Violence
Sebepoškozování Sebepoškozování popisuje jazyk související s fyzickými akcemi, jejichž účelem je úmyslně ublížit, poškodit, poškodit tělo nebo zabít sebe.

To zahrnuje, ale není omezené na:
  • Poruchy stravování
  • Bullying and zastrašující
SelfHarm

Klasifikaci lze označit více popisky. Když například ukázka textu prochází modelem moderování textu, může být klasifikována jako sexuální obsah i násilí.

Úrovně závažnosti

Každá kategorie škod, na které se služba vztahuje, má také hodnocení na úrovni závažnosti. Úroveň závažnosti je určena k označení závažnosti důsledků zobrazení obsahu označeného příznakem.

Text: Aktuální verze textového modelu podporuje úplné měřítko závažnosti 0–7. Klasifikátor zjistí v tomto měřítku všechny závažnosti. Pokud uživatel určí, může vrátit závažnosti v oříznuté škále 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Obrázek: Aktuální verze modelu image podporuje oříznutou verzi plné závažnosti 0–7. Klasifikátor vrátí pouze závažnosti 0, 2, 4 a 6.

  • 0
  • 2
  • 4
  • 6

Obrázek s textem: Aktuální verze multimodálního modelu podporuje úplné měřítko závažnosti 0–7. Klasifikátor zjistí v tomto měřítku všechny závažnosti. Pokud uživatel určí, může vrátit závažnosti v oříznuté škále 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Textový obsah

Upozorňující

Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.

Obsah obrázku

Upozorňující

Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.

Multimodální obsah (obrázek s textem)

Upozorňující

Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.

Další kroky

Pokud chcete ve své aplikaci začít používat Azure AI Content Safety, postupujte podle rychlého startu.