Catégories de préjudices et niveaux de gravité
Chaque catégorie de préjudice appliquée par le service est également accompagnée d’une évaluation de niveau de gravité. Le niveau de gravité est destiné à indiquer la gravité des conséquences de l’affichage du contenu marqué d’un indicateur. Le contenu texte et le contenu d’image utilisent le même ensemble d’indicateurs.
Catégories préjudiciables
| Catégorie | Description |
|---|---|
| Haine et équité | Le terme dommages liés à l’impartialité et la haine fait référence à tout contenu qui porte atteinte ou utilise un langage discriminatoire ou péjoratif concernant une personne ou un groupe d’identités en fonction de certains attributs de différenciation. Ces attributs incluent sans toutefois s’y limiter : la race, l’ethnicité, la nationalité, l’expression et l’identité sexuelle, l’orientation sexuelle, la religion, le statut d’immigration, l’état des capacité, l’apparence personnelle et la taille corporelle. L’équité concerne la garantie que les systèmes d’IA traitent équitablement tous les groupes de personnes sans contribuer aux inégalités sociales existantes. Comme le discours haineux, les préjudices liés à l’équité dépendent du traitement disparate des groupes d’identité. |
| Sexuel | Le terme sexuel décrit le langage lié aux organes anatomiques et génitaux, aux relations amoureuses, aux actes décrits en termes érotiques ou affectueux, aux grossesses, aux actes sexuels physiques. Il inclut également les actes dépeints comme les agressions ou les actes forcés de violence sexuelle contre la volonté d’une personne, la prostitution, la pornographie et les mauvais traitements. |
| Violence | Le terme violence décrit le langage lié aux actions physiques visant à blesser, nuire, porter atteinte ou tuer une personne ou une chose. Il inclut également le langage qui décrit des armes, des pistolets et des entités associées, telles que des fabricants, des associations, des lois, etc. |
| L'automutilation | L’automutilation décrit le langage lié aux actions physiques destinées à blesser ou nuire le corps d’une personne ou à se tuer. |
La classification peut avoir plusieurs intitulés. Par exemple, lorsqu’un exemple de texte est exécuté via le modèle de modération de texte, il peut être classé à la fois comme du contenu à caractère sexuel et de la violence.
Niveaux de gravité
Chaque catégorie de préjudice appliquée par le service est également accompagnée d’une évaluation de niveau de gravité. Le niveau de gravité est destiné à indiquer la gravité des conséquences de l’affichage du contenu marqué d’un indicateur. L’échelle de gravité est comprise entre 0 et 7. Le modèle de texte prend en charge les 0-7 complets et l’échelle rogné de 0, 2, 4 et 6. La version actuelle du modèle image prend uniquement en charge l’échelle réduite.
Pour en savoir plus sur les définitions de gravité, reportez-vous à aka.ms/severity-levels.