Herramienta Seguridad de contenido (texto)
La seguridad del contenido de Azure AI es un servicio de con modo carpa ration desarrollado por Microsoft que le ayuda a detectar contenido dañino de diferentes modalidades e idiomas. La herramienta Seguridad del contenido (texto) es un contenedor para La API de texto de seguridad de contenido de Azure AI, que permite detectar contenido de texto y obtener resultados de moderación. Para más información, consulte Seguridad del contenido de Azure AI.
Requisitos previos
- Cree un recurso de seguridad de contenido de Azure AI.
- Agregue una
Azure Content Safety
conexión en el flujo de solicitud. Rellene elAPI key
campo conPrimary key
desde laKeys and Endpoint
sección del recurso creado.
Entradas
Puede usar los parámetros siguientes como entradas para esta herramienta:
Nombre | Escribir | Descripción | Obligatorio |
---|---|---|---|
text | string | Texto que debe moderarse. | Sí |
hate_category | string | Sensibilidad de moderación para la Hate categoría. Elija entre cuatro opciones: disable , low_sensitivity , medium_sensitivity o high_sensitivity . La disable opción no significa moderación para la Hate categoría. Las otras tres opciones sirven para filtrar el contenido de odio con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity . |
Sí |
sexual_category | string | Sensibilidad de moderación para la Sexual categoría. Elija entre cuatro opciones: disable , low_sensitivity , medium_sensitivity o high_sensitivity . La disable opción no significa moderación para la Sexual categoría. Las otras tres opciones sirven para filtrar el contenido sexual con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity . |
Sí |
self_harm_category | string | Sensibilidad de moderación para la Self-harm categoría. Elija entre cuatro opciones: disable , low_sensitivity , medium_sensitivity o high_sensitivity . La disable opción no significa moderación para la Self-harm categoría. Las otras tres opciones sirven para filtrar el contenido de autolesiones con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity . |
Sí |
violence_category | string | Sensibilidad de moderación para la Violence categoría. Elija entre cuatro opciones: disable , low_sensitivity , medium_sensitivity o high_sensitivity . La disable opción no significa moderación para la Violence categoría. Las otras tres opciones sirven para filtrar el contenido de violencia con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity . |
Sí |
Para más información, consulte Seguridad del contenido de Azure AI.
Salidas
El ejemplo siguiente es una respuesta de formato JSON de ejemplo devuelta por la herramienta:
{
"action_by_category": {
"Hate": "Accept",
"SelfHarm": "Accept",
"Sexual": "Accept",
"Violence": "Accept"
},
"suggested_action": "Accept"
}
El action_by_category
campo proporciona un valor binario para cada categoría: Accept
o Reject
. Este valor muestra si el texto cumple el nivel de confidencialidad establecido en los parámetros de solicitud de esa categoría.
El campo suggested_action
proporciona una recomendación general basada en las cuatro categorías. Si alguna categoría tiene un valor Reject
, suggested_action
también es Reject
.