Compartir a través de


Herramienta Seguridad de contenido (texto)

La seguridad del contenido de Azure AI es un servicio de con modo carpa ration desarrollado por Microsoft que le ayuda a detectar contenido dañino de diferentes modalidades e idiomas. La herramienta Seguridad del contenido (texto) es un contenedor para La API de texto de seguridad de contenido de Azure AI, que permite detectar contenido de texto y obtener resultados de moderación. Para más información, consulte Seguridad del contenido de Azure AI.

Requisitos previos

  • Cree un recurso de seguridad de contenido de Azure AI.
  • Agregue una Azure Content Safety conexión en el flujo de solicitud. Rellene el API key campo con Primary key desde la Keys and Endpoint sección del recurso creado.

Entradas

Puede usar los parámetros siguientes como entradas para esta herramienta:

Nombre Escribir Descripción Obligatorio
text string Texto que debe moderarse.
hate_category string Sensibilidad de moderación para la Hate categoría. Elija entre cuatro opciones: disable, low_sensitivity, medium_sensitivityo high_sensitivity. La disable opción no significa moderación para la Hate categoría. Las otras tres opciones sirven para filtrar el contenido de odio con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity.
sexual_category string Sensibilidad de moderación para la Sexual categoría. Elija entre cuatro opciones: disable, low_sensitivity, medium_sensitivityo high_sensitivity. La disable opción no significa moderación para la Sexual categoría. Las otras tres opciones sirven para filtrar el contenido sexual con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity.
self_harm_category string Sensibilidad de moderación para la Self-harm categoría. Elija entre cuatro opciones: disable, low_sensitivity, medium_sensitivityo high_sensitivity. La disable opción no significa moderación para la Self-harm categoría. Las otras tres opciones sirven para filtrar el contenido de autolesiones con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity.
violence_category string Sensibilidad de moderación para la Violence categoría. Elija entre cuatro opciones: disable, low_sensitivity, medium_sensitivityo high_sensitivity. La disable opción no significa moderación para la Violence categoría. Las otras tres opciones sirven para filtrar el contenido de violencia con distintos grados de rigurosidad. El valor predeterminado es medium_sensitivity.

Para más información, consulte Seguridad del contenido de Azure AI.

Salidas

El ejemplo siguiente es una respuesta de formato JSON de ejemplo devuelta por la herramienta:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

El action_by_category campo proporciona un valor binario para cada categoría: Accept o Reject. Este valor muestra si el texto cumple el nivel de confidencialidad establecido en los parámetros de solicitud de esa categoría.

El campo suggested_action proporciona una recomendación general basada en las cuatro categorías. Si alguna categoría tiene un valor Reject, suggested_action también es Reject.