Compartir a través de

Conceptos de moderación de texto

  • Artículo

Importante

Azure Content Moderator está en desuso desde febrero de 2024 y se retirará en febrero de 2027. Será reemplazada por Seguridad del contenido de Azure AI, que ofrece características avanzadas de IA y un rendimiento mejorado.

Seguridad del contenido de Azure AI es una solución completa diseñada para detectar contenido perjudicial generado por el usuario y generado por IA en aplicaciones y servicios. Seguridad del contenido de Azure AI es adecuada para muchos escenarios, como marketplaces en línea, empresas de juegos, plataformas de mensajería social, empresas de medios empresariales y proveedores de soluciones para educación K-12. Esta es una introducción a sus características y funcionalidades:

  • API de detección de texto e imágenes: examina texto e imágenes para detectar contenido sexual, violencia, odio y autolesión con varios niveles de gravedad.
  • Content Safety Studio: una herramienta en línea diseñada para controlar todo aquel contenido que sea potencialmente ofensivo, arriesgado o no deseable mediante nuestros últimos modelos de ML de moderación de contenido. Proporciona plantillas y flujos de trabajo personalizados que permiten a los usuarios crear sus propios sistemas de moderación de contenido.
  • Compatibilidad con idiomas: Seguridad del contenido de Azure AI admite más de 100 idiomas y está entrenada específicamente en inglés, alemán, japonés, español, francés, italiano, portugués y chino.

Seguridad del contenido de Azure AI proporciona una solución sólida y flexible para sus necesidades de moderación de contenido. Al cambiar de Content Moderator a Seguridad del contenido de Azure AI, puede aprovechar las herramientas y tecnologías más recientes para asegurarse de que el contenido siempre esté moderado conforme a sus especificaciones exactas.

Obtenga más información sobre Seguridad del contenido de Azure AI y explore cómo puede elevar su estrategia de moderación de contenido.

Use los modelos de moderación de texto de Content Moderator de Azure para analizar el contenido de textos (por ejemplo: salas de chat, paneles de discusión, bots de chat, catálogos de comercio electrónico y documentos).

La respuesta del servicio incluye la siguiente información:

  • Palabras soeces: coincidencias basadas en términos con la lista integrada de términos soeces en varios idiomas
  • Clasificación: clasificación asistida por máquina en tres categorías
  • Datos personales
  • Texto corregido automáticamente
  • Texto original
  • Idioma

Palabras soeces

Si la API detecta un término soez en cualquiera de los idiomas admitidos, estos términos se incluyen en la respuesta. La respuesta contiene también su ubicación (Index) en el texto original. El ListId en el siguiente ejemplo de JSON hace referencia a los términos encontrados en las listas de términos personalizadas, si hubiera alguna.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota:

Para el parámetro language, asigne eng o déjelo en blanco para ver la respuesta de clasificación asistida por máquina (característica en vista previa (GB)). Esta característica solo admite inglés.

Para la detección de palabras soeces, use el código ISO 639-3 de los idiomas admitidos que se enumeran en este artículo, o deje el campo en blanco.

clasificación

La característica de clasificación de texto asistida por máquina de Content Moderator admite únicamente el idioma inglés y ayuda a detectar contenido potencialmente no deseado. El contenido marcado podría considerarse como inapropiado según el contexto. Transmite la probabilidad de cada categoría. La característica utiliza un modelo entrenado para identificar un posible lenguaje abusivo, despectivo o discriminatorio. Esto incluye jerga, palabras abreviadas, palabras ofensivas y mal escritas intencionalmente.

El siguiente extracto de JSON muestra una salida de ejemplo:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Explicación

  • Category1 hace referencia a la posible presencia de lenguaje que se pudiera considerar sexualmente explícito o para adultos en ciertas situaciones.
  • Category2 hace referencia a la posible presencia de lenguaje que se pudiera considerar sexualmente insinuante o para adultos en ciertas situaciones.
  • Category3 hace referencia a la posible presencia de lenguaje que se pudiera considerar ofensivo en ciertas situaciones.
  • Score se encuentra entre 0 y 1. Cuanto más alta sea la puntuación, mayor será la probabilidad de que la categoría se pueda aplicar. Esta característica usa un modelo estadístico, en lugar de resultados codificados manualmente. Se recomienda realizar pruebas con contenido propio para determinar cómo se alinea cada categoría en función de sus propios requisitos.
  • ReviewRecommended es true o false según los umbrales de puntuación internos. Los clientes deben evaluar si quieren usar este valor o decidir si desean umbrales personalizados basados en sus directivas de contenido.

Datos personales

La característica de datos personales detecta la posible presencia de esta información:

  • Dirección de correo electrónico
  • Dirección de correo postal en EE. UU.
  • Dirección IP
  • Número de teléfono en EE. UU.

El siguiente es un ejemplo de respuesta:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Autocorrección

Opcionalmente, la respuesta de moderación de texto puede aplicar corrección automática básica al texto.

Por ejemplo, el texto de entrada siguiente tiene un error ortográfico.

The quick brown fox jumps over the lazzy dog.

En caso de especificar la autocorrección, la respuesta contendrá la versión corregida del texto:

The quick brown fox jumps over the lazy dog.

Cree y administre las listas personalizadas de términos

Si bien la lista global y predeterminada de términos funciona muy bien para la mayoría de los casos, es posible que quiera analizar términos específicos para sus necesidades empresariales. Por ejemplo, quizá quiera filtrar nombres de marcas de la competencia presentes en las publicaciones de los usuarios.

Nota:

Hay un límite máximo de cinco listas de términos y cada lista no debe superar los 10 000 términos.

En el ejemplo siguiente se muestra el identificador de la lista de coincidencias:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator proporciona una API de lista de términos con operaciones para administrar listas de términos personalizadas. Consulte el inicio rápido de .NET de listas de términos en el caso de que esté familiarizado con C# y Visual Studio.

Contenido relacionado