Partilhar via

Conceitos de moderação de texto

  • Artigo

Importante

O Azure Content Moderator foi preterido a partir de fevereiro de 2024 e será desativado até fevereiro de 2027. Ele é substituído pelo Azure AI Content Safety, que oferece recursos avançados de IA e desempenho aprimorado.

O Azure AI Content Safety é uma solução abrangente projetada para detetar conteúdo prejudicial gerado pelo usuário e gerado por IA em aplicativos e serviços. O Azure AI Content Safety é adequado para muitos cenários, como mercados online, empresas de jogos, plataformas de mensagens sociais, empresas de mídia corporativa e provedores de soluções educacionais K-12. Aqui está uma visão geral de seus recursos e capacidades:

  • APIs de deteção de texto e imagem: analise texto e imagens em busca de conteúdo sexual, violência, ódio e automutilação com vários níveis de gravidade.
  • Content Safety Studio: Uma ferramenta on-line projetada para lidar com conteúdo potencialmente ofensivo, arriscado ou indesejável usando nossos modelos mais recentes de ML de moderação de conteúdo. Ele fornece modelos e fluxos de trabalho personalizados que permitem que os usuários criem seus próprios sistemas de moderação de conteúdo.
  • Suporte a idiomas: o Azure AI Content Safety dá suporte a mais de 100 idiomas e é treinado especificamente em inglês, alemão, japonês, espanhol, francês, italiano, português e chinês.

O Azure AI Content Safety fornece uma solução robusta e flexível para as suas necessidades de moderação de conteúdo. Ao mudar do Moderador de Conteúdo para o Azure AI Content Safety, pode tirar partido das ferramentas e tecnologias mais recentes para garantir que o seu conteúdo é sempre moderado de acordo com as suas especificações exatas.

Saiba mais sobre a Segurança de Conteúdo de IA do Azure e explore como ela pode elevar sua estratégia de moderação de conteúdo.

Você pode usar os modelos de moderação de texto do Moderador de Conteúdo do Azure para analisar conteúdo de texto, como salas de chat, quadros de discussão, chatbots, catálogos de comércio eletrônico e documentos.

A resposta do serviço inclui as seguintes informações:

  • Palavrões: correspondência baseada em termos com lista integrada de termos profanos em vários idiomas
  • Classificação: classificação assistida por máquina em três categorias
  • Dados pessoais
  • Texto corrigido automaticamente
  • Original text
  • Idioma

Palavras ofensivas

Se a API detetar quaisquer termos profanos em qualquer um dos idiomas suportados, esses termos serão incluídos na resposta. A resposta também contém a sua localização (Index) no texto original. O ListId JSON de exemplo a seguir refere-se a termos encontrados em listas de termos personalizadas, se disponíveis.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota

Para o parâmetro, atribua-o language eng ou deixe-o vazio para ver a resposta de classificação assistida por máquina (recurso de visualização). Esta funcionalidade suporta apenas inglês.

Para deteção de termos de palavrões, use o código ISO 639-3 dos idiomas suportados listados neste artigo ou deixe-o vazio.

Classificação

O recurso de classificação de texto assistida por máquina do Content Moderator suporta apenas inglês e ajuda a detetar conteúdo potencialmente indesejado. O conteúdo sinalizado pode ser avaliado como inadequado, dependendo do contexto. Indica a probabilidade de cada categoria. A funcionalidade utiliza um modelo treinado para identificar a possível linguagem abusiva, pejorativa ou discriminatória. Isto inclui gíria, palavras abreviadas, e palavras ofensivas e com erros ortográficos intencionais.

A seguinte extração na extração JSON mostra um exemplo de saída:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Explicação

  • Category1 refere-se à presença potencial de linguagem que pode ser considerada sexualmente explícita ou adulta em determinadas situações.
  • Category2 refere-se à presença potencial de linguagem que pode ser considerada sexualmente sugestiva ou madura em determinadas situações.
  • Category3 refere-se à presença potencial de linguagem que pode ser considerada ofensiva em determinadas situações.
  • Score está entre 0 e 1. Quanto maior a pontuação, maior a probabilidade de a categoria ser aplicável. Esse recurso depende de um modelo estatístico em vez de resultados codificados manualmente. Recomendamos testar com seu próprio conteúdo para determinar como cada categoria se alinha às suas necessidades.
  • ReviewRecommended é verdadeira ou falsa, dependendo dos limiares internos de pontuação. Os clientes devem avaliar se devem usar esse valor ou decidir sobre limites personalizados com base em suas políticas de conteúdo.

Dados pessoais

A funcionalidade de dados pessoais deteta a potencial presença destas informações:

  • Endereço de e-mail
  • Endereço postal dos EUA
  • Endereço IP
  • Número de telefone dos EUA

O exemplo a seguir mostra um exemplo de resposta:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Autocorreção

A resposta de moderação de texto pode, opcionalmente, retornar o texto com a correção automática básica aplicada.

Por exemplo, o texto de entrada a seguir tem um erro ortográfico.

A rápida raposa castanha salta sobre o cão preguiçoso.

Se você especificar a correção automática, a resposta conterá a versão corrigida do texto:

A rápida raposa castanha salta sobre o cão preguiçoso.

Crie e gerencie suas listas personalizadas de termos

Embora a lista global padrão de termos funcione muito bem para a maioria dos casos, convém fazer uma triagem com termos específicos para as necessidades da sua empresa. Por exemplo, talvez você queira filtrar nomes de marcas competitivas de postagens de usuários.

Nota

Existe um limite máximo de cinco listas de termos, com cada lista a não exceder 10 000 termos.

O exemplo a seguir mostra o ID de lista correspondente:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

O Content Moderator fornece uma API de Lista de Termos com operações para gerenciar listas de termos personalizadas. Confira o início rápido Listas de Termos .NET se estiver familiarizado com o Visual Studio e o C#.

Conteúdos relacionados