Ferramenta Segurança de conteúdo (texto)

O Azure AI Content Safety é um serviço de moderação de conteúdo desenvolvido pela Microsoft que ajuda a detetar conteúdo prejudicial de diferentes modalidades e idiomas. A ferramenta Segurança de Conteúdo (Texto) é um wrapper para a API de Texto de Segurança de Conteúdo do Azure AI, que permite detetar conteúdo de texto e obter resultados de moderação. Para obter mais informações, consulte Segurança de conteúdo do Azure AI.

Pré-requisitos

• Crie um recurso de Segurança de Conteúdo da IA do Azure.
• Adicione uma Azure Content Safety conexão no fluxo de prompt. Preencha o API key campo com Primary key a Keys and Endpoint seção do recurso criado.

Entradas

Você pode usar os seguintes parâmetros como entradas para esta ferramenta:

Nome	Tipo	Descrição	Obrigatório
texto	string	Texto que precisa ser moderado.	Sim
hate_category	string	Sensibilidade à moderação para a Hate categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivity, ou high_sensitivity. A disable opção significa que não há moderação para a Hate categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos de ódio. A predefinição é medium_sensitivity.	Sim
sexual_category	string	Sensibilidade à moderação para a Sexual categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivity, ou high_sensitivity. A disable opção significa que não há moderação para a Sexual categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos sexuais. A predefinição é medium_sensitivity.	Sim
self_harm_category	string	Sensibilidade à moderação para a Self-harm categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivity, ou high_sensitivity. A disable opção significa que não há moderação para a Self-harm categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos de automutilação. A predefinição é medium_sensitivity.	Sim
violence_category	string	Sensibilidade à moderação para a Violence categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivity, ou high_sensitivity. A disable opção significa que não há moderação para a Violence categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdos violentos. A predefinição é medium_sensitivity.	Sim

Para obter mais informações, consulte Segurança de conteúdo do Azure AI.

Saídas

O exemplo a seguir é um exemplo de resposta de formato JSON retornada pela ferramenta:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

O action_by_category campo fornece um valor binário para cada categoria: Accept ou Reject. Esse valor mostra se o texto atende ao nível de sensibilidade definido nos parâmetros de solicitação para essa categoria.

O suggested_action campo fornece uma recomendação geral com base nas quatro categorias. Se qualquer categoria tem um Reject valor, suggested_action também Rejecté .