Verktyg för innehållssäkerhet (text)

Azure AI Content Safety är en con tältläge ration-tjänst som utvecklats av Microsoft och som hjälper dig att identifiera skadligt innehåll från olika metoder och språk. Verktyget Content Safety (Text) är en omslutning för Azure AI Content Safety Text-API:et, som gör att du kan identifiera textinnehåll och få modereringsresultat. Mer information finns i Azure AI Content Safety.

Förutsättningar

• Skapa en Azure AI Content Safety-resurs .
• Lägg till en Azure Content Safety anslutning i promptflödet. Fyll i fältet API key med Primary key från avsnittet Keys and Endpoint i den skapade resursen.

Indata

Du kan använda följande parametrar som indata för det här verktyget:

Namn	Type	Beskrivning	Obligatoriskt
text	sträng	Text som måste modereras.	Ja
hate_category	sträng	Modereringskänslighet för Hate kategorin. Välj mellan fyra alternativ: disable, low_sensitivity, medium_sensitivityeller high_sensitivity. Alternativet disable innebär ingen moderering för Hate kategorin. De andra tre alternativen innebär olika grader av strikthet vid filtrering av hatinnehåll. Standardvärdet är medium_sensitivity.	Ja
sexual_category	sträng	Modereringskänslighet för Sexual kategorin. Välj mellan fyra alternativ: disable, low_sensitivity, medium_sensitivityeller high_sensitivity. Alternativet disable innebär ingen moderering för Sexual kategorin. De andra tre alternativen innebär olika grader av strikthet vid filtrering av sexuellt innehåll. Standardvärdet är medium_sensitivity.	Ja
self_harm_category	sträng	Modereringskänslighet för Self-harm kategorin. Välj mellan fyra alternativ: disable, low_sensitivity, medium_sensitivityeller high_sensitivity. Alternativet disable innebär ingen moderering för Self-harm kategorin. De andra tre alternativen innebär olika grader av strikthet vid filtrering av självskadeinnehåll. Standardvärdet är medium_sensitivity.	Ja
violence_category	sträng	Modereringskänslighet för Violence kategorin. Välj mellan fyra alternativ: disable, low_sensitivity, medium_sensitivityeller high_sensitivity. Alternativet disable innebär ingen moderering för Violence kategorin. De andra tre alternativen innebär olika grader av strikthet vid filtrering av våldsinnehåll. Standardvärdet är medium_sensitivity.	Ja

Mer information finns i Azure AI Content Safety.

Utdata

Följande exempel är ett exempel på JSON-formatsvar som returneras av verktyget:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Fältet action_by_category ger dig ett binärt värde för varje kategori: Accept eller Reject. Det här värdet visar om texten uppfyller känslighetsnivån som du angav i begärandeparametrarna för den kategorin.

Fältet suggested_action ger dig en övergripande rekommendation baserat på de fyra kategorierna. Om någon kategori har ett Reject värde, suggested_action är också Reject.