Dela via

Begrepp för textmoderering

  • Artikel

Viktigt!

Azure Content Moderator är inaktuell från februari 2024 och kommer att dras tillbaka i februari 2027. Den ersätts av Azure AI Content Safety, som erbjuder avancerade AI-funktioner och förbättrade prestanda.

Azure AI Content Safety är en omfattande lösning som är utformad för att identifiera skadligt användargenererat och AI-genererat innehåll i program och tjänster. Azure AI Content Safety lämpar sig för många scenarier som marknadsplatser online, spelföretag, plattformar för sociala meddelanden, företagsmedieföretag och leverantörer av K-12-utbildningslösningar. Här är en översikt över dess funktioner:

  • API:er för text- och bildidentifiering: Skanna text och bilder efter sexuellt innehåll, våld, hat och självskadebeteende med flera allvarlighetsnivåer.
  • Content Safety Studio: Ett onlineverktyg som är utformat för att hantera potentiellt stötande, riskabelt eller oönskat innehåll med hjälp av våra senaste ML-modeller för con tältläge ration. Den innehåller mallar och anpassade arbetsflöden som gör det möjligt för användare att skapa egna con tältläge rationssystem.
  • Språkstöd: Azure AI Content Safety stöder fler än 100 språk och är särskilt tränat på engelska, tyska, japanska, spanska, franska, italienska, portugisiska och kinesiska.

Azure AI Content Safety är en robust och flexibel lösning för dina behov av kon tältläge ration. Genom att växla från Content Moderator till Azure AI Content Safety kan du dra nytta av de senaste verktygen och teknikerna för att säkerställa att innehållet alltid modereras enligt dina exakta specifikationer.

Läs mer om Azure AI Content Safety och utforska hur det kan höja din strategi för con tältläge ration.

Du kan använda Azure Content Moderators textmodereringsmodeller för att analysera textinnehåll, till exempel chattrum, diskussionstavlor, chattrobotar, e-handelskataloger och dokument.

Tjänstsvaret innehåller följande information:

  • Svordomar: termbaserad matchning med inbyggd lista över olämpliga termer på olika språk
  • Klassificering: maskinassisterad klassificering i tre kategorier
  • Personlig information
  • Autokorrigeringstext
  • Ursprunglig text
  • Språk

Olämpligt språk

Om API:et identifierar några olämpliga termer på något av de språk som stöds inkluderas dessa termer i svaret. Svaret innehåller också deras plats (Index) i den ursprungliga texten. I ListId följande JSON-exempel refererar till termer som finns i anpassade termlistor om det är tillgängligt.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Kommentar

För parametern language tilldelar eng eller lämnar du den tom för att se det datorstödda klassificeringssvaret (förhandsversionsfunktionen). Den här funktionen stöder endast engelska.

För identifiering av svordomar använder du ISO 639-3-koden för de språk som stöds i den här artikeln eller lämnar den tom.

Klassificering

Content Moderators maskinassisterade textklassificeringsfunktion stöder endast engelska och hjälper till att identifiera potentiellt oönskade innehåll. Det flaggade innehållet kan bedömas som olämpligt beroende på kontext. Det förs in sannolikheten för varje kategori. Funktionen använder en tränad modell för att identifiera eventuellt kränkande, nedsättande eller diskriminerande språk. Detta inkluderar slang, förkortade ord, stötande och avsiktligt felstavade ord.

Följande extrahering i JSON-extraktet visar ett exempel på utdata:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Förklaring

  • Category1 avser den potentiella förekomsten av språk som kan anses vara sexuellt explicit eller vuxet i vissa situationer.
  • Category2 avser den potentiella förekomsten av språk som kan betraktas som sexuellt suggestivt eller moget i vissa situationer.
  • Category3 avser den potentiella förekomsten av språk som kan anses stötande i vissa situationer.
  • Score är mellan 0 och 1. Ju högre poäng, desto högre är sannolikheten att kategorin kan vara tillämplig. Den här funktionen förlitar sig på en statistisk modell i stället för manuellt kodade resultat. Vi rekommenderar att du testar med ditt eget innehåll för att avgöra hur varje kategori överensstämmer med dina krav.
  • ReviewRecommended är antingen sant eller falskt beroende på tröskelvärdena för interna poäng. Kunder bör utvärdera om de vill använda det här värdet eller besluta om anpassade tröskelvärden baserat på deras innehållsprinciper.

Personlig information

Funktionen för personuppgifter identifierar den potentiella förekomsten av den här informationen:

  • E-postadress
  • E-postadress till USA
  • IP-adress
  • Telefonnummer i USA

I följande exempel visas ett exempelsvar:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Autokorrigering

Textmodereringssvaret kan eventuellt returnera texten med grundläggande autokorrigering tillämpad.

Följande indatatext har till exempel en felstavning.

Den snabba bruna räven hoppar över den lazzy hunden.

Om du anger autokorrigering innehåller svaret den korrigerade versionen av texten:

Den snabba bruna räven hoppar över den lata hunden.

Skapa och hantera dina anpassade listor med termer

Även om standardlistan för globala termer fungerar bra för de flesta fall, kanske du vill skärma mot termer som är specifika för dina affärsbehov. Du kanske till exempel vill filtrera bort eventuella konkurrenskraftiga varumärken från inlägg från användare.

Kommentar

Det finns en maxgräns på fem termlistor där varje lista inte får överstiga 10 000 termer.

I följande exempel visas matchande list-ID:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator tillhandahåller ett API för termlista med åtgärder för att hantera anpassade termlistor. Kolla in snabbstarten termlistor .NET om du är bekant med Visual Studio och C#.

Relaterat innehåll