Anpassade kategorier (förhandsversion)
Med Azure AI Content Safety kan du skapa och hantera dina egna innehållskategorier för förbättrad moderering och filtrering som matchar dina specifika principer eller användningsfall.
Typer av anpassning
Det finns flera metoder för att definiera och använda anpassade kategorier, detaljerade och jämförs i det här avsnittet.
| API | Funktioner |
|---|---|
| API för anpassade kategorier (standard) | Använd en anpassningsbar maskininlärningsmodell för att skapa, hämta, fråga och ta bort en anpassad kategori. Eller så kan du visa en lista över alla dina anpassade kategorier för ytterligare anteckningar. |
| API för anpassade kategorier (snabb) | Använd en stor språkmodell (LLM) för att snabbt lära dig specifika innehållsmönster i nya innehållsincidenter. |
API för anpassade kategorier (standard)
API:et Anpassade kategorier (standard) gör det möjligt för kunder att definiera kategorier som är specifika för deras behov, tillhandahålla exempeldata, träna en anpassad maskininlärningsmodell och använda den för att klassificera nytt innehåll enligt de inlärda kategorierna.
Det här är standardarbetsflödet för anpassning med maskininlärningsmodeller. Beroende på träningsdatakvaliteten kan den nå mycket bra prestandanivåer, men det kan ta upp till flera timmar att träna modellen.
Den här implementeringen fungerar på textinnehåll, inte bildinnehåll.
API för anpassade kategorier (snabb)
API:et anpassade kategorier (snabb) är utformat för att vara snabbare och mer flexibelt än standardmetoden. Den är avsedd att användas för att identifiera, analysera, innehålla, utrota och återställa från cyberincidenter som involverar olämpligt eller skadligt innehåll på onlineplattformar.
En incident kan omfatta en uppsättning nya innehållsmönster (text, bild eller andra metoder) som bryter mot Microsofts communityriktlinjer eller kundernas egna principer och förväntningar. Dessa incidenter måste åtgärdas snabbt och korrekt för att undvika potentiella problem med livewebbplatser eller skada för användare och communities.
Den här implementeringen fungerar på både textinnehåll och bildinnehåll.
Dricks
En annan sak att hantera nya innehållsincidenter är att använda blocklistor, men det tillåter bara exakt textmatchning och ingen bildmatchning. API:et Anpassade kategorier (snabb) erbjuder följande avancerade funktioner:
- semantisk textmatchning med inbäddningssökning med en lätt klassificerare
- bildmatchning med en enkel objektspårningsmodell och inbäddningssökning.
Hur det fungerar
Funktionen anpassade kategorier i Azure AI Content Safety använder en process i flera steg för att skapa, träna och använda anpassade innehållsklassificeringsmodeller. Här är arbetsflödet:
Steg 1: Definition och konfiguration
När du definierar en anpassad kategori måste du lära AI vilken typ av innehåll du vill identifiera. Det innebär att ange ett tydligt kategorinamn och en detaljerad definition som kapslar in innehållets egenskaper.
Sedan samlar du in en balanserad datamängd med positiva och (valfritt) negativa exempel som hjälper AI:n att lära sig nyanserna i din kategori. Dessa data bör vara representativa för den mängd innehåll som modellen kommer att stöta på i ett verkligt scenario.
Steg 2: Modellträning
När du har förberett din datauppsättning och definierat kategorier tränar Azure AI Content Safety-tjänsten en ny maskininlärningsmodell. Den här modellen använder dina definitioner och uppladdade datamängder för att utföra dataförstoring med hjälp av en stor språkmodell. Därför blir träningsdatauppsättningen större och av högre kvalitet. Under träningen analyserar AI-modellen data och lär sig att skilja mellan innehåll som överensstämmer med den angivna kategorin och innehållet som inte gör det.
Steg 3: Modellutvärdering
Efter träningen måste du utvärdera modellen för att säkerställa att den uppfyller dina noggrannhetskrav. Testa modellen med nytt innehåll som den inte har tagit emot tidigare. Utvärderingsfasen hjälper dig att identifiera eventuella justeringar som du behöver göra för att distribuera modellen till en produktionsmiljö.
Steg 4: Modellanvändning
Du använder API:et analyzeCustomCategory för att analysera textinnehåll och avgöra om det matchar den anpassade kategori som du har definierat. Tjänsten returnerar ett booleskt värde som anger om innehållet överensstämmer med den angivna kategorin
Begränsningar
Språktillgänglighet
API:er för anpassade kategorier stöder alla språk som stöds av innehållssäkerhetstextmoderering. Se Stöd för språk.
Indatabegränsningar
Se följande tabell för indatabegränsningarna för api:et för anpassade kategorier (standard):
| Objekt | Begränsning |
|---|---|
| Språk som stöds | Endast på engelska |
| Antal kategorier per användare | 3 |
| Antal versioner per kategori | 3 |
| Antal samtidiga versioner (processer) per kategori | 1 |
| Slutsatsdragningsåtgärder per sekund | 5 |
| Antal exempel i en kategoriversion | Positiva exempel(krävs): minst 50, maximalt 5 K Totalt (både negativa och positiva exempel): 10 000 Inga duplicerade exempel tillåts. |
| Exempelfilstorlek | maximalt 128000 byte |
| Längden på ett textexempel | maximalt 125 000 tecken |
| Längden på en kategoridefinition | maximalt 1 000 tecken |
| Längden på ett kategorinamn | högst 128 tecken |
| Längden på en blob-URL | högst 500 tecken |
Region tillgänglighet
Om du vill använda dessa API:er måste du skapa din Azure AI Content Safety-resurs i någon av de regioner som stöds. Se Regiontillgänglighet.
Gå vidare
Följ en instruktionsguide för att använda API:erna för Azure AI Content Safety för att skapa anpassade kategorier.