Udostępnij za pośrednictwem

Pojęcia dotyczące moderowania tekstu

  • Artykuł

Ważne

Usługa Azure Content Moderator jest przestarzała od lutego 2024 r. i zostanie wycofana do lutego 2027 r. Jest on zastępowany przez bezpieczeństwo zawartości sztucznej inteligencji platformy Azure, który oferuje zaawansowane funkcje sztucznej inteligencji i zwiększoną wydajność.

Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure to kompleksowe rozwiązanie przeznaczone do wykrywania szkodliwej zawartości generowanej przez użytkownika i generowanej przez sztuczną inteligencję w aplikacjach i usługach. Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure jest odpowiednie dla wielu scenariuszy, takich jak witryny internetowe, firmy zajmujące się grami, platformy do obsługi wiadomości społecznościowych, firmy zajmujące się mediami korporacyjnymi i dostawcy rozwiązań edukacyjnych K-12. Poniżej przedstawiono omówienie jej funkcji i możliwości:

  • Interfejsy API wykrywania tekstu i obrazu: skanuje tekst i obrazy pod kątem zawartości seksualnej, przemocy, nienawiści i samookaleczenia przy użyciu wielu poziomów ważności.
  • Content Safety Studio: narzędzie online przeznaczone do obsługi potencjalnie obraźliwych, ryzykownych lub niepożądanych treści przy użyciu naszych najnowszych modeli con tryb namiotu ration ML. Udostępnia szablony i dostosowane przepływy pracy, które umożliwiają użytkownikom tworzenie własnych systemów con tryb namiotu ration.
  • Obsługa języka: Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure obsługuje ponad 100 języków i jest specjalnie przeszkolony w języku angielskim, niemieckim, japońskim, hiszpańskim, francuskim, włoskim, portugalskim i chińskim.

Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure zapewnia niezawodne i elastyczne rozwiązanie dla potrzeb dotyczących tryb namiotu ration. Przełączając się z usługi Content Moderator na bezpieczeństwo zawartości sztucznej inteligencji platformy Azure, możesz skorzystać z najnowszych narzędzi i technologii, aby upewnić się, że zawartość jest zawsze moderowana zgodnie z dokładnymi specyfikacjami.

Dowiedz się więcej o bezpieczeństwie zawartości usługi Azure AI i dowiedz się, jak może podnieść poziom strategii kon tryb namiotu ration.

Modele moderowania tekstu usługi Azure Content Moderator umożliwiają analizowanie zawartości tekstowej, takiej jak pokoje rozmów, tablice dyskusyjne, czatboty, wykazy handlu elektronicznego i dokumenty.

Odpowiedź usługi zawiera następujące informacje:

  • Wulgaryzm: dopasowywanie terminów z wbudowaną listą wulgaryzmów w różnych językach
  • Klasyfikacja: klasyfikacja wspomagana przez maszynę w trzech kategoriach
  • Dane osobiste
  • Autokorektowany tekst
  • Original text
  • Język

Wulgaryzmy

Jeśli interfejs API wykryje jakiekolwiek wulgarne terminy w dowolnym z obsługiwanych języków, te terminy zostaną uwzględnione w odpowiedzi. Odpowiedź zawiera również ich lokalizację (Index) w oryginalnym tekście. Poniższy ListId przykładowy kod JSON odnosi się do terminów znalezionych na listach terminów niestandardowych, jeśli są dostępne.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Uwaga

W przypadku parametru language przypisz eng lub pozostaw go pusty, aby wyświetlić odpowiedź klasyfikacji wspomaganej przez maszynę (funkcja w wersji zapoznawczej). Ta funkcja obsługuje tylko język angielski.

W przypadku wykrywania terminów wulgaryzmów użyj kodu ISO 639-3 obsługiwanych języków wymienionych w tym artykule lub pozostaw go pusty.

Klasyfikacja

Funkcja klasyfikacji tekstu wspomaganej maszynowo przez usługę Content Moderator obsługuje tylko język angielski i pomaga wykrywać potencjalnie niepożądane treści. Zawartość oflagowana może być oceniana jako nieodpowiednia w zależności od kontekstu. Pokazuje to prawdopodobieństwo wystąpienia każdej kategorii. Ta funkcja używa wyszkolonego modelu do identyfikowania możliwych sformułowań obraźliwych lub dyskryminujących. Obejmuje to m.in. slang, skrócone wyrazy, obraźliwe i celowo błędnie napisane słowa.

Poniższy wyodrębnienie w wyodrębnieniu JSON pokazuje przykładowe dane wyjściowe:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Wyjaśnienie

  • Category1 odnosi się do potencjalnej obecności języka, który może być uważany za seksualnie wyraźny lub dorosły w niektórych sytuacjach.
  • Category2 odnosi się do potencjalnej obecności języka, który może być uważany za seksualnie sugestywne lub dojrzałe w niektórych sytuacjach.
  • Category3 odnosi się do potencjalnej obecności języka, który może być uważany za obraźliwy w niektórych sytuacjach.
  • Score wartość jest z zakresu od 0 do 1. Im wyższy wynik, tym wyższe prawdopodobieństwo, że kategoria może być odpowiednia. Ta funkcja opiera się na modelu statystycznym, a nie na ręcznie zakodowanych wynikach. Zalecamy testowanie z własną zawartością, aby określić, jak każda kategoria jest zgodna z wymaganiami.
  • ReviewRecommended ma wartość true lub false w zależności od wewnętrznych progów oceny. Klienci powinni ocenić, czy używać tej wartości, czy zdecydować o progach niestandardowych na podstawie ich zasad zawartości.

Dane osobiste

Funkcja danych osobowych wykrywa potencjalną obecność tych informacji:

  • Adres e-mail
  • Adres wysyłkowy USA
  • Adres IP
  • Numer telefonu USA

W poniższym przykładzie przedstawiono przykładową odpowiedź:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Autokorekcja

Odpowiedź moderowania tekstu może opcjonalnie zwrócić tekst z zastosowanym autokorektą podstawową.

Na przykład następujący tekst wejściowy zawiera błędną pisownię.

Szybki brązowy lis skacze nad leniwym psem.

Jeśli określisz autokorekcję, odpowiedź zawiera poprawioną wersję tekstu:

Szybki brązowy lis skacze nad leniwym psem.

Tworzenie niestandardowych list terminów i zarządzanie nimi

Chociaż domyślna, globalna lista terminów działa doskonale w większości przypadków, możesz chcieć wyświetlić ekran pod kątem terminów specyficznych dla potrzeb biznesowych. Możesz na przykład odfiltrować wszystkie konkurencyjne nazwy marek od wpisów użytkowników.

Uwaga

Istnieje maksymalny limit pięciu list terminów z każdą listą, aby nie przekraczać 10 000 terminów.

W poniższym przykładzie pokazano pasujący identyfikator listy:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Pakiet Content Moderator udostępnia interfejs API listy terminów z operacjami na potrzeby zarządzania niestandardowymi listami terminów. Zapoznaj się z przewodnikiem Szybki start Listy terminów platformy .NET, jeśli znasz program Visual Studio i język C#.

Powiązana zawartość