Поделиться через

Понятия модерации текста

  • Статья

Внимание

Azure Content Moderator устарел по состоянию на февраль 2024 г. и будет прекращен к февралю 2027 г. Она заменена безопасностью содержимого ИИ Azure, которая предлагает расширенные функции ИИ и улучшенную производительность.

Безопасность содержимого ИИ Azure — это комплексное решение, предназначенное для обнаружения вредоносного пользовательского и искусственного интеллекта, созданного содержимым в приложениях и службах. Безопасность содержимого ИИ Azure подходит для многих сценариев, таких как интернет-магазины, игровые компании, платформы социальных сообщений, корпоративные медиа-компании и поставщики решений для образования K-12. Ниже приведен обзор ее функций и возможностей.

  • API обнаружения текста и изображений: сканировать текст и изображения для сексуального содержимого, насилия, ненависти и самоповредения с несколькими уровнями серьезности.
  • Content Safety Studio: онлайн-инструмент, предназначенный для обработки потенциально оскорбительных, рискованных или нежелательных содержимого с помощью наших последних моделей машинного обучения режим палатки. Он предоставляет шаблоны и настраиваемые рабочие процессы, позволяющие пользователям создавать собственные системы con режим палатки ration.
  • Поддержка языка: Безопасность содержимого ИИ Azure поддерживает более 100 языков и специально обучается на английском, немецком, японском, испанском, французском, итальянском, португальском и китайском языках.

Безопасность содержимого ИИ Azure предоставляет надежное и гибкое решение для ваших потребностей в режим палатки. Переключившись с Content Moderator на безопасность содержимого ИИ Azure, вы можете воспользоваться новейшими инструментами и технологиями, чтобы гарантировать, что содержимое всегда модерировано до ваших точных спецификаций.

Узнайте больше о безопасности содержимого ИИ Azure и узнайте, как она может повысить уровень стратегии кон режим палатки терации.

Модели модерации текста Azure Content Moderator можно использовать для анализа текстового содержимого, таких как комнаты чата, доски обсуждений, чат-боты, каталоги электронной коммерции и документы.

Ответ службы будет содержать следующие данные:

  • Ненормативная лексика: сопоставление по терминам с использованием встроенного списка ненормативных слов на разных языках.
  • Классификация: распределение по трем категориям с применением машинных алгоритмов.
  • Личные данные
  • Автозаменяемый текст
  • Original text
  • Язык

Ненормативная лексика

Если API обнаруживает ненормативную лексику на любом из поддерживаемых языков, эти термины включаются в ответ. В ответе также указывается их расположение (Index) в исходном тексте. В ListId следующем примере JSON ссылается на термины, найденные в настраиваемых списках терминов, если они доступны.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Примечание.

language Для параметра назначьте eng или оставьте его пустым, чтобы просмотреть ответ на классификацию с помощью компьютера (предварительная версия функции). Эта функция поддерживает только английский язык.

Для обнаружения ненормативной лексики укажите код ISO 639-3 для поддерживаемых языков, которые перечислены в этой статье, или оставьте это поле пустым.

Классификация

Функция классификации текста Content Moderator с машинными алгоритмами поддерживает только английский язык и используется для обнаружения потенциально нежелательного содержимого. Помеченное содержимое может быть оценено как недопустимое в зависимости от контекста. Она передает вероятность каждой категории. Эта функция использует обученную модель для выявления возможных оскорбительных, уничижительных или дискриминационных формулировок. Сюда входят сленг, сокращения, оскорбительные слова и слова с намеренными орфографическими ошибками.

Ниже приводится пример ответа в формате JSON:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Описание

  • Category1 относится к потенциальному присутствию языка, который может считаться сексуально явным или взрослым в определенных ситуациях.
  • Category2 относится к потенциальному присутствию языка, который может считаться сексуальным или зрелым в определенных ситуациях.
  • Category3 относится к потенциальному присутствию языка, который может рассматриваться как оскорбительный в определенных ситуациях.
  • Score имеет значение в диапазоне от 0 до 1. Чем выше оценка, тем выше вероятность применения категории. Эта возможность использует статистическую модель прогнозирования, а не оценки, кодированные вручную. Корпорация Майкрософт рекомендует протестировать ее на своих данных, чтобы проверить применимость анализа по каждой категории.
  • ReviewRecommended принимает значения true или false в зависимости от внутренних порогов оценки. Клиенты могут на выбор использовать значения по умолчанию или настраивать собственные пороги в соответствии с действующими политиками.

Личные данные

Функция персональных данных обнаруживает потенциальные наличие таких сведений:

  • Адрес электронной почты
  • Почтовый адрес в США
  • IP-адрес
  • Номер телефона США

Ниже показан пример результатов:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Автозамена

Ответ модерации текста может при необходимости возвращать текст с применением простого автозамены.

Например, приведенный ниже входной текст имеет опечатку.

Быстрая коричневая лиса перепрыгивает через линивую собаку.

При указании автозамены ответ содержит исправленную версию текста:

Быстрая коричневая лиса перепрыгивает через ленивую собаку.

Создание настраиваемых списков терминов и управление ими

Хотя по умолчанию глобальный список терминов работает отлично для большинства случаев, может потребоваться экранировать условия, относящиеся к вашим бизнес-потребностям. Например, вы можете отфильтровать любые конкурентные бренды от записей пользователей.

Примечание.

Существует максимальное ограничение в пять списков терминов с каждым списком, чтобы не превышать 10 000 терминов.

В следующем примере представлен идентификатор совпадения по списку:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator предоставляет API списка терминов с операциями для управления пользовательскими списками терминов. Ознакомьтесь с кратким руководством по спискам терминов .NET, если вы знакомы с Visual Studio и C#.

Связанный контент