Поделиться через

Средство безопасности содержимого (текст)

  • Статья

Безопасность содержимого ИИ Azure — это служба con режим палатки ration, разработанная корпорацией Майкрософт, которая помогает обнаруживать вредное содержимое из разных модальности и языков. Средство "Безопасность содержимого( текст) — это оболочка для API безопасности содержимого ИИ Azure, которая позволяет обнаруживать текстовое содержимое и получать результаты модерации. Дополнительные сведения см. в статье "Безопасность содержимого ИИ Azure".

Необходимые компоненты

  • Создайте ресурс безопасности содержимого ИИ Azure.
  • Azure Content Safety Добавьте подключение в поток запроса. API key Заполните поле Primary key из Keys and Endpoint раздела созданного ресурса.

Входные данные

В качестве входных данных для этого средства можно использовать следующие параметры:

Имя. Тип Описание Обязательное поле
text строка Текст, который необходимо модерировать. Да
hate_category строка Конфиденциальность модерации для Hate категории. Выберите один из четырех вариантов: disable, low_sensitivity, medium_sensitivityили high_sensitivity. Параметр disable означает отсутствие модерации для Hate категории. Другие три варианта означают различные степени строгости в фильтрации содержимого ненависти. Значение по умолчанию — medium_sensitivity. Да
sexual_category строка Конфиденциальность модерации для Sexual категории. Выберите один из четырех вариантов: disable, low_sensitivity, medium_sensitivityили high_sensitivity. Параметр disable означает отсутствие модерации для Sexual категории. Другие три варианта означают разные степени строгости в фильтрации сексуального содержимого. Значение по умолчанию — medium_sensitivity. Да
self_harm_category строка Конфиденциальность модерации для Self-harm категории. Выберите один из четырех вариантов: disable, low_sensitivity, medium_sensitivityили high_sensitivity. Параметр disable означает отсутствие модерации для Self-harm категории. Остальные три варианта означают различные степени строгости в фильтрации содержимого для самовосхищения. Значение по умолчанию — medium_sensitivity. Да
violence_category строка Конфиденциальность модерации для Violence категории. Выберите один из четырех вариантов: disable, low_sensitivity, medium_sensitivityили high_sensitivity. Параметр disable означает отсутствие модерации для Violence категории. Другие три варианта означают различные степени строгости в фильтрации содержимого насилия. Значение по умолчанию — medium_sensitivity. Да

Дополнительные сведения см. в статье "Безопасность содержимого ИИ Azure".

Выходные данные

Ниже приведен пример ответа формата JSON, возвращаемого средством:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Поле action_by_category предоставляет двоичное значение для каждой категории: Accept или Reject. Это значение показывает, соответствует ли текст уровню конфиденциальности, заданному в параметрах запроса для этой категории.

Поле suggested_action предоставляет общую рекомендацию на основе четырех категорий. Если какая-либо категория имеет Reject значение, suggested_action также Rejectимеет значение.