Поделиться через

Использование мониторинга рисков и безопасности в Azure AI Foundry (предварительная версия)

  • Статья

При использовании развертывания модели Azure OpenAI с фильтром содержимого может потребоваться проверить результаты действия фильтрации. Эти сведения можно использовать для дальнейшего изменения конфигурации фильтра для удовлетворения конкретных бизнес-потребностей и принципов ответственного ИИ.

Azure AI Foundry предоставляет панель мониторинга "Риски и безопасность" для каждого развертывания, использующего конфигурацию фильтра содержимого.

Мониторинг рисков и безопасности доступа

Для доступа к мониторингу рисков и безопасности требуется ресурс Azure OpenAI в одном из поддерживаемых регионов Azure: восточная часть США, Северная Швейцария, Центральная Франция, Центральная Швеция, Восточная Канада. Вам также требуется развертывание модели, использующее конфигурацию фильтра содержимого.

Перейдите в Azure AI Foundry и войдите с учетными данными, связанными с ресурсом Azure OpenAI. Выберите проект. Затем выберите вкладку "Модели + конечные точки" слева, а затем выберите развертывание модели в списке. На странице развертывания выберите вкладку "Метрики " в верхней части. Затем нажмите кнопку "Открыть" в Azure Monitor, чтобы просмотреть полный отчет в портал Azure.

Настройка метрик

Описание отчета

Данные фильтрации содержимого отображаются следующими способами:

  • Общее число заблокированных запросов и частота блокировок: в этом представлении отображается глобальное представление о количестве и скорости содержимого, отфильтрованного по времени. Это помогает понять тенденции вредоносных запросов от пользователей и увидеть любые непредвиденные действия.
  • Заблокированные запросы по категориям: в этом представлении отображается объем содержимого, заблокированного для каждой категории. Это статистика всех вредоносных запросов в выбранном диапазоне времени. В настоящее время она поддерживает категории вреда ненависти, сексуального, самоповредения и насилия.
  • Скорость блокировки по категориям: в этом представлении показано скорость блокировки для каждой категории с течением времени. В настоящее время она поддерживает категории вреда ненависти, сексуального, самоповредения и насилия.
  • Распределение серьезности по категориям: в этом представлении показаны уровни серьезности, обнаруженные для каждой категории вреда, в течение всего выбранного диапазона времени. Это не ограничивается заблокированным содержимым, а включает все содержимое, помеченное фильтрами содержимого.
  • Распределение частоты серьезности по категориям: в этом представлении показаны показатели обнаруженных уровней серьезности с течением времени для каждой категории вреда. Выберите вкладки для переключения между поддерживаемыми категориями.

Настройте конфигурацию фильтра контента, чтобы обеспечить дальнейшее соответствие бизнес-потребностям и принципам ответственного искусственного интеллекта.

Потенциально оскорбление обнаружения пользователей

Панель обнаружения потенциально оскорбительных пользователей использует отчеты о злоупотреблениях на уровне пользователей для отображения сведений о пользователях, поведение которых привело к блокировке содержимого. Цель заключается в том, чтобы получить представление о источниках вредного содержимого, чтобы вы могли принимать адаптивные меры, чтобы гарантировать, что модель используется ответственно.

Чтобы использовать потенциально жестокое обнаружение пользователей, вам потребуется:

  • Конфигурация фильтра содержимого, примененная к развертыванию.
  • Необходимо отправить сведения об идентификаторе пользователя в запросах завершения чата (например, см. параметр пользователя API завершения).

    Внимание

    Используйте строки GUID для идентификации отдельных пользователей. Не включать конфиденциальную личную информацию в поле "пользователь".

  • База данных Azure Data Explorer, настроенная для хранения результатов анализа пользователей (инструкции ниже).

Настройка базы данных Azure Data Explorer

Чтобы защитить конфиденциальность данных пользователей и управлять разрешением данных, мы поддерживаем возможность для наших клиентов перенести собственное хранилище, чтобы получить подробные аналитические сведения об обнаружении потенциально оскорбительных пользователей (включая GUID пользователя и статистику по вредному запросу по категориям), хранящиеся в соответствии с требованиями и с полным контролем. Выполните следующие действия, чтобы включить его:

  1. В Azure AI Foundry перейдите к развертыванию модели, с помощью которой вы хотите настроить анализ злоупотреблений пользователем, и нажмите кнопку "Добавить хранилище данных".
  2. Введите необходимые сведения и нажмите кнопку "Сохранить". Мы рекомендуем создать новую базу данных для хранения результатов анализа.
  3. После подключения хранилища данных выполните следующие действия, чтобы предоставить разрешение на запись результатов анализа в подключенную базу данных:
    1. Перейдите на страницу ресурса Azure OpenAI в портал Azure и перейдите на вкладку "Удостоверение".
    2. Включите состояние для назначаемого системой удостоверения и скопируйте созданный идентификатор.
    3. Перейдите к ресурсу Azure Data Explorer в портал Azure, выберите базы данных и выберите конкретную базу данных, созданную для хранения результатов анализа пользователей.
    4. Выберите разрешения и добавьте роль администратора в базу данных.
    5. Вставьте удостоверение Azure OpenAI, созданное на предыдущем шаге, и выберите его. Теперь удостоверение ресурса Azure OpenAI разрешено для чтения и записи в учетную запись хранения.
  4. Предоставьте доступ к подключенной базе данных Azure Data Explorer пользователям, которым необходимо просмотреть результаты анализа:
    1. Перейдите к подключенной ресурсу Azure Data Explorer, выберите управление доступом и добавьте роль читателя кластера Azure Data Explorer для пользователей, которым требуется получить доступ к результатам.
    2. Выберите базы данных и выберите конкретную базу данных , подключенную к хранилищу результатов анализа злоупотреблений на уровне пользователя. Выберите разрешения и добавьте роль читателя базы данных для пользователей, которым требуется получить доступ к результатам.

Описание отчета

Потенциально неправильное обнаружение пользователей зависит от сведений о пользователе, которые клиенты отправляют с помощью вызовов API Azure OpenAI вместе с содержимым запроса. Показаны следующие аналитические сведения:

  • Общее число потенциально оскорбительных пользователей: в этом представлении показано количество обнаруженных потенциально оскорбительных пользователей с течением времени. Это пользователи, для которых обнаружен шаблон злоупотреблений и которые могут привести к высокому риску.
  • Потенциально оскорбительный список пользователей: это представление представляет собой подробный список обнаруженных потенциально оскорбительных пользователей. Он предоставляет следующие сведения для каждого пользователя:
    • UserGUID: это отправляется клиентом через поле "пользователь" в API Azure OpenAI.
    • Оценка злоупотреблений: это цифра, созданная моделью для анализа запросов и поведения каждого пользователя. Оценка нормализуется до 0-1. Более высокая оценка указывает на более высокий риск злоупотреблений.
    • Тенденция оценки злоупотреблений: изменение оценки злоупотреблений в течение выбранного диапазона времени.
    • Дата оценки: дата анализа результатов.
    • Общее соотношение запросов на злоупотребление и количество
    • Соотношение и число злоупотреблений по категориям

Объедините эти данные с обогащенными сигналами, чтобы проверить, являются ли обнаруженные пользователи действительно оскорбительными или нет. Если они есть, выполните такие действия, как регулирование или приостановка работы пользователя, чтобы обеспечить ответственное использование приложения.

Следующие шаги

Затем создайте или измените конфигурацию фильтра содержимого в Azure AI Foundry.