Проверка человеком при использовании автоматизации с запросами
В этой статье подчеркивается решающая роль проверки человеком при развертывании функции Создать текст с помощью GPT в Power Automate. Эта функция использует модель генерации текста из AI Builder на базе службы Azure OpenAI. Хотя эти модели очень эффективны, иногда они могут генерировать вводящую в заблуждение или сфабрикованную информацию и подвержены атакам с внедрением подсказки.
Важно
- Запросы AI Builder выполняются в моделях GPT 4o Mini и GPT 4o на базе Службы Azure OpenAI Service.
- Эта возможность доступна только в некоторых регионах.
- На эту возможность могут распространяться ограничения на использование или регулирование емкости.
Атаки с внедрением подсказок
Атака с внедрением подсказок происходит, когда третья сторона извлекает выгоду из присущего модели доверия ко всем источникам входных данных. Злоумышленник вводит подсказку в контент, с которым законный пользователь просит взаимодействовать решение ИИ, что приводит к изменению выходных данных решения ИИ и, возможно, его действий.
Например, рассмотрим сценарий, в котором разработчик-любитель использует действие Создать текст с помощью GPT для формулирования ответов на жалобы клиентов, собранные с различных платформ, таких как электронная почта, социальные сети или форумы. Злоумышленник может вставить подсказку в содержимое одного из этих источников. Этот сценарий может обмануть модель, заставив ее генерировать ответ, отличающийся от запланированного. Реакция может быть неуместной, неправильной или вредной. Неверная информация, отправляемая клиентам, может негативно повлиять на репутацию компании и взаимоотношения с клиентами.
Фальсификация в моделях искусственного интеллекта
Фальсификация, также известная как галлюцинация, — это еще одна проблема, с которой сталкиваются модели ИИ, включая модель генерации текста. Фальсификация возникает, когда модель ИИ генерирует информацию, которая не основана на предоставленных входных данных или ранее существовавших данных, по сути, изобретая или галлюцинируя информацию.
Например, если попросить модель ИИ создать краткое изложение исторического события на основе заданного текста, она может включать детали или события, которые не были упомянуты в исходном тексте. Например, поток создает краткий обзор собрания на основе расшифровки записи. Входные данные включают подробную информацию об участниках, обсуждаемых пунктах и принятых решениях. Однако модель может создать сводку, включающую элемент действия или решение, которые никогда не обсуждались на собрании. Эта ситуация является примером фальсификации, когда модель галлюцинирует часть информации, которой нет во входных данных.
Чтобы снизить риск фальсификации, крайне важно внедрить ответственные методы искусственного интеллекта. Это включает в себя тщательное тестирование подсказки и потока, предоставление модели как можно большего количества базовой информации и, наконец, внедрение надежной системы человеческого контроля.
Устранение рисков с помощью ответственных методов искусственного интеллекта
Мы выступаем за ответственную практику использования искусственного интеллекта как средства снижения рисков. Несмотря на наличие стратегий по модерации содержимого, создаваемого моделью, управление склонностью модели генерировать сфальсифицированные ответы или поддаваться атакам с внедрением подсказок остается сложной задачей. Мы признаем эти риски и подтверждаем нашу приверженность человеческому надзору и контролю.
Признавая необходимость бесперебойной автоматизации, мы активно совершенствуем наши системы безопасности и стремимся глубже понять эти проблемы. Наша цель — дальнейшее совершенствование модели генерации текста с использованием соответствующих мер безопасности в соответствии с нашими принципами ответственного ИИ при разработке, возвращая контроль разработчикам, где это возможно.