Вопросы и ответы по использованию генеративной оркестрации
Эти вопросы и ответы (часто задаваемые вопросы) описывают влияние ИИ режима генеративной оркестрации для пользовательских агентов, созданных в Copilot Studio.
Что такое генеративная оркестрация?
Генеративная оркестрация позволяет вашему пользовательскому агенту отвечать на запросы пользователей, предлагая соответствующие темы и/или действия. Генеративная оркестрация позволяет вести более естественные беседы, заполняя входные данные с использованием сведений из истории беседы. Например, если вы спросите о ближайшем магазине в Киркленде, а затем спросите о погоде там, оркестрация сделает вывод, что вы хотите спросить о погоде в Киркленде. Система также может объединять в цепочку несколько действий или тем. Например, он может ответить: «Мне нужно узнать часы работы магазина и найти ближайший магазин». Когда агент не уверен в деталях, он может задать дополнительные вопросы, чтобы устранить неоднозначность.
Что может делать генеративная оркестрация?
При генеративной оркестрации система сначала создает план ответа на запрос пользователя, используя имя, описание, входные и выходные данные доступных тем и действий. Она также ссылается на последние 10 ходов истории разговора. Затем она пытается выполнить план, заполняя необходимые данные из разговора и уточняя у пользователя любые недостающие или неоднозначные детали. Прежде чем ответить пользователю, система проверяет, нашла ли она ответ на вопрос пользователя. Если нет, процесс повторяется. Наконец, система генерирует ответ на основе выходных данных плана из тем и/или действий. Она также использует любые пользовательские инструкции для агента при генерации окончательного ответа.
Каковы предполагаемые цели использования генеративной оркестрации?
Вы можете использовать этот режим в своем агенте для создания агента, который может отвечать на запросы пользователей на основе истории разговоров, названий и описаний тем, а также названий, описаний, входных и выходных данных для действий.
Как оценивается генеративная оркестрация? Какие метрики используются для измерения ее производительности?
Генеративная оркестрация оценивается по сквозному качеству на каждом шаге процесса. Качество измеряется с точки зрения того, насколько хорошо система создает и выполняет план, который успешно решает запрос пользователя. Наша команда вручную помечает показатели качества во время тонкой настройки. Мы оцениваем качество по различным запросам, подсказкам и действиям пользователей. Мы также оцениваем, насколько хорошо система игнорирует вредоносный контент от пользователей и авторов, а также насколько хорошо система избегает создания вредоносного контента.
Какие ограничения связаны с генеративной оркестрацией? Как пользователи могут минимизировать влияние ограничений генеративной оркестрации при использовании системы?
Для достижения наилучших результатов убедитесь, что ваши темы и действия включают качественные описания. Мы даем рекомендации по написанию высококачественных описаний в документации по Copilot Studio.
Какие рабочие факторы и настройки позволяют эффективно и ответственно использовать генеративную оркестрацию?
Генеративная оркестрация в настоящее время доступна только на английском языке. После включения генеративного режима в агент вы можете протестировать систему, чтобы увидеть, насколько хорошо она работает, с помощью панели тестирования. Вы также можете добавить пользовательские инструкции для вашего агента, чтобы помочь создать окончательный ответ.
Что такое действия и как их использует агент с включенным генеративным режимом?
Вы можете добавлять действия в свой пользовательский агент, чтобы отвечать на запросы пользователей. Вы можете использовать действия, разработанные Microsoft или сторонними разработчиками, или создавать свои собственные действия. Вы можете указать, какие действия следует настроить для использования пользовательского агента. Вы также можете редактировать название, описание, входные данные и выходные данные, используемые системой.
Какие данные Copilot Studio может предоставить для действий? Какие разрешения есть у действий Copilot Studio?
Когда агент вызывает действие, действие получает входные значения, указанные действием. Входные значения могут включать часть истории разговора с пользователем.
Какие проблемы могут возникнуть при использовании Copilot Studio, в котором включены действия?
Действия могут не всегда работать так, как задумано. Ошибки могут возникать при подготовке входных данных для действия или при генерации ответа на основе выходных данных действия. Кроме того, агент может вызвать неверное действие для запроса пользователя. Чтобы снизить риск возникновения таких ошибок при использовании действий, убедитесь, что у вас есть качественные, релевантные и однозначные описания, настроенные для действий в пользовательском агенте.
Какие средства защиты предусмотрены в Copilot Studio для ответственного применения ИИ?
Существует множество функций устранения рисков для защиты агентов. Вы можете настроить агент с набором знаний, действий и тем. Агенты никогда не выполняют действия, которые не являются частью их конфигурации. Администраторы могут запретить действия для агентов в вашей организации. Если вы обеспокоены тем, что действие запускается без подтверждения, вы можете настроить действие так, чтобы оно вызывалось только тогда, когда пользователь соглашается его вызвать.
Кроме того, у нас есть классификаторы, которые анализируют входные данные в системе для обнаружения вредоносного контента и джейлбрейк-атак. Согласно нашим тестам, эти классификаторы имеют высокий уровень успеха в блокировке вредоносного контента и джейлбрейк-атак, а также в том, что они не блокируют контент, который не является вредным, или не является джейлбрейк-атакой. Однако классификаторы не могут быть идеальными, поэтому существует риск того, что агент создаст вредоносный контент или отреагирует на джейлбрейк-атаку. К таким рискам относятся междоменные атаки с внедрением запросов, когда инструкции могут быть добавлены в выходные данные действия или источника знаний, которым затем пытается следовать агент.
Наконец, рекомендуется сообщать пользователям, что агент использует искусственный интеллект, поэтому следующее сообщение по умолчанию информирует пользователей: «Чтобы вы знали, я иногда использую ИИ, чтобы ответить на ваши вопросы».