Поделиться через

Оптимизация производительности для рабочих нагрузок интеллектуальных приложений

  • Статья

Производительность — это способность рабочей нагрузки эффективно масштабироваться в соответствии с требованиями, предъявляемыми к ней пользователями. Мониторинг производительности рабочей нагрузки интеллектуального приложения имеет решающее значение для обеспечения его эффективной работы.

Команда по рабочей нагрузке должна устанавливать ключевые показатели производительности, регулярно проверять производительность системы и оперативно диагностировать любые проблемы. Эффективные процедуры мониторинга и диагностики помогают поддерживать надежность системы и удовлетворенность пользователей.

Определение целевых показателей производительности

Определение ключевых показателей производительности включает в себя определение основных показателей, которые отслеживают прогресс в достижении целей производительности рабочей нагрузки. Эти метрики обеспечивают количественный способ измерения и повышения эффективности работы.

При определении ключевых показателей, на которых следует сосредоточиться, учитывайте метрики, связанные с емкостью, временем отклика, коэффициентом отклонения, вовлеченностью и результатами:

  • Емкость: пропускная способность и параллелизм являются примерными метриками емкости. Пропускная способность означает способность обрабатывать определенное количество транзакций в течение определенного периода времени. Например, агент может обрабатывать 200 000 сеансов чата в месяц. Также учитывайте сезонные колебания и ожидаемый максимальный пик одновременных разговоров. Параллелизм — это мера одновременных пользователей или действий. Например, агент может обрабатывать максимум 5000 одновременных чатов в пиковый сезон. Понимание целевых объемов помогает проверить целевую архитектуру и масштаб.

  • Время отклика: задержка и время загрузки — распространенные метрики времени отклика. Задержка — это время, необходимое для ответа на запрос (200 миллисекунд). Время загрузки — это время, необходимое для того, чтобы агент стал активным и ответил на первое сообщение. Определите ожидаемую максимальную задержку ответов на запросы для агента и определите подход к обработке длительных действий (например, ожидание возврата данных внешней системой).

  • Коэффициент отклонения: в контексте разговорного ИИ отклонение — это показатель, представляющий собой процент запросов, выполненных в режиме самообслуживания, которые в противном случае были бы обработаны операторами отдела обслуживания клиентов. Другими словами, это количество задач, с которыми команде больше не нужно справляться из-за автоматизации. Оптимизация коэффициента отклонения запросов агента является одной из основных областей для достижения бизнес-целей организаций, от окупаемости инвестиций (ROI) и удовлетворенности клиентов (CSAT) до повышения общей производительности агента. Microsoft Copilot Studio предоставляет обзор производительности вашего агента, включая ключевые показатели, такие как коэффициент разрешения, коэффициент эскалации и CSAT.

  • Вовлеченность и результаты: отслеживание вовлеченности в разговор и результатов имеют важное значение для измерения показателей эффективности агента и выявления областей, требующих улучшения. Дополнительные сведения см. в разделах Измерение вовлеченности агента и Измерение результатов агента.

Планирование производительности

Ресурсы в вашей рабочей нагрузке имеют ограничения по производительности. Ограничения производительности применяются к функциям каждой службы. Вам необходимо понимать ограничения ресурсов в вашей рабочей нагрузке и учитывать эти ограничения при принятии решений по проектированию. Например, вы должны знать, требуют ли ограничения ресурсов изменения подхода к проектированию или полного изменения ресурсов.

  • Понимание целевых объемов. Целевые объемы помогают проверить целевую архитектуру и масштаб, аспекты лицензирования агента и потенциальное влияние на хранилище Dataverse для расшифровок разговоров.
  • Понимание ограничений платформы. При интеграции рабочей нагрузки интеллектуального приложения с внешними системами, например с помощью Power Automate или HTTP-запросов, важно убедиться, что каждый компонент может справиться с нагрузкой.
  • Выявление узких мест. Измеряйте пропускную способность и время отклика, чтобы определить компоненты системы, которые могут стать проблемными по мере роста рабочей нагрузки. Выявляйте узкие места в сквозном процессе с помощью возможностей анализа процессов, таких как переделка и анализ первопричин.

Подробнее: Рекомендации по планированию производительности

Отслеживание производительности

Оптимизация производительности требует данных для измерения текущей производительности рабочей нагрузки или потока в сравнении с целевыми показателями производительности. Соберите достаточное количество разнообразных данных для точного измерения производительности кода и инфраструктуры по сравнению с установленными целевыми показателями производительности. Убедитесь, что каждый компонент и поток рабочей нагрузки автоматически генерирует непрерывные и значимые метрики и журналы.

Внимательно следите за производительностью рабочей нагрузки интеллектуального приложения, чтобы обеспечить ее работу с максимальной эффективностью и результативностью.

Copilot Studio предоставляет комплексную готовую аналитику, которая позволяет понять использование агента и его ключевые показатели эффективности.

Вы можете просматривать отчеты, связанные с:

  • Производительность и использование
  • Удовлетворенность клиентов
  • Сведения о сеансе
  • Использование тем
  • Оплачиваемые сеансы

В дополнение к встроенным функциям аналитики в Copilot Studio вы можете отправлять данные телеметрии в Application Insights. Дополнительные сведения см. в разделе Сбор телеметрии с помощью Application Insights. Постоянно отслеживайте производительность и выявляйте аномалии с помощью таких инструментов, как Azure Monitor, Log Analytics, Application Insights и оповещения.

Определите ключевые показатели эффективности (КПЭ), которые вы будете отслеживать для измерения успешности рабочей нагрузки интеллектуального приложения, такие как коэффициент вовлеченности, коэффициент разрешения и коэффициент отклонения. Во-первых, просмотрите собственные панели мониторинга, чтобы понять доступные данные. Затем решите, будет ли создание пользовательского отчета лучше соответствовать вашим конкретным потребностям.

Подробнее:

Непрерывная оптимизация производительности

Упреждающая оптимизация производительности включает в себя реализацию мер по улучшению и повышению производительности рабочей нагрузки до того, как возникнут какие-либо проблемы. Упреждающие меры включают выявление потенциальных узких мест, мониторинг показателей производительности и внедрение оптимизаций для обеспечения эффективного выполнения рабочей нагрузки и достижения целей по производительности.

Чтобы постоянно улучшать рабочую нагрузку интеллектуальных приложений, запланируйте регулярные проверки производительности агента:

Показатель эффективности Определение
Коэффициент разрешения Процент запросов пользователей, которые были успешно разрешены агентом без необходимости передачи их оператору отдела обслуживания клиентов.
Степень вовлеченности Процент от общего числа вовлеченных сеансов. Сеанс считается вовлеченным, когда пользователь взаимодействует с агентом значимым образом, например, активирует несистемную тему, повышает уровень сеанса или вызывает резервную тему.
Коэффициент прерывания Процент вовлеченных сеансов, которые завершились без достижения решения или эскалации. По сути, он измеряет, как часто пользователи покидают или прекращают взаимодействие с агентом до того, как их проблема будет решена или передана представителю.
Доля эскалации Процент сеансов с взаимодействием, которые были эскалированы представителю. Эта метрика является ключом к пониманию того, как часто агент не может самостоятельно решать запросы пользователей и требует вмешательства человека.
Нераспознанные высказывания Возникает, когда модель распознавания естественного языка (NLU) агента не в состоянии сопоставить ввод пользователя с каким-либо предопределенным намерением или темой. Система не может определить намерение пользователя на основе предоставленных входных данных.
CSAT Удовлетворенность клиентов.
Темы с низким коэффициентом разрешения Относится к темам разговоров, в которых часто не удается эффективно разрешить запросы пользователей. Эти темы часто приводят к недовольству пользователей, забрасыванию разговора или эскалации к представителю.

Этот обзор помогает определить приоритеты невыполненных задач по обновлениям агента. Например, если нераспознанные высказывания часто передаются оператору отдела обслуживания клиентов, воспользуйтесь этой возможностью, чтобы улучшить перенаправление. Анализируйте пользовательские шаблоны, которые приводят к переходу на резервный вариант и нераспознанным высказываниям, и либо обучайте существующие темы, либо создавайте новые, чтобы оснастить агента для лучшего удовлетворения потребностей пользователей.

Подробнее: