Рекомендации по определению целевых показателей производительности
Применяется к следующей рекомендации контрольного списка по обеспечению эффективности процессов Power Platform Well-Architected:
| PE:01 | Определение целевых показателей производительности. Целевые показатели производительности должны представлять собой числовые значения, привязанные к требованиям рабочей нагрузки. Вам следует реализовать целевые показатели производительности для всех потоков рабочей нагрузки. |
|---|
В этом руководстве описаны рекомендации по установлению и раскрытию целевых показателей производительности. Целевые показатели производительности — это показатели, определяющие цели производительности. Эти метрики выражаются в виде одного числового значения или числового диапазона. Это четкие и конкретные метрики, которые способствуют постоянному совершенствованию. Целевые показатели производительности являются числовой основой для улучшений и помогают рабочим группам согласовывать свои усилия для достижения конкретных целей. Без четких целевых показателей производительности рабочим группам может не хватать внимания и сведений по проблемам с производительностью. Устанавливая целевые показатели производительности, рабочие группы могут работать над достижением конкретных целей и обеспечивать постоянное улучшение.
Определения
| Термин | Определение |
|---|---|
| Поток данных | Перемещение данных внутри системы или между системами. |
| Зависимость | Компонент, от которого зависит рабочая нагрузка. |
| Поток | В рабочей нагрузке — последовательность операций, выполняющая определенную функцию. Это включает в себя перемещение данных и выполнение процессов между компонентами рабочей нагрузки. Хотя «поток» может означать поток Power Automate, в этом контексте он относится к общей последовательности, которая не привязана к конкретной реализации. |
| Метрики | Числовые значения, которые собираются через регулярные промежутки времени. Метрики описывают некоторые аспекты системы в определенный момент времени. |
| Целевые показатели производительности | Метрики, которые определяют цели производительности. Эти метрики выражаются в виде одного числового значения или числового диапазона. |
| Пользовательский поток | Пути или последовательности действий, которые пользователи выполняют в приложении или системе. |
| Рабочий процесс | Последовательность шагов, которые выполняет рабочая нагрузка для выполнения задачи. |
Ключевые стратегии проектирования
Установление целевых показателей производительности является важным шагом для достижения высокой производительности рабочей нагрузки. Целевые показатели производительности определяют желаемый уровень производительности для вашей рабочей нагрузки и помогают оценить ее эффективность в достижении этих целей. Целевые показатели производительности служат эталоном для измерения и сравнения эффективности рабочей нагрузки. Этот эталон поможет вам выделить области для улучшения. Целевые показатели также приводят задачи в соответствие с целями вашей организации и улучшают результаты бизнеса. Кроме того, целевые показатели производительности предлагают рекомендации по выделению ресурсов, помогая вам обеспечить, что рабочие нагрузки будут адаптироваться к меняющимся требованиям, сохраняя при этом оптимальную производительность.
Устанавливайте целевые показатели производительности как можно раньше
Установите целевые показатели производительности перед развертыванием рабочей нагрузки. Целевые показатели производительности требуют изучения. Проведите исследование рынка, конкурентный анализ и опросы, чтобы определить диапазоны целевых показателей производительности. Для существующей производственной рабочей нагрузки, у которой нет целевых показателей производительности, используйте производственные данные и отзывы пользователей, чтобы установить целевые показатели производительности.
Определите требования к производительности
Определение требований к производительности заключается в определении основных метрик производительности, таких как время отклика, пропускная способность и задержка, которые имеют решающее значение для рабочей нагрузки. Согласование этих целевых показателей производительности с бизнес-целями вашей организации гарантирует, что рабочая нагрузка будет соответствовать желаемым стандартам — будь то лучший в своем классе или средний по качеству продукт. Например, вы можете попытаться сократить время отклика, увеличить пропускную способность или оптимизировать использование ресурсов.
При установке целей производительности важно согласовать цели организации с конкретными потребностями базы пользователей. Пользователи в конечном итоге определяют высокую производительность, подчеркивая необходимость согласования целевых показателей производительности со своими ожиданиями. Этот баланс гарантирует, что целевые показатели производительности будут отражать предполагаемый пользовательский опыт и общую эффективность рабочей нагрузки.
Чтобы всесторонне оценить и оптимизировать производительность рабочей нагрузки, вам следует рассмотреть возможность установки целевых показателей производительности для следующего:
- Отдельные компоненты: отдельные компоненты — это отдельные единицы или сегменты рабочей нагрузки, каждый из которых потенциально имеет разные характеристики производительности и требования.
- Пользовательскиепотоки: эти пути определяют, как пользователи маневрируют в рабочей нагрузке, и обеспечение их плавности напрямую улучшает пользовательский опыт.
- Рабочие процессы: внутренние рабочие процессы созданы для достижения конкретных результатов и часто определяют операционную эффективность.
- Потоки данных: потоки данных относятся к движению и взаимодействию данных в рамках рабочей нагрузки, помогая выявить потенциальную неэффективность или узкие места.
- Внешние зависимости: внешние зависимости — это элементы вне основной рабочей нагрузки (интегрированные сторонние службы или инструменты), которые могут существенно повлиять на производительность.
- Уровни технологий: уровни технологий — это прямые показатели производительности, такие как скорость доступа к API, задержки в работе базы данных и потенциальные задержки в сети.
- Бизнес-транзакции: беспрепятственное выполнение комплексных бизнес-транзакций пользователей, таких как совершение покупки или бронирование услуги, напрямую связано с удовлетворенностью пользователей.
- Суммарная рабочая нагрузка: эта целостная метрика дает обзор суммарной производительности, охватывающий все компоненты и аспекты рабочей нагрузки.
Определение ключевых метрик
Определение ключевых метрик производительности включает в себя определение основных показателей, которые отслеживают прогресс в достижении целей производительности рабочей нагрузки. Это определение обеспечивает количественный способ измерения и повышения эффективности работы.
При определении ключевых метрик, на которых следует сосредоточиться, рассмотрите метрики, связанные с доступностью, емкостью и временем отклика:
Доступность: частота ошибок — это метрика производительности доступности. Частота ошибок представляет собой процент неудачных запросов за определенный период времени. Общий целевой уровень ошибок составляет 0,1 процента от запросов.
Емкость: пропускная способность и параллелизм являются примерными метриками емкости. Пропускная способность означает способность обрабатывать определенное количество транзакций в течение определенного периода времени. Например, интеграция приложения с внешней системой может потребовать поддержки 10 миллионов транзакций обновления в месяц. Параллелизм — это мера одновременных пользователей или действий.
Время отклика: задержка и время загрузки — распространенные метрики времени отклика. Задержка — это время, необходимое для ответа на запрос (200 миллисекунд). Время загрузки — это время, необходимое приложению или веб-странице, чтобы стать интерактивными. Распространенной целью является выполнение 99 % запросов клиентов на поиск менее чем за 2 секунды.
Коэффициент отклонения: в контексте разговорного ИИ отклонение измеряет процент запросов, выполненных через самообслуживание, которые в противном случае были бы обработаны агентами-людьми. Другими словами, он указывает на количество задач, которые можно автоматизировать, снижая нагрузку на команду. Оптимизация коэффициента отклонения запросов агента является одной из основных областей для достижения бизнес-целей организаций в отношении окупаемости инвестиций (ROI) и удовлетворенности клиентов (CSAT), а также для повышения общей производительности агента. Ключевые показатели в Copilot Studio, которые помогают улучшить результативность агента, включают коэффициент разрешения, коэффициент эскалации и CSAT.
Настройка специальных показателей
После определения ключевых метрик вам необходимо указать целевые или пороговые значения производительности для каждой метрики. Целевые показатели производительности должны быть измеримыми, реалистичными и соответствовать целям вашей рабочей нагрузки. Например, вы можете установить целевое время отклика менее 500 миллисекунд (мс) или целевую частоту ошибок менее 1 процента.
Избегайте качественных оценок эффективности. Например, у ваших пользователей есть разные мнения о том, что означает «быстро» или «медленно». Заинтересованным лицам необходимо договориться о том, что означает слово «быстро» и как его измерить.
Используя числовые целевые показатели, вы можете объективно оценить производительность с течением времени. Устанавливая конкретные целевые показатели производительности, примите во внимание следующие рекомендации:
Учитывайтепользователей: когда вы устанавливаете целевые показатели производительности, ориентируйтесь на пользователей. Признание пользователей главным оценщиком производительности помогает обеспечить соответствие целевых показателей производительности ожиданиям пользователей. Такое согласование предполагает рассмотрение как организационных целей, так и конкретных требований базы пользователей. Объединив эти два аспекта, вы можете адаптировать целевые показатели производительности, чтобы отразить желаемый пользовательский опыт и общую эффективность рабочей нагрузки. Определив цели производительности, учитывающие ожидания пользователей, вы можете обеспечить высококачественный пользовательский опыт и удовлетворить потребности ваших пользователей. Однако будьте аккуратны, спрашивая пользователей об их требованиях к производительности. Они могут просто заявить, что хотят, чтобы система работала «как можно быстрее», но это неинформативно. Попытайтесь определить, что, по их мнению, является слишком медленным или как выглядит неприемлемая производительность, и начните работу в обратном направлении. Таким образом, вы получите более реалистичные требования.
Учитывайтезадачи: учитывайте различные задачи, которые пользователи выполняют с помощью системы. Некоторые задачи более важны, чем другие, с точки зрения производительности. Например, продавец, которому необходимо быстро найти информацию о клиенте, имеет более высокую потребность в производительности, чем тот же пользователь, просматривающий ежемесячный отчет о продажах. Сосредоточьтесь на задачах, которые имеют решающее значение для производительности, и убедитесь, что они соответствуют требованиям. По каждой важной задаче поговорите с пользователями о том, сколько времени, по их мнению, она должна занять. Будьте конкретны и сосредоточьтесь на одной задаче за раз. В конечном итоге у вас возникнут разные требования для разных задач в рамках одной и той же рабочей нагрузки, и это вполне логично.
Используйте процентили: такие процентили, как P99, P95 и P50, обычно используются для представления результатов оценок производительности. Они сообщают вам, какую часть данных включает в себя число. Например, P99 включает 99% данных. Используйте процентили, а не простые средние значения, чтобы получить более полное представление о производительности рабочей нагрузки. Чтобы измерить процентили, соберите данные о производительности за определенный период времени. Обычно это делается с помощью инструментов мониторинга или механизмов ведения журналов. Затем проанализируйте эти данные, чтобы определить значения времени отклика для разных процентилей.
Установите достижимые цели: оцените базовую производительность используемых вами сервисов и установите достижимые цели. При использовании сервисов, абстрагирующих базовую платформу, не ставьте цели, привязанные к факторам, которые вы не контролируете. Например, установка целевого значения 200 мс для загрузки экрана будет нереалистичной, если базовая производительность уже составляет 250 мс, прежде чем у вас появится возможность внедрить свою собственную логику.
Документируйте и раскрывайте целевые показатели эффективности
Документирование и раскрытие целевых показателей производительности означает централизованную запись всех целевых показателей производительности. Достижение целевых показателей производительности — это общая ответственность команд разработки и эксплуатации. Чтобы гарантировать, что рабочая нагрузка постоянно соответствует или превосходит эти цели, предоставьте командам информацию и доступ для принятия мер.
Чтобы задокументировать и раскрыть целевые показатели производительности, примите во внимание следующие рекомендации:
Документирование целевых показателей эффективности: документируйте все целевые показатели производительности. Убедитесь, что все целевые показатели производительности задокументированы в централизованном месте, к которому легко смогут получить доступ как команды разработчиков, так и группы эксплуатации. Это способствует согласованности действий и помогает принимать решения в режиме реального времени.
Раскрытие целевых показателей производительности: все ответственные команды должны иметь возможность просматривать и создавать практически применимые задачи на основе целевых показателей производительности. Используйте информационные излучатели, такие как панели мониторинга и отчеты, чтобы сделать целевые показатели производительности доступными.
Сделайте данные практически применимыми: документация и информационные излучатели должны предлагать четкие следующие шаги. Например, рост количества ошибок может привести к немедленной проверке, а последовательное достижение целевого показателя может привести к переоценке этого эталона.
Оценивайте отзывы пользователей
Оценка отзывов пользователей предполагает активный поиск и анализ ответов и предложений ваших пользователей. Активный сбор и анализ отзывов пользователей дает ценную аналитику об их потребностях и ожиданиях. Регулярное общение помогает корректировать целевые показатели производительности в соответствии с меняющимися предпочтениями и технологическими тенденциями. Ориентация на потребности пользователей означает, что рабочая нагрузка не только соответствует техническим показателям, но и постоянно совершенствуется. Такой подход, подчеркивающий удовлетворенность пользователей, гарантирует, что рабочая нагрузка останется актуальной и успешной в долгосрочной перспективе.
Возможности в Power Platform
Power Platform интегрируется с Application Insights, которая является частью экосистемы Azure Monitor. Azure Monitor — это полнофункциональная служба мониторинга, предоставляющая полный набор функций для мониторинга ресурсов и измерения целевых показателей производительности. Azure Monitor собирает метрики платформы и предоставляет готовые к использованию панели мониторинга. Это решение позволяет настраивать оповещения на основе метрик, а также хранить и сопоставлять метрик, чтобы обеспечить единый источник достоверной информации. Информацию о том, как можно регистрировать и анализировать стандартные события телеметрии и пользовательские события трассировки, см. в разделе Анализ журналов, созданных системой, с помощью Application Insights.
Power Platform обеспечивает постоянную доступность и производительность за счет применения ограничений защиты служб. Эти ограничения обычно достаточно высоки, чтобы ваша рабочая нагрузка не столкнулась с ними при обычном использовании. Однако вы можете столкнуться с ними, если ваша рабочая нагрузка обрабатывает большие объемы данных, массовые операции или миграцию данных. Если вы разработчик рабочих нагрузок, вы должны знать, как применяются ограничения защиты сервисов и как спроектировать рабочую нагрузку, чтобы снизить вероятность их превышения. Вам также следует спланировать, как обрабатывать ограничения, если они возникнут. Дополнительные сведения:
- Ограничения на запросы и распределения запросов Power Platform
- Лимиты API, предусмотренные для защиты служб
- Ограничения автоматизированных, запланированных и мгновенных потоков Power Automate
Copilot Studio имеет полный набор аналитики, которая определяет ключевые показатели эффективности для вашего агента. Несколько графиков показывают тенденции и использование тем вашего агента. На этих графиках ИИ используется для выделения тем, которые оказывают наибольшее влияние на производительность вашего агента. Вы также можете разработать пользовательскую стратегию аналитики для создания отчета, не охватываемого стандартной аналитикой.
Контрольный список по обеспечению эффективности процессов
Обратитесь к полному набору рекомендаций.