성능 목표 정의에 대한 권장 사항
Power Platform Well-Architected 성능 효율성 체크리스트 권장 사항에 적용됩니다.
| PE:01 | 성능 목표를 정의합니다. 성능 목표는 워크로드 요구 사항과 관련된 숫자 값이어야 합니다. 모든 워크로드 흐름에 대한 성능 목표를 구현해야 합니다. |
|---|
이 가이드에서는 성능 목표를 설정하고 노출하기 위한 권장 사항을 설명합니다. 성능 목표는 성능 목표를 정의하는 메트릭입니다. 이러한 메트릭은 단일 숫자 값 또는 숫자 범위로 표현됩니다. 이는 지속적인 개선을 촉진하는 명확하고 구체적인 메트릭입니다. 성능 목표는 개선을 위한 숫자 기반이며, 팀이 특정 목표를 향해 노력을 조율하는 데 도움이 됩니다. 명확한 성능 목표가 없으면 팀은 성능 문제에 대한 집중력과 책임이 부족할 수 있습니다. 성능 목표를 설정함으로써 팀은 특정 목표를 향해 노력하고 지속적인 개선을 추진할 수 있습니다.
정의
| 용어 | 정의 |
|---|---|
| 데이터 흐름 | 시스템 내에서 또는 시스템 간 데이터 이동입니다. |
| 종속성 | 워크로드가 의존하는 구성 요소입니다. |
| 선형 | 워크로드에서 특정 기능을 수행하는 일련의 작업입니다. 여기에는 워크로드 구성 요소 간의 데이터 이동과 프로세스 실행이 포함됩니다. "흐름"은 Power Automate 흐름을 제안할 수 있지만 이 컨텍스트에서는 특정 구현에 연결되지 않은 일반 시퀀스를 나타냅니다. |
| 메트릭 | 일정한 간격으로 수집되는 숫자 값입니다. 메트릭은 특정 시간에 시스템의 일부 측면을 설명합니다. |
| 성능 목표 | 성능 목표를 정의하는 메트릭입니다. 이러한 메트릭은 단일 숫자 값 또는 숫자 범위로 표현됩니다. |
| 사용자 흐름 | 사용자가 애플리케이션이나 시스템 내에서 수행하는 작업의 경로 또는 순서입니다. |
| Workflow | 작업을 수행하기 위해 워크로드가 실행하는 일련의 단계입니다. |
주요 디자인 전략
성능 목표를 설정하는 것은 워크로드 성능 효율성을 달성하는 데 필수적인 단계입니다. 성능 목표는 워크로드에 대해 원하는 성능 수준을 정의하고 해당 목표를 달성하는 데 있어 효율성을 측정하는 데 도움이 됩니다. 성능 목표는 워크로드의 효율성을 측정하고 비교할 수 있는 벤치마크를 제공합니다. 이 벤치마크는 개선 영역을 강조하는 데 도움이 될 수 있습니다. 또한 목표는 조직의 목표에 맞게 작업을 조정하고 비즈니스 성과를 향상시킵니다. 또한 성능 목표는 리소스 할당에 대한 지침을 제공하여 최적의 성능을 유지하면서 워크로드가 다양한 요구에 적응할 수 있도록 도와줍니다.
성능 목표를 조기에 설정
워크로드를 배포하기 전에 성능 목표를 설정하세요. 성능 목표에는 연구가 필요합니다. 시장 조사, 경쟁 분석, 설문 조사를 수행하여 성능 목표 범위를 설정하세요. 성능 목표가 없는 기존 프로덕션 워크로드의 경우 프로덕션 데이터와 사용자 피드백을 사용하여 성능 목표를 설정합니다.
성능 요구 사항 결정
성능 요구 사항을 결정하는 것은 워크로드에 중요한 응답 시간, 처리량 및 대기 시간과 같은 필수 성능 메트릭을 식별하는 것입니다. 이러한 성능 목표를 조직의 비즈니스 목표에 맞추면 동급 최고 제품이든 평균 제품이든 워크로드가 원하는 표준을 충족할 수 있습니다. 예를 들어 응답 횟수를 줄이거나, 처리량 비율을 높이거나, 리소스 사용을 최적화하는 것을 목표로 할 수 있습니다.
성능 목표를 설정할 때는 조직의 목표를 사용자층의 고유한 요구 사항에 맞추는 것이 중요합니다. 사용자는 궁극적으로 성능의 성공을 결정하며, 성능 목표를 기대치에 맞게 조정해야 할 필요성을 강조합니다. 이러한 균형을 통해 성능 목표는 의도한 사용자 경험과 워크로드의 전반적인 효율성을 포착합니다.
워크로드 성능을 종합적으로 측정하고 최적화하려면 다음에 대한 성능 목표 설정을 고려해야 합니다.
- 개별 구성 요소: 개별 구성 요소는 워크로드의 별도 단위 또는 세그먼트로, 각 구성 요소에는 잠재적으로 고유한 성능 특성과 요구 사항이 있습니다.
- 사용자흐름: 이러한 경로는 사용자가 작업 부하를 처리하는 방법을 도표화하고 유동성을 보장하여 사용자 경험을 직접적으로 향상시킵니다.
- 워크플로: 워크플로 정의 내부 프로세스는 특정 결과를 달성하기 위해 제작되며 종종 운영 효율성을 좌우합니다.
- 데이터 흐름: 데이터 흐름은 워크로드 내에서 데이터의 이동과 상호 작용을 말하며 잠재적인 비효율성이나 병목 현상을 식별하는 데 도움이 됩니다.
- 외부 종속성: 외부 종속성은 성능에 큰 영향을 미칠 수 있는 기본 워크로드(통합된 타사 서비스 또는 도구) 외부의 요소입니다.
- 기술 수준: 기술 수준은 API 액세스 속도, 데이터베이스 작업 대기 시간, 잠재적인 네트워크 지연과 같은 직접적인 성능 지표입니다.
- 비즈니스 트랜잭션: 구매 완료, 서비스 예약 등 엔드투엔드 사용자 비즈니스 트랜잭션의 원활한 실행은 사용자 만족도와 직결됩니다.
- 전체 워크로드: 이 전체적인 메트릭은 워크로드의 모든 구성 요소와 측면을 포괄하는 종합적인 성능에 대한 개요를 제공합니다.
주요 메트릭 식별
주요 성능 메트릭을 식별하려면 워크로드 성능 목표 달성을 향한 진행 상황을 추적하는 필수 측정값을 결정해야 합니다. 이러한 식별은 성능 효율성을 측정하고 향상시키는 정량화 가능한 방법을 제공합니다.
집중할 주요 메트릭을 식별할 때 가용성, 용량 및 응답 시간과 관련된 메트릭을 고려하십시오.
유효성: 오류율은 가용성 성능 메트릭입니다. 오류율은 특정 기간 동안 실패한 요청의 비율을 나타냅니다. 오류율의 일반적인 목표는 요청의 0.1%입니다.
용량: 처리량 및 동시성은 샘플 용량 메트릭입니다. 처리량은 주어진 기간 내에 특정 수의 트랜잭션을 처리하는 능력을 나타냅니다. 예를 들어, 외부 시스템과의 애플리케이션 통합은 매월 1,000만 개의 업데이트 트랜잭션을 유지해야 할 수 있습니다. 동시성은 동시 사용자 또는 작업의 척도입니다.
응답 시간: 지연 시간과 로드 시간은 일반적인 응답 시간 메트릭입니다. 지연 시간은 요청에 응답하는 데 걸리는 시간(200밀리초)입니다. 로드 시간은 애플리케이션이나 웹 페이지가 상호 작용하는 데 걸리는 시간입니다. 일반적인 목표는 고객 조회 요청의 99%가 2초 이내에 완료되는 것입니다.
편향률: 대화형 AI 맥락에서 편향은 라이브 에이전트가 처리해야 할 요청 중 셀프 서비스를 통해 완료된 요청의 비율을 측정합니다. 즉, 자동화할 수 있는 작업의 수를 나타내어 팀의 작업량을 줄입니다. 에이전트 편향률을 최적화하는 것은 투자 수익률(ROI) 및 고객 만족(CSAT)에 대한 비즈니스 목표를 달성하고 에이전트의 전반적인 성과를 개선하려는 조직의 최우선 초점 영역 중 하나입니다. 에이전트 성능을 개선하는 데 도움이 되는 Copilot Studio의 주요 지표에는 해결률, 에스컬레이션 속도 및 CSAT가 포함됩니다.
구체적인 목표 설정
주요 메트릭을 식별한 후에는 각 메트릭에 대한 성능 목표 또는 임계값을 지정해야 합니다. 성능 목표는 측정 가능하고 현실적이어야 하며 워크로드 목표와 일치해야 합니다. 예를 들어 목표 응답 시간을 500밀리초(ms) 미만으로 설정하거나 목표 오류율을 1% 미만으로 설정할 수 있습니다.
성능에 대한 정성적 평가를 피하세요. 예를 들어 사용자는 빠르거나 느린 것이 무엇을 의미하는지에 대해 서로 다른 의견을 가지고 있습니다. 이해 관계자가 "빠르다"는 의미와 측정 방법에 동의해야 합니다.
숫자 목표를 사용하면 시간 경과에 따른 성과를 객관적으로 평가할 수 있습니다. 구체적인 성능 목표를 설정할 때 다음 권장 사항을 고려하세요.
사용자고려: 성과 목표를 설정할 때 사용자 중심의 관점을 채택하세요. 사용자를 성능의 최종 판단자로 인식하면 성능 목표가 사용자의 기대치에 부합하도록 하는 데 도움이 됩니다. 이 맞춤에는 조직 목표와 사용자 기반의 고유한 요구 사항을 모두 고려하는 작업이 포함됩니다. 이 두 가지 측면을 통합하면 원하는 사용자 경험과 전반적인 워크로드 효율성을 반영하도록 성능 목표를 조정할 수 있습니다. 사용자 기대치를 고려한 성능 목표를 정의함으로써 고품질 사용자 경험을 제공하고 사용자의 요구 사항을 충족하기 위해 노력할 수 있습니다. 그러나 사용자에게 성능 요구 사항을 물어볼 때는 주의하세요. 단순히 시스템이 "가능한 한 빨리"되기를 원한다고 말할 수도 있지만 이는 정보는 충분하지 않습니다. 너무 느리다고 생각하는 것 또는 수용할 수 없는 성능이 어떤 것인지 파악하고 거기에서 거꾸로 작업하십시오. 이렇게 하면 보다 현실적인 요구 사항을 얻을 수 있습니다.
작업고려: 사용자가 시스템을 사용하여 수행하는 다양한 작업을 고려하세요. 일부 작업은 성능 관점에서 다른 작업보다 더 중요합니다. 예를 들어, 고객의 정보를 신속하게 조회해야 하는 영업 직원은 월별 판매 보고서를 보는 동일한 사용자보다 더 높은 성과 요구 사항을 갖습니다. 성능에 중요한 작업에 집중하고 요구 사항을 충족하는지 확인하세요. 각각의 중요한 작업에 대해 사용자에게 소요 시간이 얼마나 걸릴지 알려주세요. 구체적으로 한 번에 하나의 작업에 집중하세요. 동일한 워크로드 내에서도 작업마다 요구 사항이 달라지는 것은 당연한 일입니다.
백분위수 사용: P99, P95, P50과 같은 백분위수는 일반적으로 성과 성능 결과를 나타내는 데 사용됩니다. 숫자에 포함된 데이터 부분을 알려줍니다. 예를 들어 P99에는 데이터의 99%가 포함됩니다. 단순한 평균 대신 백분위수를 사용하여 워크로드 성능을 보다 포괄적으로 이해할 수 있습니다. 백분위수를 측정하려면 일반적으로 모니터링 도구나 로깅 메커니즘을 사용하여 일정 기간 동안 성능 데이터를 수집합니다. 그런 다음 이 데이터를 분석하여 다양한 백분위수에서 응답 시간 값을 결정합니다.
달성 가능한 목표 설정: 사용 중인 서비스의 기본 성능을 고려하고 달성 가능한 목표를 설정합니다. 기본 플랫폼을 추상화하는 서비스를 사용할 때 통제할 수 없는 요소와 관련된 목표를 설정하지 마십시오. 예를 들어, 사용자 지정 로직을 통합하기도 전에 기준 성능이 이미 250ms인 경우 화면 로딩에 대해 200ms의 목표를 설정하는 것은 비현실적입니다.
성능 목표 문서화 및 노출
성능 목표를 문서화하고 공개하는 것은 모든 성능 목표를 중앙 집중식으로 기록하는 것입니다. 성능 목표를 달성하는 것은 개발팀과 운영팀 간의 공동 책임입니다. 워크로드가 지속적으로 이러한 목표를 충족하거나 초과하도록 하려면 팀에 조치를 취할 수 있는 정보와 액세스 권한을 제공하세요.
성능 목표를 문서화하고 공개하려면 다음 권장 사항을 고려하세요:
성능 목표 문서화: 모든 성능 목표를 문서화합니다. 모든 성능 목표가 개발팀과 운영팀 모두가 쉽게 접근할 수 있는 중앙 위치에 문서화되어 있는지 확인하세요. 맞춤을 촉진하고 실시간 의사 결정을 지원합니다.
성능 목표 공개: 모든 담당 팀은 성능 목표에서 실행 가능한 작업을 검토하고 생성할 수 있어야 합니다. 대시보드 및 보고서와 같은 정보 제공 장치를 사용하여 성능 목표에 접근할 수 있도록 하세요.
실행 가능한 정보로 만들기: 문서와 정보 제공 장치는 명확한 다음 단계를 제안해야 합니다. 예를 들어, 오류가 증가하면 즉시 확인이 필요할 수도 있고, 지속적으로 목표를 달성하면 해당 벤치마크를 재평가해야 할 수도 있습니다.
사용자 피드백 평가
사용자 피드백을 평가하려면 사용자의 응답과 제안을 적극적으로 찾고 분석해야 합니다. 사용자 피드백을 적극적으로 수집하고 분석하면 사용자의 요구와 기대에 대한 귀중한 인사이트를 얻을 수 있습니다. 정기적인 커뮤니케이션은 변화하는 선호도와 기술 동향에 맞춰 성능 목표를 조정하는 데 도움이 됩니다. 사용자 요구에 초점을 맞춘다는 것은 워크로드가 기술 벤치마크에 부합할 뿐만 아니라 지속적으로 개선된다는 것을 의미합니다. 사용자 만족도를 강조하는 이러한 접근 방식은 워크로드가 장기적으로 관련성과 성공을 유지하도록 보장합니다.
Power Platform 간편 사용
Power Platform은 Application Insights와 통합되며, 이는 Azure Monitor 에코시스템의 일부입니다. Azure Monitor는 리소스를 모니터링하고 성능 목표를 측정하기 위한 완전한 기능 세트를 제공하는 전체 스택 모니터링 서비스입니다. Azure Monitor는 플랫폼 메트릭을 수집하고 즉시 사용 가능한 대시보드를 제공합니다. 이를 통해 메트릭을 기반으로 경고를 구성하고 메트릭을 저장하고 상호 연관시켜 단일 진실 소스를 보장할 수 있습니다. 표준 원격 분석 및 사용자 지정 추적 이벤트를 기록하고 분석하는 방법에 대한 자세한 내용은 Application Insights를 사용하여 시스템 생성 로그 분석을 참조하세요.
Power Platform은 서비스 보호 제한을 적용하여 일관된 가용성과 성능을 보장합니다. 이러한 제한은 일반적으로 정상적인 사용 중에 워크로드에 이 제한이 발생하지 않을 만큼 충분히 높습니다. 그러나 워크로드가 대규모 데이터 볼륨, 대량 작업 또는 데이터 마이그레이션을 처리하는 경우 문제가 발생할 수 있습니다. 워크로드 개발자라면 서비스 보호 제한이 어떻게 적용되고 이를 초과할 가능성을 줄이기 위해 워크로드를 설계하는 방법을 알아야 합니다. 또한 제한이 발생할 경우 이를 처리하는 방법도 계획해야 합니다. 자세한 내용은 다음을 참조하세요.
Copilot Studio는 에이전트의 핵심 성과 지표를 파악하는 포괄적인 분석 기능을 갖추고 있습니다. 여러 차트는 에이전트 토픽의 트렌드와 사용 현황을 보여줍니다. 이 차트는 AI를 사용하여 에이전트 성능에 가장 큰 영향을 미치는 토픽을 강조 표시합니다. 또한, 기존 분석에서는 다루지 않는 보고서를 만들기 위해 사용자 지정 분석 전략을 설계할 수도 있습니다.
성능 효율성 체크리스트
전체 권장 사항 세트를 참조하세요.