지능형 애플리케이션 워크로드를 위한 성능 최적화

아티클
01/15/2025

성능 효율성은 사용자의 요구 사항을 충족하기 위해 워크로드의 크기를 효율적으로 조정할 수 있는 기능입니다. 지능형 애플리케이션 워크로드의 성능을 모니터링하는 것은 효과적이고 효율적으로 작동하도록 하는 데 매우 중요합니다.

워크로드 팀은 주요 성능 메트릭을 설정하고, 시스템 성능을 정기적으로 검토하고, 문제를 즉시 진단해야 합니다. 효과적인 모니터링 및 진단 절차는 시스템 신뢰성과 사용자 만족도를 유지하는 데 도움이 됩니다.

성능 목표 정의

주요 성과 메트릭을 식별하려면 워크로드 성능 목표 달성을 위한 진행 상황을 추적하는 필수 측정값을 결정해야 합니다. 이러한 메트릭은 성능 효율성을 측정하고 개선할 수 있는 정량화 가능한 방법을 제공합니다.

집중해야 할 주요 메트릭을 식별할 때 용량, 응답 시간, 편향률, 참여 및 결과와 관련된 메트릭을 고려합니다.

용량: 처리량 및 동시성은 샘플 용량 메트릭입니다. 처리량은 주어진 기간 내에 특정 수의 트랜잭션을 처리하는 능력을 나타냅니다. 예를 들어, 에이전트는 한 달에 200,000개의 채팅 세션을 처리할 수 있습니다. 또한 계절적 변동과 동시 대화의 예상 최대 피크를 고려합니다. 동시성은 동시 사용자 또는 작업의 척도입니다. 예를 들어, 에이전트는 성수기 동안 최대 5,000개의 동시 채팅을 처리할 수 있습니다. 타겟 볼륨을 이해하면 타겟 아키텍처와 규모를 검증하는 데 도움이 됩니다.
응답 시간: 지연 시간과 로드 시간은 일반적인 응답 시간 메트릭입니다. 지연 시간은 요청에 응답하는 데 걸리는 시간(200밀리초)입니다. 로드 시간은 에이전트가 활성화되고 첫 번째 메시지에 응답하는 데 걸리는 시간입니다. 에이전트가 쿼리에 응답하는 데 예상되는 최대 대기 시간을 이해하고 장기 실행 작업(예: 외부 시스템이 데이터를 반환할 때까지 대기)을 처리하기 위한 접근 방식을 정의합니다.
편향률: 대화형 AI의 컨텍스트에서 편향은 고객 지원 담당자가 처리해야 할 요청 중 셀프 서비스 방식으로 완료된 요청의 비율을 나타내는 지표입니다. 즉, 자동화로 인해 팀이 더 이상 처리할 필요가 없는 작업의 수를 나타냅니다. 에이전트 편향률을 최적화하는 것은 투자 수익률(ROI)과 고객 만족도(CSAT)부터 에이전트의 전반적인 성과 개선까지, 기업이 사업 목표를 달성하기 위해 주력하는 가장 중요한 분야 중 하나입니다. Microsoft Copilot Studio는 해결률, 에스컬레이션 비율 및 CSAT와 같은 주요 지표를 포함하여 에이전트의 성능에 대한 개요를 제공합니다.
참여 및 결과: 대화 참여와 결과를 추적하는 것은 에이전트 성과 지표를 측정하고 개선 영역을 파악하는 데 중요합니다. 에이전트 참여 측정 및 에이전트 결과 측정에서 자세히 알아보세요.

성과 계획

워크로드의 리소스에는 성능 제한이 있습니다. 각 서비스 내의 기능에는 성능 제한이 적용됩니다. 워크로드에서 리소스의 제한 사항을 이해하고 이러한 제한 사항을 설계 결정에 반영해야 합니다. 예를 들어, 리소스 제한으로 인해 설계 접근 방식을 변경해야 하는지 아니면 리소스를 모두 변경해야 하는지 알아야 합니다.

목표 볼륨을 이해합니다. 목표 볼륨은 대상 아키텍처 및 확장, 에이전트의 라이선싱 측면, 대화 기록의 Dataverse 스토리지에 대한 잠재적 영향을 검증하는 데 도움이 됩니다.
플랫폼 제한을 이해합니다. 예를 들어 Power Automate 또는 HTTP 요청을 통해 지능형 애플리케이션 워크로드를 외부 시스템과 통합하는 경우 모든 구성 요소가 부하를 처리할 수 있는지 확인하는 것이 중요합니다.
병목 현상 식별. 처리량 및 응답 시간을 측정하여 워크로드가 증가함에 따라 문제가 될 수 있는 시스템 구성 요소를 식별합니다. 재작업 및 근본 원인 분석과 같은 프로세스 마이닝 분석 기능을 사용하여 엔드 투 엔드 프로세스의 병목 현상을 식별합니다.

자세히 알아보기: 성능 계획을 위한 권장 사항

성능 모니터링

성능 최적화에는 성능 목표에 대한 워크로드 또는 흐름의 현재 성능을 측정하는 데이터가 필요합니다. 설정된 성능 목표에 대한 코드 및 인프라의 성능을 정확하게 측정할 수 있도록 충분한 양과 다양한 데이터를 수집합니다. 워크로드 내의 모든 구성 요소와 흐름이 지속적이고 의미 있는 지표와 로그를 자동으로 생성하는지 확인하세요.

지능형 애플리케이션 워크로드의 성능을 면밀히 모니터링하여 최고의 효과와 효율성으로 작동하는지 확인합니다.

Copilot Studio는 에이전트의 사용량과 핵심 성과 지표를 이해하는 데 도움이 되는 포괄적이고 기본 분석을 제공합니다.

다음과 관련된 보고서를 볼 수 있습니다.

성능 및 사용량
고객 만족도
세션 정보
토픽 사용량
청구된 세션

Copilot Studio 내의 기본 분석 기능 외에도 원격 분석 데이터를 Application Insights로 보낼 수 있습니다. Application Insights를 사용하여 원격 측정 데이터 수집에서 자세히 알아보세요. Azure Monitor, Log Analytics, Application Insights 및 경고와 같은 도구를 사용하여 성능을 지속적으로 모니터링하고 변칙을 감지합니다.

참여율, 해결률, 편향률과 같은 지능형 애플리케이션 워크로드의 성공을 측정하기 위해 모니터링하려는 KPI(핵심 성과 지표)를 정의합니다. 먼저 기본 대시보드를 검토하여 사용 가능한 데이터를 이해합니다. 그런 다음 사용자 지정 보고서를 만드는 것이 특정 요구 사항을 더 잘 충족하는지 결정합니다.

자세히 보기:

지속적인 성능 최적화

사전 예방적 성능 최적화에는 문제가 발생하기 전에 워크로드의 성능을 개선하고 향상시키기 위한 조치를 구현하는 작업이 포함됩니다. 사전 예방적 조치에는 잠재적인 병목 현상 식별, 성능 메트릭 모니터링, 최적화 구현이 포함되어 워크로드가 효율적으로 실행되고 성능 목표를 충족하도록 합니다.

지능형 애플리케이션 워크로드를 지속적으로 개선하려면 에이전트의 성능에 대한 정기적인 검토를 예약합니다.

성과 지표	정의
해결률	고객 서비스 담당자에게 에스컬레이션할 필요 없이 에이전트에 의해 성공적으로 해결된 사용자 요청의 비율입니다.
참여 비율	총 참여 세션의 비율입니다. 세션은 사용자가 비시스템 토픽 트리거, 세션 에스컬레이션 또는 대체 토픽 호출과 같은 의미 있는 방식으로 에이전트와 상호 작용할 때 참여한 것으로 간주됩니다.
중단 비율	해결 또는 에스컬레이션에 도달하지 않고 종료되는 참여 세션의 비율입니다. 기본적으로 문제가 해결되거나 담당자에게 에스컬레이션되기 전에 사용자가 에이전트를 떠나거나 상호 작용을 중단하는 빈도를 측정합니다.
에스컬레이션 비율	담당자에게 에스컬레이션된 참여 세션의 비율입니다. 이 메트릭은 에이전트가 사용자 쿼리를 자체적으로 해결할 수 없고 사람의 개입이 필요한 빈도를 이해하는 데 중요합니다.
인식할 수 없는 발화	에이전트의 자연어 이해(NLU) 모델이 사용자 입력을 미리 정의된 의도 또는 항목과 일치시킬 수 없는 경우에 발생합니다. 시스템은 제공된 입력에 따라 사용자의 의도를 확인할 수 없습니다.
CSAT	고객 만족도.
해결률이 낮은 토픽	사용자 쿼리를 효과적으로 해결하지 못하는 경우가 많은 대화 항목을 나타냅니다. 이러한 주제는 종종 사용자 불만족, 이탈 또는 담당자로의 에스컬레이션으로 이어집니다.

이 검토는 에이전트 업데이트 백로그의 우선 순위를 지정하는 데 도움이 됩니다. 예를 들어 인식할 수 없는 발화가 고객 서비스 담당자에게 자주 에스컬레이션되는 경우 편향을 개선할 수 있는 기회를 잡으십시오. 대체 발화 및 인식할 수 없는 발화를 트리거하는 사용자 패턴을 분석하고, 기존 토픽을 학습시키거나 새 토픽을 만들어 에이전트가 사용자 요구 사항을 더 잘 해결할 수 있도록 합니다.