토픽 에스컬레이션 분석
에스컬레이션은 에이전트가 대화를 처리할 수 없어 인간 담당자에게 에스컬레이션되는 대화 흐름입니다. 에이전트가 인간 담당자에게 에스컬레이션하지 않고도 사용자 쿼리에 응답할 수 있으면 편향이 발생합니다. 이상적인 목표는 에스컬레이션 횟수를 줄여 에이전트 편향률을 높이는 것입니다.
Copilot Studio에는 에스컬레이션을 처리하는 여러 가지 방법이 있습니다.
- 인간 대리인에 대한 에스컬레이션을 시작하는 직접적인 방법은 에스컬레이션 시스템 항목을 사용하는 것입니다. 이 시스템 항목은 에이전트가 더 이상 고객 요청을 처리할 수 없고 담당자에게 에스컬레이션해야 할 때 트리거됩니다. 에스컬레이션 항목을 통해 에이전트가 실시간 담당자 전송을 위해 Dynamics 365 Customer Service용 옴니채널와 같은 대표 서비스 데스크 도구로 대화를 전송하거나 티켓 만들기, 콜백 예약 등과 같은 비동기 지원 환경으로 대화를 전송할 수 있습니다.
- 이 에스컬레이션을 트리거하는 또 다른 방법은 제작 캔버스의 대화 전송 노드를 통하는 것입니다.
에스컬레이션 유형
Copilot Studio에는 두 가지 유형의 에스컬레이션이 있습니다.
직접 에스컬레이션: 이 경우 사용자는 에이전트에 와서 인간 담당자와 직접 대화하기를 원합니다. 이러한 종류의 에스컬레이션은 고객의 의도가 에스컬레이션 항목을 직접 트리거하는 것이므로 피할 수 없습니다.
고객 문의의 예:
- "누군가와 대화할 수 있나요"
- "실시간 담당자와 대화해 줘"
- "담당자와 통화"
- "담당자와 대화"
간접 에스컬레이션: 이 경우 사용자는 대화 중에 담당자에게 에스컬레이션됩니다.
이는 예상된 대 예기치 않은 에스컬레이션으로 그룹화할 수 있습니다.
예상된 에스컬레이션은 대화 중 특정 시점에 토픽이 에스컬레이션되도록 설계되었거나 에이전트가 쿼리에 응답하지 않았기 때문에 사용자가 에스컬레이션을 선택하는 경우 발생하며, 예상치 못한 에스컬레이션은 에이전트가 다른 문제로 인해 오류가 발생한 경우 발생할 수 있습니다.
토픽 에스컬레이션 분석
1단계: 토픽 성과 모니터링 및 검토
에스컬레이션 비율 동인을 식별하고 최적화하는 것은 기본 제공 분석 또는 사용자 지정 분석을 통해 수행할 수 있습니다.
기본 제공 분석
에스컬레이션 또는 담당자로의 이전으로 이어진 모든 에이전트 세션은 주제 수준에서 처음부터 끝까지 캡처됩니다. 이 시나리오의 에스컬레이션 드라이버는 에이전트 항목입니다.
분석 대시보드에는 "에스컬레이션 속도 동인" 섹션이 있으며, 이 섹션은 대부분의 시간 동안 어떤 에이전트 주제가 인간 담당자에게 에스컬레이션되었는지에 대한 세부 정보와 그 이유에 대한 세부 정보를 제공합니다. 이 정보는 수치적 관점에서 사용할 수 있으며 채팅 대화록에서 파생됩니다.
예를 들어 다음 스크린샷에서 에스컬레이션율 요인 섹션 아래 반환, 교환… 토픽의 비율 값은 75%입니다. 즉, 반품, 교환… 토픽을 트리거한 모든 세션의 75%가 인간 담당자에게 에스컬레이션되었음을 의미합니다. 에이전트는 사용자의 문제를 해결하지 못했기 때문에 사용자가 반품에 관해 문의한 경우의 75%가 에이전트가 인간 담당자에게 에스컬레이션해야 했습니다. 이제 에이전트 작성자는 반품, 교환... 토픽을 개선하여 이 토픽을 통해 발생하는 에스컬레이션 수를 줄일 수 있습니다.
또한 차트는 영향을 빨간색 또는 파란색 막대로 표시합니다. 에스컬레이션 비율 영향 점수는 토픽에서 토픽을 제외한 전체 에스컬레이션 비율을 뺀 것을 포함한 전체 에스컬레이션 비율입니다. 요컨대, 영향은 이 토픽이 전체 에스컬레이션 비율에 기여하는 것을 이해하는 데 도움이 됩니다. 영향이 크다면 토픽에 집중해야 합니다. 토픽을 개선하면 에스컬레이션에 미치는 잠재적 영향도 개선되기 때문입니다.
빨간색 막대는 토픽의 에스컬레이션 비율이 평균 에스컬레이션 비율보다 크다는 것을 나타내므로 전체 에스컬레이션 비율에 부정적인 영향을 줍니다. 파란 막대는 에스컬레이션 비율이 더 작음을 나타내며 전체 에스컬레이션 비율 성과에 긍정적인 영향을 줍니다. 빨간색 토픽의 에스컬레이션 비율을 낮추는 것이 전체 에스컬레이션 비율을 개선하는 데 가장 큰 영향을 미칩니다(영향 점수는 숫자가 아니라 막대형 차트로 표시됨).
사용자 지정 분석
또한 대화 기록 데이터 위에 고유한 사용자 지정 분석을 구축할 수도 있습니다. 마이크로소프트는 상위 에스컬레이션 동인 토픽을 식별하고 비즈니스 및 컨텍스트에 특정한 사용자 지정 세부 정보를 추가하기 위해 재사용하거나 확장할 수 있는 샘플 템플릿 보고서를 제공합니다. 예를 들어 토픽당 에스컬레이션된 세션 수가 필요한 경우입니다.
2단계: 상위 에스컬레이션 토픽 선택
일반적인 지침은 편향률 최적화를 위해 에스컬레이션 비율 동인에서 상위 5~10개 토픽을 대상으로 시작하는 것입니다. 대략적으로 추정하면 상위 5개 토픽 각각에 대해 확대 비율을 10% 향상시키면 에이전트에 대한 전반적인 편향도 1% 향상될 수 있습니다.
3단계: 선택한 토픽에 대한 대화 검토
상위 에스컬레이션 토픽에 대한 대화 레코드를 분석하면 에스컬레이션 이유에 대한 더 많은 인사이트를 얻을 수 있습니다. 대화 내용 기록은 "사용자가 말하는" 및 "Copilot이 말하는"처럼 차례대로 대화를 캡처합니다. 또한 트리거된 토픽 이름과 세션 결과(예: 해결됨 에스컬레이션됨 등)를 캡처합니다.
이제 상위 에스컬레이션 토픽의 결과를 기반으로 이러한 세션을 필터링하고 몇 가지 샘플 대화를 검토하여 에스컬레이션의 원인을 확인할 수 있습니다. 이는 에스컬레이션을 일으키는 패턴을 식별하는 데 도움이 됩니다. 이 연습은 편향률을 계속 개선하고 에스컬레이션률을 줄이기 위해 주기적으로 반복할 수 있습니다.
다음은 채팅 내용을 분석하고 토픽 성능을 개선하기 위한 올바른 권장 사항을 제시하는 데 사용할 수 있는 단계별 지침입니다.
에스컬레이션을 줄이기 위해 개선할 상위 5개 토픽 중 하나를 선택하세요.
대화록을 필터링하고 에스컬레이션의 세션 결과별로 정렬합니다.
대화록의 가장 최근 샘플 세트(예: 10개 세션)를 선택합니다. 샘플 세트의 크기는 원하는 정확도에 따라 다릅니다. 빠른 분석을 위해 10개의 세션으로 시작할 수 있습니다.
각 세션을 읽고 해당 토픽 관련 대화에 대해 나타나는 다양한 반복 대화 경로를 식별합니다.
각 세션에 대해 식별된 대화 경로를 나열하고 대화 경로에 따라 그룹화합니다.
각 대화 경로 그룹에 대해 개선을 위한 권장 사항을 제시하십시오.
에이전트 토픽의 권장 사항을 구현하고 확대 비율 및 편향의 변화를 관찰합니다.
다음 섹션에서 설명하는 주문 상태 확인 토픽 예제에 위의 접근 방식을 적용하면 다음과 같습니다.
토픽 설명
주문 상태 확인은 사용자의 주문 및 배송 정보를 제공해야 합니다.
대화록에서 관찰
에스컬레이션으로 종료된 이 항목에 대한 여러 대화 기록을 검토한 후 에이전트가 설계된 대로 주문 정보를 제공했더라도 사용자를 담당자에게 에스컬레이션하도록 유도하는 여러 대화 경로가 나타납니다.
사용자가 배송 누락에 대해 문의할 때 에이전트가 주문 정보를 제공하는 대화 상자 경로 #1이 있을 수 있습니다. 에이전트가 현재 한 번에 하나의 주문에 대한 상태만 제공하는 동안 사용자가 여러 주문의 상태를 찾는 또 다른 대화 상자 경로 #2가 있을 수도 있습니다. 대화 경로 #1에 대한 권장 사항은 주문 누락 시나리오를 독점적으로 다루는 새 토픽을 추가하는 것일 수 있으며, 대화 경로 #2에 대한 권장 사항은 하나가 아닌 여러 주문에 대한 상태를 제공하도록 셀프 서비스 작업을 업데이트하는 것일 수 있습니다.
대화록 검토 요약
- 샘플 세트 크기: 다운로드한 대화 내용에서 에스컬레이션된 세션에 대한 샘플 대화를 분석합니다. 모두 올바른 토픽을 트리거했습니다. 모두 마지막에 에스컬레이션되었습니다.
- 예상 대화 상자 경로: OrderInfo 작업으로 이동하여 사용자에게 주문 상태를 제공합니다.
기록을 검토하여 식별된 새로운 대화 경로
- 대화 경로 1: OrderInfo는 주문 정보 적응형 카드로 응답하지만 사용자 쿼리는 누락된 패키지와 관련되므로 사용자가 에스컬레이션하기로 결정합니다(세션 10개 중 7개).
- 대화 경로 2: OrderInfo 작업이 "주문에 여러 배송이 포함되어 있습니다"라고 응답하지만 표시되지 않습니다. 모든 주문에 대한 배송 정보이므로 사용자가 에스컬레이션하기로 결정합니다(세션 10개 중 2개).
- 대화 경로 3: 기타(주문 번호 불일치), 사용자는 자신이 잘못된 주문 번호를 입력하고 있다는 사실을 몰랐기 때문에 에스컬레이션하기로 결정합니다(세션 10개 중 1개).
대화 경로 그룹에 대한 권장 사항
- 경로 1: 누락된 주문을 처리하기 위해 새 토픽을 추가합니다.
- 경로 2: OrderInfo 작업을 개선하여 여러 주문 배송 정보 제공을 지원합니다.
- 경로 3: OrderInfo 작업을 개선하여 주문 ID 형식을 확인하고 잘못된 주문 ID에 대한 오류 메시지를 제공합니다.
4단계: 선택한 토픽에 대해 목표 개선
대화록 검토 결과에 따라 이제 선택한 토픽에 대해 목표 개선을 할 수 있습니다.
주제 수준 에스컬레이션 비율을 줄이기 위해 적용할 수 있는 몇 가지 기술에는 사용자가 작업(예: 배송 상태 확인)을 위해 인간 담당자에게 의존할 필요가 없도록 셀프 서비스 기능을 추가하고, 인간 담당자에게 에스컬레이션할 필요 없이 사용자에게 올바른 주제가 제공되도록 트리거 성능을 개선(누락된 트리거 문구 추가 및 기존 트리거 문구 업데이트 포함)이 포함됩니다.