Dynamics 365 Customer Insights - Journeys의 A/B 테스트

Customer Insights - Journeys는 강력한 A/B 테스트를 사용하여 트리거 기반 고객 여정을 검사하므로 고객에게 가장 잘 연락할 수 있는 방법에 대한 인사이트를 얻을 수 있습니다.

A/B 테스트를 사용하면 더 높은 성공으로 이어지는 채널 또는 콘텐츠 메시징 전략을 측정할 수 있습니다. 각 테스트는 사용자 제어 그룹(버전 A)을 변형(버전 B)과 비교합니다. 제어 그룹은 기본 환경을 받습니다. 변형 그룹은 다른 환경 또는 메시지를 받습니다. 그룹의 결과를 비교하여 가장 효과적인 그룹을 결정할 수 있습니다.

예 1: 트리거 기반 여정에 대한 A/B 테스트 만들기

누군가 구매를 완료하면 활성화되는 트리거 기반 여정에서 두 개의 서로 다른 이메일을 테스트한다고 상상해 봅시다.

1. 평소와 같이 이메일 편집기에서 초기 콘텐츠를 만듭니다. 콘텐츠를 완성하고 오류가 있는지 확인하여 게시할 수 있는지 확인하십시오.

2. 콘텐츠가 준비되면 Customer Insights - Journeys>참여>여정로 이동하여 기존 여정을 선택하거나 새 여정을 만듭니다.

3. 여정을 선택한 후 요소를 추가할 플러스 기호(+)를 선택한 후 다음을 수행합니다.

   • Select 어떤 변형이 더 잘 수행할지 테스트를 선택합니다.
   • 테스트할 채널을 선택합니다. 이 예에서는 두 개의 이메일을 테스트하려고 합니다. 하나는 버전 A용으로, 다른 하나는 버전 B용으로 선택한 다음 테스트 만들기를 선택합니다.

4. A/B 테스트 타일을 선택하면 측면 창이 열립니다.

   

   창에는 다음 매개 변수가 들어 있습니다.

   • 표시 이름: 테스트를 식별하기 위한 이름을 입력합니다. 이 이름은 실행 중인 테스트를 볼 때 A/B 테스트 패널과 고객 여정 분석에 표시됩니다.
   • 버전: 1단계에서 준비한 채널의 콘텐츠를 선택합니다(이 경우 테스트하려는 두 개의 이메일). 여정 빌더에서 자식 타일을 선택하거나 측면 패널에서 선택하여 드롭다운 목록을 통해 이 작업을 수행할 수 있습니다.
   • 초기 대상 그룹: 결과를 얻기 전에 A/B 테스트에서 보류하고 싶은 대상 그룹입니다. 보류할 고객 수를 결정하는 데 도움이 되는 총 고객 수가 이미 있으므로 이 옵션은 세그먼트 기반 여정에만 사용할 수 있습니다. 트리거 기반 여정에는 고객이 작업을 완료할 때 입력하므로 이 옵션이 없습니다. 따라서 여정에 들어가는 총 고객 수는 알 수 없습니다.
   • 실험 배포: 원하는 대상 그룹 배포를 선택하십시오. 슬라이더는 자동으로 50-50에 있지만 슬라이더를 원하는 배포로 설정할 수 있습니다. 버전이 받을 수 있는 최소값은 10퍼센트, 최대값은 90퍼센트입니다. 전통적으로 버전 A는 제어 그룹이며 버전 B는 변형이라는 것을 기억하십시오.
   • 승리 메트릭: 가장 많은 여정 목표 이벤트가 발생한 버전, 가장 많은 클릭 또는 가장 많이 열어본 버전을 선택하여 테스트의 성공 조건을 설정할 수 있습니다. 이 경우 열어본 비율을 증가시켜 해당 열어본 비율을 선택하려고 합니다.
   • 이 테스트 종료: 또한 테스트를 자동으로 종료하거나 특정 날짜 및 시간에 종료할지 선택할 수 있습니다. 결과가 통계적 유의성에 도달하면 테스트에서 자동으로 승자를 결정하도록 합니다. 즉, 확실한 승자가 결정되면 시스템은 나머지 대상 그룹에게 승리 버전을 보냅니다. 패배한 버전은 폐기됩니다. A/B 테스트 종료 옵션으로 통계적 유의성을 선택했지만 30일 후에 확실한 승자가 없으면 시스템에서 자동으로 기본 버전을 보냅니다.
   • 기본 버전: 마지막으로 테스트가 성공적으로 종료되지 않을 경우를 대비하여 기본 버전을 선택합니다. 날짜와 시간을 통해 지정된 마감일까지 당첨자가 결정되지 않은 경우 기본 버전이 자동으로 전송됩니다.

5. 모든 것을 구성하고 여정을 게시할 준비가 되면 A/B 테스트는 다음과 같아야 합니다.

   

예 2: 세그먼트 기반 여정에 대한 A/B 테스트 만들기

이번 달 로열티 프로그램에 가입한 신규 회원을 환영하는 여정을 만들고 싶다고 상상해 보세요. 두 가지 다른 제목을 테스트하여 열어본 비율을 높이고 싶습니다.

첫 번째 예에 설명된 1~3단계를 완료하지만 측면 창이 다르게 보이는 것을 알 수 있습니다. 세그먼트 기반 여정을 사용하면 시작할 총 고객 수가 있기 때문입니다. 이를 통해 두 가지 유형의 A/B 테스트를 만들 수 있습니다.

1. 통제 그룹이 없는 A/B 테스트: 이 A/B 테스트는 고객이 승자가 결정될 때까지 테스트를 통과하는 트리거 기반 여정과 유사하게 작동합니다.

   

2. 통제 그룹을 사용한 A/B 테스트: 테스트할 고객 수를 시스템에 정확하게 알릴 수 있습니다. 예를 들어 세그먼트에 100명의 충성도 회원이 있는 경우 각 버전이 각각 10명의 회원을 받는 20% 또는 20명의 회원을 먼저 테스트하려고 합니다. A/B 테스트 후 나머지 80명의 멤버는 승리 버전을 받게 됩니다. 언제든지 초기 대상 그룹과 분포를 원하는 대로 조정할 수 있습니다.

   

이 예에서는 통제 그룹과 함께 A/B 테스트를 진행합니다. 다른 모든 설정은 예제 1과 동일합니다.

A/B 테스트의 수명 주기 모니터링

여정을 게시한 후 여정을 열어 테스트의 수명 주기를 추적할 수 있습니다.

• 초안: 이러한 테스트는 아직 실행되지 않았기 때문에 설정을 편집할 수 있습니다.
• 진행 중: 이러한 테스트는 현재 실행 중입니다. 설정이 잠겨 있으며 크게 변경할 수 없습니다.
• 중지됨: 이러한 테스트가 중지되고 마케터는 보낼 버전을 선택할 수 있습니다.
• 종료됨: 이 테스트는 통계적으로 유의미한 승자를 찾거나 정해진 날짜와 시간에 종료되도록 예정된 시간을 초과하여 완료되었습니다. 종료된 테스트는 재사용할 수 없습니다.

결과 이해

가능한 A/B 테스트 결과에는 세 가지가 있습니다.

• 테스트가 명확한 승자로 결론: 이 테스트에서는 한 버전이 다른 버전보다 성능이 우수하다는 결론을 내렸습니다. 우승 버전은 "승자" 배지를 가지고 있으며 여정을 통해 유입되는 모든 신규 고객에게 배포됩니다.
• 테스트가 결정적이지 않음: 테스트는 받는 사람이 버전 B와 마찬가지로 버전 A에 참여할 가능성이 있다고 결론을 내렸습니다. 이 경우 기본 버전은 여정을 통해 유입되는 모든 신규 고객에게 전송됩니다.
• 테스트 중단됨: 이것은 귀하 또는 동료 중 한 명이 테스트를 중단했다는 것을 의미합니다. 이 경우 사용자 또는 동료가 지정한 버전이 여정을 통해 유입되는 모든 신규 고객에게 전송됩니다.

자주 묻는 질문

1. 2개 이상의 버전으로 A/B 테스트를 할 수 있나요?
   • 지금은 할 수 없습니다.
2. 세그먼트 기반 여정에 대한 통제 그룹 옵션이 표시되지 않는 이유는 무엇입니까?
   • 세그먼트의 총 수를 변경하는 특성 분기 또는 타일을 넣으면 테스트가 완료될 때까지 얼마나 많은 고객이 보류해야 하는지 시스템이 알 수 없기 때문에 제어 그룹 옵션이 사라집니다.
3. 테스트가 예기치 않게 종료되는 이유는 무엇입니까?
   • 통계적으로 유의미한 테스트를 종료하도록 선택한 경우 시스템은 여정을 게시한 후 처음 30일 이내에 승자를 뽑으려고 합니다. 승자로 선언된 버전이 없으면 테스트가 종료되고 기본 버전이 나머지 대상 그룹으로 전송됩니다.