Dynamics 365 Customer Insights - Journeys의 A/B 테스트

Customer Insights - Journeys는 강력한 A/B 테스트를 사용하여 트리거 기반 고객 여정을 검사하여 고객에게 가장 잘 도달하는 방법에 대한 인사이트를 얻을 수 있습니다.

A/B 테스트를 사용하면 더 높은 성공으로 이어지는 채널 또는 콘텐츠 메시징 전략을 측정할 수 있습니다. 각 테스트는 사용자 제어 그룹(버전 A)을 변형(버전 B)과 비교합니다. 제어 그룹은 기본 환경을 받습니다. 변형 그룹은 다른 환경 또는 메시지를 받습니다. 그룹의 결과를 비교하여 가장 효과적인 그룹을 결정할 수 있습니다.

A/B 테스트가 효과적이려면 상당한 규모의 대상이 필요합니다. 잠재고객이 1,000명 미만인 상태에서 테스트를 실행하면 변형의 분포가 동일하지 않은 등의 예기치 않은 결과가 발생할 수 있습니다. 매우 작은 그룹에 대한 테스트를 실행하면 거의 항상 불균형한 분포가 생성됩니다. 예를 들어 잠재고객의 회원이 10명뿐인 경우 한 명은 대안 A로 이동하고 9명은 대안 B로 이동할 수 있습니다. 이는 대상 그룹 크기가 너무 작아서 통계 모델에 필요한 분포에 도달하기에 충분한 데이터가 없을 때 예상되는 동작입니다.

예 1: 트리거 기반 여정에 대한 A/B 테스트 만들기

누군가 구매를 완료할 때 활성화되는 트리거 기반 여정에서 두 개의 서로 다른 이메일을 테스트한다고 상상해 보십시오.

1. 평소와 같이 이메일 편집기에서 초기 콘텐츠를 만듭니다. 콘텐츠를 완성하고 오류가 있는지 확인하여 라이브로 전환할 수 있는지 확인합니다.
2. 콘텐츠가 준비되면 Customer Insights - Journeys>참여>여정로 이동하여 기존 여정을 선택하거나 새 여정을 만듭니다.
3. 여정을 선택한 후 더하기 기호(+)를 선택하여 요소를 추가한 후 다음 단계를 수행합니다.
   • Select 어떤 변형이 더 잘 수행할지 테스트를 선택합니다.

• 테스트할 채널을 선택합니다. 이 예에서는 두 개의 이메일을 테스트하려고 합니다. 하나는 버전 A용으로, 다른 하나는 버전 B용으로 선택한 다음 테스트 만들기를 선택합니다.

1. A/B 테스트 타일을 선택하면 측면 창이 열립니다.

   

   창에는 다음 매개 변수가 들어 있습니다.

• 표시 이름: 테스트를 식별하기 위한 이름을 입력합니다. 이 이름은 실행 중인 테스트를 확인할 때 A/B 테스트 패널과 고객 여정 분석에 표시됩니다.
• 버전: 1단계에서 준비한 채널(이 경우 테스트하려는 두 개의 이메일)의 콘텐츠를 선택합니다. 여정 빌더에서 자식 타일을 선택하거나 측면 패널에서 선택하여 드롭다운 목록을 통해 이 작업을 수행할 수 있습니다.
• 초기 대상 그룹: 결과를 얻기 전에 A/B 테스트에서 보류할 대상 그룹입니다. 이 옵션은 보류할 고객 수를 결정하는 데 도움이 되는 총 고객 수가 이미 있으므로 세그먼트 기반 여정에만 사용할 수 있습니다. 트리거 기반 여정에는 고객이 작업을 완료할 때 입력하므로 이 옵션이 없습니다. 따라서 여정에 들어가는 총 고객 수는 알 수 없습니다.
• 실험 배포: 원하는 대상 그룹 배포를 선택합니다. 슬라이더는 자동으로 50-50에 있지만 슬라이더를 원하는 배포로 설정할 수 있습니다. 버전이 받을 수 있는 최소값은 10퍼센트, 최대값은 90퍼센트입니다. 전통적으로 버전 A는 제어 그룹이며 버전 B는 변형이라는 것을 기억하십시오.
• 가장 좋은 지표: 가장 많은 여정 목표 이벤트 적중, 가장 많은 클릭 또는 가장 많은 열기가 있는 버전과 같은 가장 좋은 지표를 선택하여 테스트의 최우선 조건을 설정합니다. 이 경우 열어본 비율을 증가시켜 해당 열어본 비율을 선택하려고 합니다.
• 테스트 종료: 테스트를 자동으로 종료할지 또는 특정 날짜 및 시간에 종료할지 선택합니다. 테스트에서 승자를 결정하도록 하는 것은 결과가 통계적 유의성에 도달할 때 자동으로 발생합니다. 즉, 확실한 승자가 결정되면 시스템은 나머지 청중에게 우승 버전을 보냅니다. 패배한 버전은 폐기됩니다. A/B 테스트 종료 옵션으로 통계적 유의성을 선택했지만 30일 후에 확실한 승자가 없으면 시스템에서 자동으로 기본 버전을 보냅니다. 테스트를 일찍 종료하면 대조군을 해제하는 데 최대 4시간이 걸릴 수 있습니다.
• 기본 버전: 마지막으로 테스트가 성공적으로 종료되지 않을 경우를 대비하여 기본 버전을 선택합니다. 날짜 및 시간을 통해 지정된 마감일까지 승자가 결정되지 않으면 기본 버전이 자동으로 전송됩니다.

1. A/B 테스트는 모든 것을 구성하고 여정을 게시할 준비가 되면 다음과 같아야 합니다.

   

예 2: 세그먼트 기반 여정에 대한 A/B 테스트 만들기

이번 달에 로열티 프로그램에 가입한 신규 회원을 환영하는 여정을 만들고 싶다고 상상해 보십시오. 두 가지 다른 제목을 테스트하여 열어본 비율을 높이고 싶습니다.

첫 번째 예에 설명된 1~3단계를 완료하지만 측면 창이 다르게 보이는 것을 알 수 있습니다. 세그먼트 기반 여정을 사용하면 시작할 총 고객 수가 있기 때문입니다. 이를 통해 두 가지 유형의 A/B 테스트를 만들 수 있습니다.

1. 대조군이 없는 A/B 테스트: 이 A/B 테스트는 승자가 결정될 때까지 고객이 테스트를 통해 유입되는 트리거 기반 여정과 유사하게 작동합니다.

   

2. 대조군을 사용한 A/B 테스트: 이를 통해 테스트하려는 고객 수를 시스템에 정확히 알릴 수 있습니다. 예를 들어 세그먼트에 충성도 회원이 100명인 경우 먼저 각 버전에 10명의 회원이 있는 20% 또는 20명의 회원을 대상으로 테스트할 수 있습니다. A/B 테스트 후 나머지 80명의 멤버는 우승 버전을 받습니다. 언제든지 초기 대상 그룹과 분포를 원하는 대로 조정할 수 있습니다.

   

이 예에서는 대조군과 함께 A/B 테스트를 사용합니다. 다른 모든 설정은 예제 1과 동일합니다.

A/B 테스트의 수명 주기 모니터링

여정을 게시한 후 여정을 열어 테스트의 수명 주기를 추적할 수 있습니다.

• 초안: 이러한 테스트는 아직 실행되지 않았기 때문에 설정을 편집할 수 있습니다.
• 진행 중: 이러한 테스트는 현재 실행 중입니다. 설정은 잠겨 있으며 크게 변경할 수 없습니다.
• 중지됨: 이러한 테스트는 중지되며 마케터는 보낼 버전을 선택할 수 있습니다.
• 종료됨: 이 테스트는 통계적으로 유의미한 승자를 찾거나 정해진 날짜와 시간에 종료되도록 예정된 시간을 초과하여 완료되었습니다. 종료된 테스트는 재사용할 수 없습니다.

결과 이해

가능한 A/B 테스트 결과에는 세 가지가 있습니다.

• 테스트가 명확한 승자로 결론: 이 테스트에서는 한 버전이 다른 버전보다 성능이 우수하다는 결론을 내렸습니다. 우승 버전은 "승자" 배지를 가지고 있으며 여정을 통해 유입되는 모든 신규 고객에게 배포됩니다.
• 테스트가 결정적이지 않음: 테스트는 받는 사람이 버전 B와 마찬가지로 버전 A에 참여할 가능성이 있다고 결론을 내렸습니다. 이 경우 기본 버전은 여정을 통해 유입되는 모든 신규 고객에게 전송됩니다.
• 테스트 중단됨: 이것은 귀하 또는 동료 중 한 명이 테스트를 중단했다는 것을 의미합니다. 이 경우 사용자 또는 동료가 지정한 버전이 여정을 통해 유입되는 모든 신규 고객에게 전송됩니다.

자주 묻는 질문

1. 2개 이상의 버전으로 A/B 테스트를 할 수 있나요?
   • 아니요, 현재로서는 불가능합니다.
2. 세그먼트 기반 여정에 대한 통제 그룹 옵션이 표시되지 않는 이유는 무엇입니까?
   • 세그먼트의 총 수를 변경하는 특성 분기 또는 타일을 배치하면 시스템이 테스트가 완료될 때까지 얼마나 많은 고객을 보류해야 하는지 모르기 때문에 제어 그룹 옵션이 사라집니다.
3. 테스트가 예기치 않게 종료되는 이유는 무엇입니까?
   • 통계적 유의성으로 테스트를 종료하도록 선택하면 시스템은 여정을 게시한 후 처음 30일 이내에 승자를 얻으려고 시도합니다. 승자로 선언된 버전이 없으면 테스트가 종료되고 기본 버전이 나머지 대상 그룹으로 전송됩니다.