다음을 통해 공유

A/B 테스트로 앱 실험 실행하기

  • 아티클

파트너 센터를 사용하여 UWP(유니버설 Windows 플랫폼) 앱에서 런타임 시 검색할 수 있는 원격 변수를 정의할 수 있고, 이러한 값의 변형을 테스트하여 원하는 사용자 동작을 유도하는 데 가장 효과적인 값을 확인할 수 있습니다. 앱은 원격 변수를 사용하여 앱 내 구매, 등록 흐름, 캡션 및 광고 배치와 같은 앱 환경을 구성할 수 있습니다.

A/B 테스트의 목표는 더 매력적인 앱 환경을 제공하여 향상된 전환율(예: 더 많은 앱 내 구매)을 얻을 수 있는 원격 변수 값의 변형을 식별하는 것입니다. 성공적인 변형을 식별한 후 즉시 실험을 종료하고, 앱을 다시 게시할 필요 없이 파트너 센터에서 전체 사용자 대상 그룹에 대해 해당 변형을 사용하도록 설정할 수 있습니다.

A/B 테스트 만들기 및 실행

A/B 테스트를 만들고 실행하려면 다음 단계를 수행합니다.

  1. 파트너 센터에서 프로젝트를 만들고 원격 변수를 정의합니다. 이 프로젝트에는 실험에 대한 변수 및 기본 변수 값이 포함됩니다.
  2. 실험을 위해 앱을 코딩합니다. Microsoft Store Services SDK의 API를 사용하여 파트너 센터에서 만든 프로젝트에서 원격 변수 값을 가져오고, 이 데이터를 사용하여 테스트할 기능의 동작을 수정하고, 파트너 센터에 보기 이벤트 및 전환 이벤트를 전송합니다.
  3. 파트너 센터에서 실험을 정의하세요. 프로젝트에서 A/B 테스트의 고유한 목표와 변형을 정의하는 실험을 만듭니다.
  4. 파트너 센터 대시보드에서 실험을 실행하고 관리합니다. 실험을 활성화하고 파트너 센터를 사용하여 실험의 결과를 검토하고 실험을 완료합니다.

엔드투엔드 프로세스를 보여 주는 연습은 A/B 테스트를 사용하여 첫 번째 실험 만들기 및 실행을 참조하세요.

요구 사항

파트너 센터의 A/B 테스트는 UWP 앱에 대해서만 지원됩니다.

A/B 테스트로 실험을 실행하려면 먼저 개발 컴퓨터를 설정해야 합니다.

  • UWP 개발을 위해 개발 컴퓨터를 설정하려면 여기에 있는 지침을 따르세요.
  • Microsoft Store Services SDK를 설치합니다. 실험용 API 외에도 이 SDK는 광고를 표시하고 고객을 피드백 허브로 보내 앱에 대한 피드백을 수집하는 등의 다른 기능에 대한 API도 제공합니다.

모범 사례

가장 유용한 결과를 얻으려면 A/B 테스트로 실험을 실행할 때 다음 권장 사항을 따르는 것이 좋습니다.

  • 변형 할당에 대해 무작위 50/50 분할 분포가 있는 두 가지 변형으로만 실험을 실행하는 것이 좋습니다.
  • 적어도 2~4주 동안 실험을 실행하여 통계적으로 중요하고 실행 가능한 충분한 데이터를 수집합니다.

용어 정의
프로젝트 Microsoft Store Services SDK를 사용하여 앱에서 액세스할 수 있는 기본값이 있는 원격 변수 컬렉션입니다. 프로젝트에는 동일한 원격 변수를 공유하는 하나 이상의 실험이 선택적으로 포함될 수도 있습니다.
실험 사용자가 받을 A/B 테스트를 정의하는 매개 변수 집합입니다. 실험은 프로젝트의 범위에서 정의되며 각 실험은 다음으로 구성됩니다.

  • 사용자가 실험의 일부인 변형을 보기 시작할 때를 나타내는 보기 이벤트입니다.
  • 목표에 도달한 시기를 나타내는 변환 이벤트가 있는 하나 이상의 목표입니다.
  • 실험에서 사용하는 변수 데이터를 정의하는 하나 이상의 변형입니다. 컨트롤 변형은 실험에 대한 프로젝트에 정의된 기본 변수 값을 사용합니다. 일반적으로 실험에는 컨트롤 변형 외에도 실험에 고유한 변수 값이 있는 하나 이상의 추가 변형이 있습니다.
프로젝트 ID 파트너 센터 계정의 프로젝트와 앱을 연결하는 고유 ID입니다. 변형 데이터를 받고 보기 및 전환 이벤트를 파트너 센터에 보고하기 위해 앱 코드에서 이 ID를 사용하여 A/B 테스트 서비스와 연결해야 합니다. 자세한 내용은 실험에 대한 앱 코딩을 참조하세요.

각 프로젝트와 프로젝트의 모든 실험은 정확히 하나의 프로젝트 ID와 연결됩니다. 프로젝트 ID를 사용하여 다양한 실험 집합을 구분할 수 있습니다. 예를 들어 조직의 테스터에게 릴리스하는 실험 집합 하나와 앱의 외부 사용자에게만 릴리스하는 다른 실험 집합이 있을 수 있습니다. 앱은 여러 실험을 구현하는 경우 여러 프로젝트 ID를 참조할 수 있습니다.
변형 실험에서 테스트하는 하나 이상의 변수 컬렉션입니다. 모든 실험에는 하나 이상의 변수와 두 개의 변형(컨트롤 포함)이 있어야 합니다. 실험에는 최대 5개의 변형이 있을 수 있습니다.
변수 앱에서 속성 또는 다른 값을 초기화하는 데 사용하는 값입니다. 실험 중에 변수 값이 변형별로 달라집니다. 실험을 종료하면 변수에 릴리스를 선택하는 변형의 값이 앱의 모든 사용자에게 할당됩니다. 변수에는 문자열, 부울, double 및 정수 형식이 있을 수 있습니다.
보기 이벤트 사용자가 실험의 일부인 변형을 보기 시작할 때 활동을 나타내는 임의의 문자열입니다. 일반적으로 코드에서 이벤트의 이름입니다. 앱 코드는 사용자가 변형을 보기 시작할 때 파트너 센터에 이 보기 이벤트 문자열을 전송합니다. 자세한 내용은 실험에 대한 앱 코딩을 참조하세요.
변환 이벤트 실험 목표에 대한 목표를 나타내는 임의의 문자열입니다. 일반적으로 코드에서 이벤트의 이름입니다. 앱 코드는 사용자가 목표에 도달할 때 파트너 센터에 이 전환 이벤트 문자열을 전송합니다. 자세한 내용은 실험에 대한 앱 코딩을 참조하세요.