Executar experimentos de aplicativos com testes A/B
Você pode usar o Partner Center para definir variáveis remotas que podem ser recuperadas em tempo de execução de seus aplicativos UWP (Plataforma Universal do Windows) e pode testar variações desses valores com seus usuários para identificar os valores mais eficazes para impulsionar o comportamento desejado do usuário. Seu aplicativo pode usar variáveis remotas para configurar experiências de aplicativo, como compras no aplicativo, fluxo de inscrição, legendas e canais de anúncios.
O objetivo do seu teste A/B deve ser identificar uma variação dos valores de suas variáveis remotas que provavelmente gerará melhores taxas de conversão (por exemplo, mais compras no aplicativo), fornecendo uma experiência de aplicativo mais envolvente. Depois de identificar uma variação bem-sucedida, você pode encerrar imediatamente o experimento e habilitar essa variação para todo o público-alvo de usuários do Partner Center, sem precisar republicar seu aplicativo.
Criar e executar um teste A/B
Para criar e executar um teste A/B, siga estas etapas:
- Crie um projeto e defina variáveis remotas no Partner Center. Este projeto contém as variáveis e os valores de variáveis padrão para seus experimentos.
- Codifique seu aplicativo para experimentação. Use uma API no SDK de Serviços da Microsoft Store para obter valores de variáveis remotas do projeto que você criou no Partner Center, use esses dados para modificar o comportamento do recurso que você está testando e envie eventos de exibição e eventos de conversão para o Partner Center.
- Defina seu experimento no Partner Center . Crie um experimento em seu projeto que defina as metas e variações exclusivas para seu teste A/B.
- Execute e gerencie seu experimento no painel do Partner Center. Ative seu experimento e use o Partner Center para examinar os resultados do experimento e concluí-lo.
Para obter um passo a passo que demonstra o processo de ponta a ponta, consulte Criar e executar seu primeiro experimento com testes A/B.
Requisitos
O teste A/B no Partner Center tem suporte apenas para aplicativos UWP.
Antes de executar experimentos com testes A/B, você deve configurar seu computador de desenvolvimento:
- Siga as instruções aqui para configurar seu computador de desenvolvimento para desenvolvimento UWP.
- Instale o SDK de Serviços da Microsoft Store. Além da API para experimentos, esse SDK também fornece APIs para outros recursos, como exibir anúncios e direcionar seus clientes para o Hub de Feedback para coletar comentários sobre seu aplicativo.
Práticas recomendadas
Para obter os resultados mais úteis, recomendamos que você siga estas recomendações ao executar experimentos com testes A/B:
- Considere a execução de experimentos com apenas duas variações com uma distribuição dividida aleatória de 50/50 para atribuições de variação.
- Execute experimentos por pelo menos 2 a 4 semanas para coletar dados suficientes que sejam estatisticamente significativos e acionáveis.
Termos relacionados
| Termo | Definição |
|---|---|
| Project | Uma coleção de variáveis remotas com valores padrão que seu aplicativo pode acessar usando o SDK de Serviços da Microsoft Store. Opcionalmente, um projeto também pode conter um ou mais experimentos que compartilham as mesmas variáveis remotas. |
| Experimento | Um conjunto de parâmetros que definem um teste A/B que seus usuários receberão. Os experimentos são definidos no escopo de um projeto, e cada experimento consiste em:
|
| ID do projeto | Uma ID exclusiva que associa seu aplicativo a um projeto em sua conta do Partner Center. Você deve usar essa ID para se conectar ao serviço de teste A/B no código do aplicativo para receber dados de variação e relatar eventos de exibição e conversão para o Partner Center. Para obter mais informações, consulte Codificar seu aplicativo para experimentação. Cada projeto e todos os experimentos no projeto estão associados a exatamente uma ID de projeto. Você pode usar IDs de projeto para ajudar a diferenciar entre diferentes conjuntos de experimentos. Por exemplo, você pode ter um conjunto de experimentos que você libera para testadores em sua organização e outro conjunto de experimentos que você libera apenas para usuários externos de seu aplicativo. Um aplicativo pode fazer referência a várias IDs de projeto se implementar vários experimentos. |
| Variação | Uma coleção de uma ou mais variáveis que você está testando em seu experimento. Cada experimento deve ter pelo menos uma variável e duas variações (incluindo o controle). Um experimento pode ter até cinco variações. |
| Variável | Um valor que seu aplicativo usa para inicializar uma propriedade ou algum outro valor em seu aplicativo. Durante um experimento, o valor da variável muda de variação para variação. Depois que você encerra um experimento, a variável recebe o valor da variação escolhida para liberar para todos os usuários do seu aplicativo. As variáveis podem ter os seguintes tipos: string, booleano, double e inteiro. |
| Ver evento | Uma cadeia de caracteres arbitrária que representa uma atividade quando o usuário começa a exibir uma variação que faz parte do experimento. Normalmente, esse é o nome de um evento em seu código. O código do aplicativo enviará essa cadeia de caracteres de evento de exibição para o Partner Center quando o usuário começar a exibir uma variação. Para obter mais informações, consulte Codificar seu aplicativo para experimentação. |
| Evento de conversão | Uma cadeia de caracteres arbitrária que representa um objetivo para uma meta de um experimento. Normalmente, esse é o nome de um evento em seu código. O código do aplicativo enviará essa cadeia de caracteres de evento de conversão para o Partner Center quando o usuário atingir um objetivo. Para obter mais informações, consulte Codificar seu aplicativo para experimentação. |