Partilhar via

Experimentação (pré-visualização)

  • Artigo

Nota

Agradecemos os comentários que recebemos durante as fases de visualização da Experimentação na Configuração de Aplicativos do Azure e nossas equipes estão usando-os para fazer atualizações no recurso. Durante esse período, o Espaço de Trabalho de Experimentação ficará temporariamente indisponível.

A experimentação é o processo de testar sistematicamente hipóteses ou alterações para melhorar a experiência do utilizador ou a funcionalidade do software. Esta definição também se aplica à maioria dos domínios científicos, incluindo a tecnologia, em que todas as experiências têm quatro etapas comuns:

  • Desenvolver uma hipótese para documentar o objetivo desta experiência,
  • Descrever um método de realização da experiência, incluindo a configuração, o que é medido e como,
  • Observação dos resultados medidos pelas métricas definidas na etapa anterior,
  • Tirar uma conclusão sobre se a hipótese foi validada ou invalidada.

  • Sinalizadores de recursos variantes: representam diferentes versões ou configurações de um recurso. Em um experimento, os sinalizadores de recursos de variante são comparados em relevância com as métricas em que você está interessado e o tráfego alocado para o público do aplicativo.

  • Telemetria: Telemetria são os dados para as variações de um recurso e as métricas relacionadas para avaliar o recurso.

  • Teste A/B: O teste A/B, também conhecido como experimentação, é um método padrão do setor para avaliar o impacto de mudanças potenciais dentro de uma pilha de tecnologia.

  • Tamanho mínimo de amostragem: é o número mínimo de eventos necessários por variação do recurso para que o experimento mostre resultados estatisticamente significativos. Quanto maior o tamanho da amostra, maior a significância estatística dos resultados do experimento.

Considere o seguinte exemplo: você quer ver se os clientes do seu site de comércio eletrônico são mais propensos a clicar no botão de checkout se ele for amarelo (variante A) ou azul (variante B). Para configurar essa comparação, é provável que você divida o tráfego entre as duas variantes do sinalizador de recurso e use o número de cliques como uma métrica para medir seu desempenho. É improvável que todos os seus recursos sejam tão simples de medir e avaliar imediatamente, e é aí que entra a experimentação. A execução de um experimento envolve a configuração de uma linha do tempo para esse processo de comparação do desempenho de cada variante relevante para as métricas em que você está interessado. Os termos "teste A/B" e "experimentação" são frequentemente usados de forma intercambiável, onde a experimentação é essencialmente um teste A/B estendido onde você está sistematicamente testando hipóteses.

Configurando seu experimento

Antes de começar, considere as seguintes perguntas em seu estágio de descoberta de hipóteses: Quais perguntas você está tentando responder executando um experimento? Em que você deve executar um experimento? Porquê? Por onde começar? Quais são algumas estratégias a seguir de acordo com as necessidades do seu negócio? Esta experiência irá ajudá-lo a fazer melhorias imediatas no desempenho da sua aplicação ou do seu negócio?

Identifique o que você espera alcançar executando um experimento antes de um lançamento completo, você deve documentar seu plano nesta fase. Quais são as variações do recurso ou funcionalidade que você deseja experimentar? Quais são algumas métricas em que você está interessado? Que eventos de interação do usuário ou do sistema poderiam ser usados para capturar dados para alimentar essas métricas para medição?

Seu experimento é tão bom quanto os dados que você coleta para ele. Antes de iniciar o experimento, você deve determinar qual variante você pretende usar como controle (variante de linha de base) e em qual você pretende ver alterações (variante de comparação).

Tirar uma conclusão da experiência

Tirar uma conclusão (ou várias conclusões, se necessário) é a etapa final do seu ciclo de experimentação. Você pode verificar os resultados do experimento, que mostram o resultado e o impacto da variante de comparação com a variante de controle. Os resultados também mostram a sua significância estatística. A medida de Statsig depende dos dados de telemetria e do tamanho da amostra.

Os resultados ajudam você a concluir os aprendizados e resultados em itens acionáveis que você pode implementar imediatamente na produção. No entanto, a experimentação é um processo contínuo. Comece novas experiências para melhorar continuamente o seu produto.

Cenários para o uso da experimentação

Liberar defesa

Objetivo: Garantir transições suaves e manter ou melhorar as principais métricas a cada versão.

Abordagem: empregue a experimentação para implementar gradualmente novos recursos, monitorar métricas de desempenho e coletar feedback para melhorias iterativas.

Benefícios:

  • Minimiza o risco de problemas generalizados usando métricas de guardrail para detetar e resolver problemas no início da implantação.
  • Ajuda a manter ou melhorar as principais métricas de desempenho e satisfação do usuário, tomando decisões informadas com base em dados em tempo real.

Hipóteses de teste

Objetivo: Validar suposições e hipóteses para tomar decisões informadas sobre recursos do produto, comportamentos do usuário ou estratégias de negócios.

Abordagem: use a experimentação para testar hipóteses específicas criando diferentes versões ou cenários de recursos e, em seguida, analise as interações do usuário e as métricas de desempenho para determinar os resultados.

Benefícios:

  • Fornece insights baseados em evidências que reduzem a incerteza e orientam a tomada de decisões estratégicas.
  • Permite iteração e inovação mais rápidas, confirmando ou refutando hipóteses com dados reais do usuário.
  • Melhora o desenvolvimento de produtos, concentrando esforços em ideias que comprovadamente funcionam, levando a recursos mais bem-sucedidos e alinhados ao usuário.

Testes A/B

Objetivo: Otimizar as métricas de negócios comparando diferentes variações de UX e determinando o design mais eficaz.

Abordagem: Conduza testes A/B usando experimentação com diferentes experiências do usuário, meça as interações do usuário e analise métricas de desempenho.

Benefícios:

  • Melhora a experiência do usuário implementando mudanças de UX com base em evidências empíricas.
  • Aumenta as taxas de conversão, os níveis de envolvimento e a eficácia geral dos produtos ou serviços digitais.

Para aplicações inteligentes (por exemplo, recursos baseados em IA)

Objetivo: Acelerar a adoção de IA generativa (Gen AI) e otimizar modelos e casos de uso de IA por meio de experimentação rápida.

Abordagem: use a experimentação para iterar rapidamente em modelos de IA, testar diferentes cenários e determinar abordagens eficazes.

Benefícios:

  • Aumenta a agilidade na adaptação de soluções de IA à evolução das necessidades dos utilizadores e às tendências do mercado.
  • Facilita a compreensão das abordagens mais eficazes para dimensionar iniciativas de IA.
  • Melhora a precisão e o desempenho de modelos de IA com base em dados e feedback do mundo real.

Experiências de personalização e segmentação

Objetivo: Fornecer conteúdo personalizado e experiências adaptadas às preferências e comportamentos do usuário.

Abordagem: aproveite a experimentação para testar conteúdo personalizado, medir o envolvimento e iterar estratégias de personalização.

Benefícios:

  • Aumenta o envolvimento do usuário, as taxas de conversão e a fidelidade do cliente por meio de experiências relevantes e personalizadas.
  • Impulsiona o crescimento da receita e a retenção de clientes, segmentando públicos-alvo com mensagens e ofertas personalizadas.

Experiências de otimização de desempenho

Objetivo: Melhorar o desempenho do aplicativo e a experiência do usuário por meio de experimentos de otimização de desempenho.

Abordagem: conduza experimentos para testar melhorias de desempenho, medir métricas-chave e implementar otimizações bem-sucedidas.

Benefícios:

  • Melhora a escalabilidade, a confiabilidade e a capacidade de resposta dos aplicativos por meio de melhorias proativas de desempenho.
  • Otimiza a utilização de recursos e os custos de infraestrutura implementando otimizações eficientes.