Compartir vía

Experimentación (versión preliminar)

  • Artículo

Nota:

Agradecemos los comentarios que hemos recibido durante las fases de versión preliminar de Experimentación en Azure App Configuration y nuestros equipos lo usan para realizar actualizaciones en la característica. Durante este tiempo, el área de trabajo experimentación no estará disponible temporalmente.

La experimentación es el proceso de probar sistemáticamente hipótesis o cambios para mejorar la experiencia del usuario o la funcionalidad de software. Esta definición también es válida para la mayoría de los campos científicos, incluida la tecnología, donde todos los experimentos tienen cuatro pasos comunes:

  • Desarrollar una hipótesis para documentar el propósito de este experimento,
  • Esquematización de un método para llevar a cabo el experimento, incluida la configuración, lo que se mide y cómo,
  • Observación de los resultados medidos por las métricas definidas en el paso anterior,
  • Extraer una conclusión sobre si la hipótesis ha sido validada o invalidada.

  • Marcas de características variantes: representa diferentes versiones o configuraciones de una característica. En un experimento, las marcas de características variantes se comparan en relevancia con las métricas que le interesan y el tráfico asignado para la audiencia de la aplicación.

  • Telemetría: la telemetría son los datos de las variaciones de una característica y las métricas relacionadas para evaluar la característica.

  • Pruebas A/B: Pruebas A/B, también conocidas como experimentación, es un método estándar del sector para evaluar el impacto de los posibles cambios dentro de una pila de tecnología.

  • Tamaño mínimo de muestreo: es el número mínimo de eventos necesarios por variación de la característica para que el experimento muestre resultados estadísticamente significativos. Cuanto mayor sea el tamaño de la muestra, mejor será la importancia estadística de los resultados del experimento.

Considere el siguiente ejemplo: quiere ver si es más probable que los clientes de su sitio web de comercio electrónico hagan clic en el botón de pago si es de color amarillo (variante A) o azul (variante B). Para configurar esta comparación, es probable que divida el tráfico entre las dos variantes de la marca de características y use el número de clics como métrica para medir su rendimiento. Es poco probable que todas las características sean tan sencillas de medir y evaluar inmediatamente, y es donde entra en práctica la experimentación. La ejecución de un experimento implica configurar una escala de tiempo para este proceso de comparación del rendimiento de cada variante relevante para las métricas que le interesan. Los términos "pruebas A/B" y "experimentación" a menudo se usan indistintamente, donde la experimentación es básicamente una prueba A/B extendida donde se prueban sistemáticamente hipótesis.

Configuración del experimento

Antes de empezar, tenga en cuenta las siguientes preguntas en la fase de detección de hipótesis: ¿Qué preguntas intenta responder mediante la ejecución de un experimento? ¿En qué debe ejecutar un experimento? ¿Por qué? ¿Por dónde empezar? ¿Cuáles son algunas estrategias que se deben seguir según sus necesidades empresariales? ¿Este experimento le ayudará a realizar mejoras inmediatas en el rendimiento de la aplicación o en su empresa?

Identifique lo que espera lograr mediante la ejecución de un experimento antes de una versión completa, debe documentar el plan en esta fase. ¿Cuáles son las variaciones de la característica o funcionalidad en las que desea experimentar? ¿Cuáles son las métricas que le interesan? ¿Qué eventos de interacción con el usuario o el sistema podrían utilizarse para capturar datos que alimenten estas métricas de medición?

El experimento solo es tan bueno como los datos que recopila para él. Antes de iniciar el experimento, debe determinar la variante que pretende usar como control (variante de línea base) y la que piensa ver los cambios en (variante de comparación).

Extraer una conclusión del experimento

Extraer una conclusión (o varias conclusiones si es necesario) es la fase final del ciclo de experimentación. Puede comprobar los resultados del experimento, que muestran el resultado y el impacto de la variante de comparación con la variante de control. Los resultados también muestran su importancia estadística. La medida Statsig depende de los datos de telemetría y del tamaño de la muestra.

Los resultados le ayudan a concluir los aprendizajes y los resultados en elementos accionables que puede implementar inmediatamente en producción. Sin embargo, la experimentación es un proceso continuo. Comience nuevos experimentos para mejorar continuamente el producto.

Escenarios para el uso de experimentación

Defensa de versión

Objetivo: asegúrese de realizar transiciones fluidas y mantener o mejorar las métricas clave con cada versión.

Enfoque: emplee la experimentación para implementar gradualmente nuevas funciones, supervisar las métricas de rendimiento y recopilar comentarios para realizar mejoras iterativas.

Ventajas:

  • Minimiza el riesgo de problemas generalizados mediante el uso de métricas de límite de protección para detectar y solucionar problemas al principio del lanzamiento.
  • Ayuda a mantener o mejorar las métricas clave de rendimiento y satisfacción del usuario mediante la toma de decisiones fundamentadas basadas en datos en tiempo real.

Hipótesis de prueba

Objetivo: valide suposiciones e hipótesis para tomar decisiones fundamentadas sobre las características del producto, los comportamientos del usuario o las estrategias empresariales.

Enfoque: use la experimentación para probar hipótesis específicas mediante la creación de diferentes versiones o escenarios de características y, a continuación, analice las interacciones del usuario y las métricas de rendimiento para determinar los resultados.

Ventajas:

  • Proporciona información basada en pruebas que reducen la incertidumbre y guían la toma de decisiones estratégicas.
  • Permite una iteración e innovación más rápidas mediante la confirmación o refutación de hipótesis con datos reales del usuario.
  • Mejora el desarrollo de productos al centrar los esfuerzos en las ideas que han demostrado funcionar, lo que en última instancia conduce a características más exitosas y alineadas con el usuario.

Pruebas A/B

Objetivo: Optimice las métricas empresariales comparando diferentes variaciones de experiencia de usuario y determinando el diseño más eficaz.

Enfoque: Realice pruebas A/B con experimentación con diferentes experiencias de usuario, mida las interacciones del usuario y analice las métricas de rendimiento.

Ventajas:

  • Mejora la experiencia del usuario mediante la implementación de cambios de experiencia del usuario en función de la evidencia empírica.
  • Aumenta las tasas de conversión, los niveles de compromiso y la eficacia general de los productos o servicios digitales.

Para aplicaciones inteligentes (por ejemplo, características basadas en IA)

Objetivo: acelerar la adopción y optimizan los la IA generativa y optimizar modelos de IA y los casos de uso y la inteligencia artificial a través de una experimentación rápida.

Enfoque: utilice la experimentación para iterar rápidamente sobre modelos de IA, probar diferentes escenarios y determinar enfoques eficaces.

Ventajas:

  • Mejora la agilidad para adaptar las soluciones de inteligencia artificial a las necesidades de los usuarios y las tendencias de mercado en constante evolución.
  • Facilita la comprensión de los enfoques más eficaces para escalar las iniciativas de inteligencia artificial.
  • Mejora la precisión y el rendimiento de los modelos de inteligencia artificial en función de los datos y comentarios reales.

Personalización y destino de experimentos

Objetivo: ofrezca contenido y experiencias personalizados adaptados a las preferencias y comportamientos del usuario.

Enfoque: aproveche la experimentación para probar contenido personalizado, medir la interacción y iterar en las estrategias de personalización.

Ventajas:

  • Aumenta la participación de los usuarios, las tasas de conversión y la fidelidad de los clientes a través de experiencias relevantes y personalizadas.
  • Impulsa el crecimiento de los ingresos y la retención de clientes al dirigirse a los públicos con mensajes y ofertas adaptados.

Experimentos de optimización del rendimiento

Objetivo: mejore el rendimiento de las aplicaciones y la experiencia de usuario mediante experimentos de optimización del rendimiento.

Enfoque: realice experimentos para probar mejoras de rendimiento, medir métricas clave e implementar optimizaciones correctas.

Ventajas:

  • Mejora la escalabilidad, la confiabilidad y la capacidad de respuesta de las aplicaciones a través de mejoras proactivas en el rendimiento.
  • Optimiza el uso de recursos y los costos de infraestructura mediante la implementación de optimizaciones eficaces.