Поделиться через

Экспериментирование (предварительная версия)

  • Статья

Примечание.

Мы ценим отзывы, полученные во время предварительных версий экспериментов на Конфигурация приложений Azure, и наши команды используют их для внесения обновлений в эту функцию. В течение этого времени рабочая область экспериментирования будет временно недоступна.

Экспериментирование — это процесс систематического тестирования гипотез или изменений для улучшения работы пользователей или программного обеспечения. Это определение также относится к большинству научных областей, включая технологии, где все эксперименты имеют четыре общих шага:

  • Разработка гипотезы для документирования цели этого эксперимента,
  • Определение метода проведения эксперимента, включая настройку, измеряемое и как,
  • Наблюдение за результатами, измеряемыми метриками, определенными на предыдущем шаге,
  • Вывод о том, была ли проверена или недопустимая гипотеза.

  • Флаги компонентов variant: представляют разные версии или конфигурации компонента. В эксперименте флаги функций вариантов сравниваются с интересующими вас метриками и трафиком, выделенным для аудитории приложения.

  • Телеметрия: данные телеметрии — это данные для вариантов функции и связанных метрик для оценки функции.

  • A/B-тестирование: тестирование A/B, также известное как экспериментирование, является стандартным методом для оценки влияния потенциальных изменений в стеке технологий.

  • Минимальный размер выборки: это минимальное количество событий, необходимых для каждого варианта функции для отображения статистически значимых результатов. Чем больше размер выборки, тем лучше статистическое значение результатов эксперимента.

Рассмотрим следующий пример: вы хотите узнать, скорее ли клиенты веб-сайта электронной коммерции чаще нажимают кнопку извлечения, если это желтый цвет (вариант A) или синий цвет (вариант B). Чтобы настроить это сравнение, скорее всего, необходимо разделить трафик между двумя вариантами флага функции и использовать количество щелчков в качестве метрики для измерения их производительности. Вряд ли все ваши функции являются простыми для измерения и немедленной оценки, и именно здесь происходит экспериментирование. Выполнение эксперимента включает настройку временной шкалы для этого процесса сравнения производительности каждого варианта, соответствующего интересующим вас метрикам. Термины "A/B testing" и "экспериментирование" часто используются взаимозаменяемо, где экспериментирование по сути является расширенным тестом A/B, где вы систематически тестируете гипотезы.

Настройка эксперимента

Прежде чем начать, рассмотрите следующие вопросы на этапе обнаружения гипотез: какие вопросы вы пытаетесь ответить, выполнив эксперимент? Что следует запустить эксперимент? Почему? Откуда вы даже начинаете? Какие стратегии следует соблюдать в соответствии с вашими бизнес-потребностями? Поможет ли этот эксперимент сделать немедленные улучшения производительности вашего приложения или вашего бизнеса?

Определите, что вы надеетесь достичь, выполнив эксперимент до полного выпуска, необходимо задокументировать план на этом этапе. Каковы варианты функции или функциональности, над которыми вы хотите экспериментировать? Какие метрики вы интересуете? Какие события взаимодействия с пользователем или системой можно использовать для сбора данных для топлива этих метрик для измерения?

Ваш эксперимент подходит только тем, что данные, собираемые для него. Перед началом эксперимента необходимо определить, какой вариант вы планируете использовать в качестве элемента управления (базовый вариант) и какой из них планируется увидеть изменения в (вариант сравнения).

Вывод из эксперимента

Вывод (или несколько выводов при необходимости) является последним этапом цикла экспериментирования. Вы можете проверить результаты эксперимента, которые показывают результат и влияние варианта сравнения на вариант элемента управления. Результаты также показывают их статистическое значение. Мера Statsig зависит от данных телеметрии и размера выборки.

Результаты помогают завершить обучение и результаты в практические элементы, которые можно сразу же реализовать в рабочей среде. Однако экспериментирование — это непрерывный процесс. Начните новые эксперименты для непрерывного улучшения продукта.

Сценарии использования экспериментов

Защита от выпуска

Цель. Обеспечение плавного перехода и поддержания или улучшения ключевых метрик с каждым выпуском.

Подход. Использование экспериментов для постепенного развертывания новых функций, мониторинга метрик производительности и сбора отзывов о итеративных улучшениях.

Преимущества:

  • Сводит к минимуму риск распространенных проблем с помощью метрик защиты для обнаружения и устранения проблем в начале развертывания.
  • Помогает поддерживать или улучшать ключевые показатели производительности и удовлетворенности пользователей, принимая обоснованные решения на основе данных в режиме реального времени.

Тестовые гипотезы

Цель. Проверьте предположения и гипотезы, чтобы принимать обоснованные решения о функциях продукта, поведении пользователей или бизнес-стратегиях.

Подход. Используйте экспериментирование для тестирования определенных гипотез путем создания различных версий функций или сценариев, а затем анализа взаимодействий пользователей и метрик производительности для определения результатов.

Преимущества:

  • Предоставляет аналитические сведения на основе доказательств, которые снижают неопределенность и руководство по принятию стратегических решений.
  • Позволяет ускорить итерацию и инновации, подтвердив или опровергая гипотезы с реальными данными пользователя.
  • Улучшает разработку продуктов, фокусируя усилия на идеях, которые доказано работать, в конечном счете, что приводит к более успешным и согласованным с пользователем функциям.

Тестирование А/Б

Цель. Оптимизация бизнес-метрик путем сравнения различных вариантов пользовательского интерфейса и определения наиболее эффективной структуры.

Подход. Проведение тестов A/B с помощью экспериментов с различными пользовательскими интерфейсами, измерение взаимодействия с пользователем и анализ метрик производительности.

Преимущества:

  • Улучшает взаимодействие с пользователем путем реализации изменений пользовательского интерфейса на основе эмпирических доказательств.
  • Увеличивает показатели преобразования, уровни взаимодействия и общую эффективность цифровых продуктов или служб.

Для интеллектуальных приложений (например, функций на основе ИИ)

Цель. Ускорение внедрения и оптимизации моделей искусственного интеллекта и вариантов использования с помощью быстрых экспериментов.

Подход. Используйте эксперименты для быстрого итерации моделей ИИ, тестирования различных сценариев и определения эффективных подходов.

Преимущества:

  • Повышает гибкость в адаптации решений искусственного интеллекта к изменяющимся потребностям пользователей и тенденциям рынка.
  • Упрощает понимание наиболее эффективных подходов к масштабированию инициатив ИИ.
  • Повышает точность и производительность моделей искусственного интеллекта на основе реальных данных и отзывов.

Персонализация и целевые эксперименты

Цель. Предоставление персонализированного содержимого и возможностей, адаптированных к предпочтениям и поведению пользователей.

Подход. Использование экспериментов для тестирования персонализированного содержимого, меры взаимодействия и итерации стратегий персонализации.

Преимущества:

  • Увеличивает взаимодействие пользователей, коэффициенты преобразования и лояльность клиентов с помощью соответствующих и персонализированных интерфейсов.
  • Способствует росту доходов и удержанию клиентов путем целевых аудиторий с помощью специализированных сообщений и предложений.

Эксперименты по оптимизации производительности

Цель. Повышение производительности приложений и взаимодействие с пользователем с помощью экспериментов по оптимизации производительности.

Подход. Проведение экспериментов для тестирования улучшений производительности, измерения ключевых метрик и реализации успешных оптимизаций.

Преимущества:

  • Повышает масштабируемость приложений, надежность и скорость реагирования с помощью упреждающих улучшений производительности.
  • Оптимизирует использование ресурсов и затраты на инфраструктуру путем реализации эффективных оптимизаций.