Sdílet prostřednictvím

Experimentování (Preview)

  • Článek

Poznámka:

Vážíme si zpětné vazby, které jsme obdrželi ve fázích Preview experimentování v konfiguraci Aplikace Azure, a naše týmy ji používají k provádění aktualizací této funkce. Během této doby bude pracovní prostor experimentování dočasně nedostupný.

Experimentování je proces systematicky testovat hypotézy nebo změny, které zlepšují uživatelské prostředí nebo softwarové funkce. Tato definice platí také pro většinu vědeckých polí včetně technologií, kde všechny experimenty mají čtyři společné kroky:

  • Vývoj hypotézy pro zdokumentování účelu tohoto experimentu,
  • Stanovení metody provádění experimentu, včetně nastavení, měření a způsobu,
  • Pozorování výsledků měřených metrikami definovanými v předchozím kroku,
  • Na základě závěru , zda byla hypotéza ověřena nebo zneplatněná.

  • Příznaky variant funkce: Představují různé verze nebo konfigurace funkce. V experimentu se příznaky variantní funkce porovnávají v relevance s metrikami, které vás zajímají, a přenosy přidělené cílové skupině aplikací.

  • Telemetrie: Telemetrie je data pro varianty funkce a související metriky pro vyhodnocení funkce.

  • Testování A/B: Testování A/B, označované také jako experimentování, je standardní metoda pro vyhodnocení dopadu potenciálních změn v technologickém zásobníku.

  • Minimální velikost vzorkování: je minimální počet událostí požadovaných pro jednotlivé varianty funkce pro experiment, aby se zobrazily statisticky významné výsledky. Čím větší je velikost vzorku, lepší statistická významnost výsledků experimentu.

Podívejte se na následující příklad: Chcete zjistit, jestli zákazníci vašeho webu elektronického obchodování budou pravděpodobněji kliknout na tlačítko pokladny, pokud je žlutá barva (varianta A) nebo modrá barva (varianta B). Pokud chcete toto porovnání nastavit, pravděpodobně rozdělíte provoz mezi dvě varianty příznaku funkce a jako metriku použijete počet kliknutí k měření jejich výkonu. Je nepravděpodobné, že by všechny funkce byly stejně jednoduché měřit a okamžitě vyhodnocovat, a to je místo, kde experimentování přichází. Spuštění experimentu zahrnuje nastavení časové osy pro tento proces porovnání výkonu jednotlivých variant relevantních pro metriky, které vás zajímají. Termíny "testování A/B" a "experimentování" se často používají zaměnitelně, kde experimentování je v podstatě rozšířený test A/B, kde systematicky testujete hypotézy.

Nastavení experimentu

Než začnete, zvažte následující otázky ve fázi zjišťování hypotéz: Na jaké otázky se pokoušíte odpovědět spuštěním experimentu? Na čem byste měli experiment spustit? Proč? Kde vůbec začínáte? Jaké strategie je třeba dodržovat podle vašich obchodních potřeb? Pomůže vám tento experiment okamžitě vylepšit výkon vaší aplikace nebo vaší firmy?

Určete, čeho chcete dosáhnout spuštěním experimentu před úplnou verzí, měli byste plán zdokumentovat v této fázi. Jaké jsou varianty funkce, se kterou chcete experimentovat? Jaké metriky vás zajímají? Jaké události interakce s uživatelem nebo systémem je možné použít k zaznamenání dat za účelem měření těchto metrik?

Experiment je stejný jako data, která za něj shromažďujete. Než začnete s experimentem, musíte určit, jakou variantu chcete použít jako ovládací prvek (variantu směrného plánu) a kterou variantu, ve které chcete vidět změny (varianta porovnání).

Nakreslení závěru experimentu

Nakreslení závěru (nebo více závěrů v případě potřeby) je poslední fází cyklu experimentování. Můžete zkontrolovat výsledky experimentu, které ukazují výsledek a dopad varianty porovnání proti řídicí variantě. Výsledky také ukazují jejich statistickou významnost. Míra Statsig závisí na telemetrických datech a velikosti vzorku.

Výsledky vám pomůžou uzavřít poznatky a výsledky do položek s akcemi, které můžete okamžitě implementovat do produkčního prostředí. Experimentování je ale průběžný proces. Začněte s novými experimenty, abyste mohli produkt průběžně vylepšovat.

Scénáře použití experimentování

Ochrana před vydáním

Cíl: Zajistěte hladké přechody a udržujte nebo vylepšete klíčové metriky s každou verzí.

Přístup: Pomocí experimentování můžete postupně zavádět nové funkce, monitorovat metriky výkonu a shromažďovat zpětnou vazbu pro iterativní vylepšení.

Výhody:

  • Minimalizuje riziko rozsáhlých problémů pomocí metrik mantinely k detekci a řešení problémů v rané fázi zavádění.
  • Pomáhá udržovat nebo zlepšit klíčové metriky výkonu a spokojenosti uživatelů tím, že provádí informovaná rozhodnutí na základě dat v reálném čase.

Testování hypotéz

Cíl: Ověřte předpoklady a hypotézy, abyste se mohli informovaně rozhodovat o funkcích produktu, chování uživatelů nebo obchodních strategiích.

Přístup: Pomocí experimentování otestujte konkrétní hypotézy vytvořením různých verzí funkcí nebo scénářů a pak analyzujte interakce uživatelů a metriky výkonu a určete výsledky.

Výhody:

  • Poskytuje přehledy založené na důkazech, které snižují nejistotu a řídí strategické rozhodování.
  • Umožňuje rychlejší iteraci a inovace tím, že potvrdí nebo refutuje hypotézy se skutečnými uživatelskými daty.
  • Vylepšuje vývoj produktů tím, že se zaměřuje na nápady, které se osvědčily, a nakonec vede k úspěšnějším a uživatelsky sladěným funkcím.

Testování A/B

Cíl: Optimalizujte obchodní metriky porovnáním různých variant uživatelského prostředí a určením nejúčinnějšího návrhu.

Přístup: Provádění testů A/B pomocí experimentování s různými uživatelskými prostředími, měření interakcí uživatelů a analýza metrik výkonu.

Výhody:

  • Zlepšuje uživatelské prostředí implementací změn uživatelského rozhraní na základě empirických důkazů.
  • Zvyšuje míru konverze, úrovně zapojení a celkovou efektivitu digitálních produktů nebo služeb.

Pro inteligentní aplikace (například funkce založené na umělé inteligenci)

Cíl: Zrychlení přechodu na generování AI (Gen AI) a optimalizace modelů AI a případů použití prostřednictvím rychlého experimentování

Přístup: Pomocí experimentování můžete rychle iterovat modely AI, testovat různé scénáře a určit efektivní přístupy.

Výhody:

  • Vylepšuje flexibilitu při přizpůsobování řešení umělé inteligence pro měnící se potřeby uživatelů a trendy na trhu.
  • Usnadňuje pochopení nejúčinnějších přístupů pro škálování iniciativ umělé inteligence.
  • Zlepšuje přesnost a výkon modelů AI na základě skutečných dat a zpětné vazby.

Přizpůsobení a cílení experimentů

Cíl: Poskytování přizpůsobeného obsahu a prostředí přizpůsobené uživatelským preferencím a chování

Přístup: Využijte experimentování k testování přizpůsobeného obsahu, měření zapojení a iterace strategií přizpůsobení.

Výhody:

  • Zvyšuje zapojení uživatelů, míru konverze a věrnost zákazníků prostřednictvím relevantních a přizpůsobených prostředí.
  • Zvyšuje výnosy a udržení zákazníků tím, že cílí na cílové skupiny s přizpůsobenými zprávami a nabídkami.

Experimenty optimalizace výkonu

Cíl: Zlepšení výkonu aplikací a uživatelského prostředí prostřednictvím experimentů optimalizace výkonu.

Přístup: Proveďte experimenty s testováním vylepšení výkonu, měřením klíčových metrik a implementací úspěšných optimalizací.

Výhody:

  • Vylepšuje škálovatelnost, spolehlivost a odezvu aplikací prostřednictvím proaktivních vylepšení výkonu.
  • Optimalizuje využití prostředků a náklady na infrastrukturu implementací efektivních optimalizací.