Freigeben über

Experimentieren (Vorschau)

  • Artikel

Hinweis

Wir freuen uns über das Feedback, das wir während der Vorschauphasen des Experimentierens in Azure App Configuration erhalten haben, und unsere Teams nutzen dieses Feedback, um das Feature zu aktualisieren. Während dieser Zeit wird der Arbeitsbereich „Experimentieren“ vorübergehend nicht verfügbar sein.

Experimentieren ist der Prozess des systematischen Testens von Hypothesen oder Änderungen zur Verbesserung der Benutzererfahrung oder Softwarefunktionalität. Diese Definition gilt auch für die meisten wissenschaftlichen Bereiche einschließlich Technologie, in denen alle Experimente vier Schritte gemeinsam haben:

  • Entwickeln einer Hypothese, um den Zweck des Experiments zu dokumentieren,
  • Definieren einer Methode für die Durchführung des Experiments einschließlich Aufbau, Messung und Vorgehensweise,
  • Beobachtung der Ergebnisse, die anhand der im vorherigen Schritt definierten Metriken gemessen werden,
  • Ziehen einer Schlussfolgerung dazu, ob die Hypothese bestätigt oder wiederlegt wurde.

  • Featureflags für Varianten: Diese stellen unterschiedliche Versionen oder Konfigurationen eines Features dar. In einem Experiment werden die Variantenfeatureflags im Bezug auf die Metriken, an denen Sie interessiert sind, und den Datenverkehr verglichen, der für die Anwendungszielgruppe zugewiesen wurde.

  • Telemetrie: Telemetrie sind die Daten für die Variationen eines Features und die zugehörigen Metriken zum Auswerten des Features.

  • A/B-Tests: A/B-Tests, auch als Experimentieren bezeichnet, sind eine Standardmethode in der Branche zur Bewertung der Auswirkungen potenzieller Änderungen innerhalb eines Technologiestapels.

  • Mindeststichprobengröße: Dies ist die Mindestanzahl der Ereignisse, die pro Variation des Features für das Experiment erforderlich sind, um statistisch signifikante Ergebnisse zu liefern. Je größer die Stichprobe ist, desto besser ist die statistische Signifikanz der Ergebnisse des Experiments.

Betrachten Sie das folgende Beispiel: Sie möchten sehen, ob Kunden Ihrer E-Commerce-Website eher auf die Schaltfläche „Kasse“ klicken, wenn diese gelb (Variante A) oder blau (Variante B) ist. Zum Einrichten dieses Vergleichs teilen Sie wahrscheinlich den Datenverkehr zwischen den beiden Varianten des Featureflags auf und verwenden die Anzahl der Klicks als Metrik, um die Leistung zu messen. Es ist unwahrscheinlich, dass alle Ihre Features so einfach zu messen und sofort auszuwerten sind, und das ist der Punkt, an dem Experimente ins Spiel kommen. Das Ausführen eines Experiments umfasst das Einrichten einer Zeitachse für den Prozess zum Vergleichen der Leistung der einzelnen Varianten, die für die für Sie interessanten Metriken relevant sind. Die Begriffe „A/B-Tests“ und „Experiment“ werden häufig austauschbar verwendet, wobei ein Experiment im Wesentlichen ein erweiterter A/B-Test ist, mit dem Sie systematisch Hypothesen testen.

Einrichten des Experiments

Bevor Sie beginnen, sollten Sie die folgenden Fragen in der Hypothesenermittlungsphase berücksichtigen: Welche Fragen versuchen Sie zu beantworten, indem Sie ein Experiment ausführen? Wofür sollten Sie ein Experiment ausführen? Warum? Wo beginnen Sie überhaupt? Welche Strategien müssen Sie gemäß Ihren Unternehmensanforderungen berücksichtigen? Kann dieses Experiment Ihnen helfen, die Leistung Ihrer Anwendung oder Ihres Unternehmens sofort zu verbessern?

Identifizieren Sie Ihre Ziele, indem Sie ein Experiment vor einer vollständigen Veröffentlichung ausführen, und dokumentieren Sie in dieser Phase Ihren Plan. Worin bestehen die Variationen des Features oder der Funktionalität, für das bzw. die das Experiment durchgeführt werden soll? An welchen Metriken sind Sie interessiert? Welche Ereignisse einer Benutzer- oder Systeminteraktion könnten verwendet werden, um Daten für die Messung dieser Metriken zu erfassen?

Ihr Experiment ist nur so gut wie die Daten, die Sie dafür sammeln. Bevor Sie mit dem Experiment beginnen, müssen Sie bestimmen, welche Variante Sie als Kontrolle (Baseline) verwenden möchten und bei welcher Variante Änderungen erwartet werden (Vergleichsvariante).

Ziehen einer Schlussfolgerung aus dem Experiment

Das Ziehen einer Schlussfolgerung (oder ggf. mehrerer Schlussfolgerungen) ist die letzte Phase des Experimentierzyklus. Sie können die Experimentergebnisse überprüfen, die das Ergebnis und die Auswirkungen der Vergleichsvariante auf die Kontrollvariante zeigen. Die Ergebnisse zeigen auch ihre statistische Signifikanz. Statsig-Messwerte hängen von den Telemetriedaten und der Stichprobengröße ab.

Die Ergebnisse helfen Ihnen, die Erkenntnisse in umsetzbare Maßnahmen umzusetzen, die Sie sofort in die Produktion implementieren können. Das Experimentieren ist jedoch ein kontinuierlicher Prozess. Beginnen Sie neue Experimente, um Ihr Produkt kontinuierlich zu verbessern.

Szenarien für die Verwendung von Experimenten

Releaseschutz

Ziel: Sorgen Sie für reibungslose Übergänge, und erhalten oder verbessern Sie die wichtigsten Metriken bei jedem Release.

Ansatz: Verwenden Sie Experimente, um neue Features schrittweise bereitzustellen, überwachen Sie dabei Leistungsmetriken, und sammeln Sie Feedback, um Verbesserungen nach und nach einzuführen.

Vorteile:

  • Minimiert das Risiko weitreichender Probleme mithilfe von Grenzwertmetriken, um Probleme frühzeitig beim Rollout zu erkennen und zu beheben
  • Hilft dabei, wichtige Metriken zu Leistung und Benutzerzufriedenheit aufrechtzuerhalten oder zu verbessern, indem fundierte Entscheidungen basierend auf Echtzeitdaten getroffen werden

Testen von Hypothesen

Ziel: Überprüfen Sie Annahmen und Hypothesen, um fundierte Entscheidungen zu Produktfeatures, Benutzerverhalten oder Geschäftsstrategien zu treffen.

Ansatz: Verwenden Sie Experimente, um bestimmte Hypothesen zu testen, indem Sie verschiedene Featureversionen oder Szenarien erstellen und dann die Benutzerinteraktion und Leistungsmetriken analysieren, um die Ergebnisse zu ermitteln.

Vorteile:

  • Bietet nachweisbasierte Erkenntnisse, die zu mehr Sicherheit bei strategischen Entscheidung führen
  • Ermöglicht schnellere Durchläufe und mehr Innovation, indem Hypothesen anhand tatsächlicher Benutzerdaten bestätigt oder widerlegt werden
  • Verbessert die Produktentwicklung durch die Fokussierung auf Ideen konzentrieren, die nachweislich funktionieren, und führt damit letztendlich zu erfolgreicheren und benutzerorientierten Features

A/B-Tests

Ziel: Optimieren von Geschäftsmetriken durch Vergleichen verschiedener Varianten der Benutzererfahrung und Bestimmen des effektivsten Designs.

Herangehensweise: Führen Sie A/B-Tests durch, indem Sie mit verschiedenen Benutzererfahrungen experimentieren, Benutzerinteraktionen messen und Leistungsmetriken analysieren.

Vorteile:

  • Verbessert das Benutzererlebnis, indem Änderungen an der Benutzererfahrung basierend auf empirischen Nachweisen implementiert werden.
  • Erhöht die Einführungsraten, die Bindung und die Gesamteffektivität digitaler Produkte oder Dienstleistungen

Für intelligente Anwendungen (z. B. KI-basierte Features)

Ziel: Beschleunigen Sie die Einführung generativer KI (Gen AI), und optimieren Sie KI-Modelle und Anwendungsfälle durch schnelle Experimente.

Ansatz: Verwenden Sie Experimente, um schnell KI-Modelle zu durchlaufen, verschiedene Szenarien zu testen und effektive Ansätze zu ermitteln.

Vorteile:

  • Verbessert die Flexibilität bei der Anpassung von KI-Lösungen an sich entwickelnde Benutzerbedürfnisse und Markttrends
  • Vereinfacht das Verständnis der effektivsten Ansätze für die Skalierung von KI-Initiativen
  • Verbessert die Genauigkeit und Leistung von KI-Modellen basierend auf realen Daten und Feedback

Personalisieren und Ausrichten von Experimenten

Ziel: Stellen Sie personalisierte Inhalte und Erfahrungen bereit, die auf Benutzereinstellungen und -verhaltensweisen zugeschnitten sind.

Ansatz: Verwenden Sie Experimente, um personalisierte Inhalte zu testen, das Engagement zu messen und Strategien zur Personalisierung zu durchlaufen.

Vorteile:

  • Verbessert die Kundeninteraktion, Einführungsraten und Kundenbindung durch relevante und personalisierte Erfahrungen
  • Fördert das Umsatzwachstum und die Kundenbindung, indem Zielgruppen mit maßgeschneiderten Nachrichten und Angeboten angesprochen werden

Experimente zur Leistungsoptimierung

Ziel: Verbessern Sie die Anwendungsleistung und die Benutzererfahrung durch Experimente zur Leistungsoptimierung.

Ansatz: Führen Sie Experimente durch, um Leistungsverbesserungen zu testen, wichtige Metriken zu messen und erfolgreiche Optimierungen zu implementieren.

Vorteile:

  • Verbessert die Anwendungsskalierbarkeit, Zuverlässigkeit und Reaktionsfähigkeit durch proaktive Leistungsverbesserungen
  • Optimiert die Kosten für Ressourcennutzung und Infrastruktur durch Implementierung effizienter Optimierungen