Condividi tramite

Creare ed eseguire il primo esperimento

  • Articolo

In questa procedura dettagliata si eseguiranno i passaggi seguenti:

  • Nel Centro per i partner creare un progetto di sperimentazione che definisca diverse variabili remote che rappresentano il testo e il colore di un pulsante dell'app.
  • Creare un'app con codice che recupera i valori delle variabili remote, usa questi dati per modificare il colore di sfondo di un pulsante e registra i dati degli eventi di visualizzazione e conversione nel Centro per i partner.
  • Creare un esperimento nel progetto per testare se la modifica del colore di sfondo del pulsante dell'app aumenta il numero di clic sul pulsante.
  • Eseguire l'app per raccogliere i dati dell'esperimento.
  • Esaminare i risultati dell'esperimento nel Centro per i partner, scegliere una variante da abilitare per tutti gli utenti dell'app e completare l'esperimento.

Per una panoramica del test A/B con il Centro per i partner, vedere Eseguire esperimenti delle app con test A/B.

Prerequisiti

Per seguire questa procedura dettagliata, è necessario disporre di un account del Centro per i partner e configurare il computer di sviluppo come descritto in Eseguire esperimenti delle app con test A/B.

Creare un progetto con variabili remote nel Centro per i partner

  1. Accedere al Centro per i partner.
  2. Se si dispone già di un'app nel Centro per i partner che si desidera usare per creare un esperimento, selezionare tale app nel Centro per i partner. Se non si ha ancora un'app nel Centro per i partner, crearne una nuova riservando un nome e selezionare tale app nel Centro per i partner.
  3. Nel riquadro di spostamento fare clic su Servizi e quindi su Sperimentazione.
  4. Nella sezione Progetti della pagina successiva fare clic sul pulsante Nuovo progetto.
  5. Nella pagina Nuovo progetto immettere il nome Esperimenti clic sul pulsante per il nuovo progetto.
  6. Espandere la sezione Variabili remote e fare clic su Aggiungi variabile quattro volte. A questo punto dovrebbero essere presenti quattro righe di variabili vuote.
  • Nella prima riga digitare buttonText come nome della variabile e digitare Grey Button nella colonna Valore predefinito.
  • Nella seconda riga digitare r come nome della variabile e digitare 128 nella colonna Valore predefinito.
  • Nella terza riga digitare g come nome della variabile e digitare 128 nella colonna Valore predefinito.
  • Nella quarta riga digitare b come nome della variabile e digitare 128 nella colonna Valore predefinito.
  1. Fare clic su Salva e annotare il valore di ID progetto visualizzato nella sezione Integrazione SDK. Nella sezione successiva si aggiornerà il codice dell'app e si farà riferimento a questo valore nel codice.

Scrivere il codice dell'esperimento nell'app

  1. In Visual Studio creare un nuovo progetto UWP (Universal Windows Platform) usando Visual C#. Denominare il progetto SampleExperiment.

  2. In Esplora soluzioni espandere il nodo del progetto, fare clic con il pulsante destro del mouse su Riferimenti e scegliere Aggiungi riferimento.

  3. In Gestione riferimenti espandere Universal Windows e fare clic su Estensioni.

  4. Nell'elenco degli SDK selezionare la casella di controllo accanto a Microsoft Engagement Framework e fare clic su OK.

  5. In Esplora soluzioni fare doppio clic su MainPage.xaml per aprire la finestra di progettazione per la pagina principale dell'app.

  6. Trascinare un pulsante dalla casella degli strumenti alla pagina.

  7. Fare doppio clic sul pulsante nella finestra di progettazione per aprire il file di codice e aggiungere un gestore eventi per l'evento Click.

  8. Sostituire l'intero contenuto del file di codice con il codice seguente. Assegnare la variabile projectId al valore ID progetto ottenuto dal Centro per i partner nella sezione precedente.

    using System;
using Windows.UI.Xaml;
using Windows.UI.Xaml.Controls;
using Windows.UI.Xaml.Media;
using System.Threading.Tasks;
using Windows.UI;
using Windows.UI.Core;

// Namespace for A/B testing.
using Microsoft.Services.Store.Engagement;

namespace SampleExperiment
{
    public sealed partial class MainPage : Page
    {
        private StoreServicesExperimentVariation variation;
        private StoreServicesCustomEventLogger logger;

        // Assign this variable to the project ID for your experiment from Dev Center.
        private string projectId = "";

        public MainPage()
        {
            this.InitializeComponent();

            // Because this call is not awaited, execution of the current method
            // continues before the call is completed.
#pragma warning disable CS4014
            InitializeExperiment();
#pragma warning restore CS4014
        }

        private async Task InitializeExperiment()
        {
            // Get the current cached variation assignment for the experiment.
            var result = await StoreServicesExperimentVariation.GetCachedVariationAsync(projectId);
            variation = result.ExperimentVariation;

            // Check whether the cached variation assignment needs to be refreshed.
            // If so, then refresh it.
            if (result.ErrorCode != StoreServicesEngagementErrorCode.None || result.ExperimentVariation.IsStale)
            {
                result = await StoreServicesExperimentVariation.GetRefreshedVariationAsync(projectId);

                // If the call succeeds, use the new result. Otherwise, use the cached value.
                if (result.ErrorCode == StoreServicesEngagementErrorCode.None)
                {
                    variation = result.ExperimentVariation;
                }
            }

            // Get remote variables named "buttonText", "r", "g", and "b" from the variation
            // assignment. If no variation assignment is available, the variables default
            // to "Grey button" for the button text and grey RGB value for the button color.
            var buttonText = variation.GetString("buttonText", "Grey Button");
            var r = (byte)variation.GetInt32("r", 128);
            var g = (byte)variation.GetInt32("g", 128);
            var b = (byte)variation.GetInt32("b", 128);

            // Assign button text and color.
            await button.Dispatcher.RunAsync(
                CoreDispatcherPriority.Normal,
                () =>
                {
                    button.Background = new SolidColorBrush(Color.FromArgb(255, r, g, b));
                    button.Content = buttonText;
                    button.Visibility = Visibility.Visible;
                });

            // Log the view event named "userViewedButton" to Dev Center.
            if (logger == null)
            {
                logger = StoreServicesCustomEventLogger.GetDefault();
            }

            logger.LogForVariation(variation, "userViewedButton");
        }

        private void button_Click(object sender, RoutedEventArgs e)
        {
            // Log the conversion event named "userClickedButton" to Dev Center.
            if (logger == null)
            {
                logger = StoreServicesCustomEventLogger.GetDefault();
            }

            logger.LogForVariation(variation, "userClickedButton");
        }
    }
}

  9. Salvare il file di codice e compilare il progetto.

Creare l'esperimento nel Centro per i partner

  1. Tornare alla pagina del progetto Esperimenti clic sul pulsante nel Centro per partner.
  2. Nella sezione Esperimenti fare clic sul pulsante Nuovo esperimento.
  3. Nella sezione Dettagli esperimento digitare il nome Ottimizzazione clic sul pulsante nel campo Nome esperimento.
  4. Nella sezione Evento di visualizzazione digitare userViewedButton nel campo Nome evento di visualizzazione. Notare che questo nome corrisponde alla stringa dell'evento di visualizzazione registrata nel codice che si è aggiunto nella sezione precedente.
  5. Nella sezione Obiettivi ed eventi di conversione immettere i valori seguenti:
  • Nel campo Nome obiettivo digitare Aumento dei clic sul pulsante.
  • Nel campo Nome evento di conversione digitare il nome userClickedButton. Notare che questo nome corrisponde alla stringa dell'evento di conversione registrata nel codice che si è aggiunto nella sezione precedente.
  • Nel campo Obiettivo scegliere Ottimizza.
  1. Nella sezione Variabili remote e varianti verificare che la casella di controllo Distribuisci equamente sia selezionata affinché le varianti vengano distribuite equamente nell'app.
  2. Aggiungere variabili all'esperimento:
    1. Fare clic sul controllo a discesa, scegliere buttonText e fare clic su Aggiungi variabile. La stringa Grey Button dovrebbe apparire automaticamente nella colonna Variante A (questo valore deriva dalle impostazioni del progetto). Nella colonna Variante B digitare Blue Button.
    2. Fare nuovamente clic sul controllo a discesa, scegliere r e fare clic su Aggiungi variabile. La stringa 128 dovrebbe apparire automaticamente nella colonna Variante A. Nella colonna Variante B digitare 1.
    3. Fare nuovamente clic sul controllo a discesa, scegliere g e fare clic su Aggiungi variabile. La stringa 128 dovrebbe apparire automaticamente nella colonna Variante A. Nella colonna Variante B digitare 1.
    4. Fare nuovamente clic sul controllo a discesa, scegliere b e fare clic su Aggiungi variabile. La stringa 128 dovrebbe apparire automaticamente nella colonna Variante A. Nella colonna Variante B digitare 255.
  3. Fare clic su Salva, quindi su Attiva.

Importante

Dopo aver attivato un esperimento, non è più possibile modificarne i parametri a meno che si sia selezionata la casella di controllo Esperimento modificabile al momento della creazione dell'esperimento. In genere, consigliamo di scrivere il codice dell'esperimento nell'app prima di attivare l'esperimento.

Eseguire l'app per raccogliere i dati dell'esperimento

  1. Eseguire l'app SampleExperiment creata in precedenza.
  2. Verificare che venga visualizzato un pulsante grigio o blu. Fare clic sul pulsante, quindi chiudere l'app.
  3. Ripetere i passaggi precedenti più volte nello stesso computer per verificare che l'app mostri lo stesso colore del pulsante.

Esaminare i risultati e completare l'esperimento

Attendere alcune ore dopo aver completato la sezione precedente e seguire questa procedura per esaminare i risultati dell'esperimento e completare l'esperimento.

Nota

Non appena si attiva un esperimento, il Centro per i partner inizia immediatamente a raccogliere dati da tutte le app instrumentate per registrare i dati per l'esperimento. Tuttavia, la visualizzazione dei dati dell'esperimento nel Centro per i partner può richiedere diverse ore.

  1. Nel Centro per i partner tornare alla pagina Sperimentazione per l'app.

  2. Nella sezione Esperimenti attivi fare clic su Ottimizzazione clic sul pulsante per andare alla pagina di questo esperimento.

  3. Verificare che i risultati mostrati nelle sezioni Riepilogo dei risultati e Dettagli dei risultati corrispondano a quelli previsti. Per ulteriori dettagli su queste sezioni, vedere Gestire l'esperimento nel Centro per i partner.

    Nota

    Il Centro per i partner segnala solo il primo evento di conversione per ogni utente in un periodo di 24 ore. Se un utente attiva più eventi di conversione nella tua app in un periodo di 24 ore, viene segnalato solo il primo evento di conversione. Ciò ha lo scopo di evitare che un solo utente con molti eventi di conversione causi una deviazione nei risultati dell'esperimento su un gruppo di utenti campione.

  4. Ora è possibile terminare l'esperimento. Nella sezione Riepilogo dei risultati, nella colonna Variante B, fare clic su Cambia. In questo modo a tutti gli utenti dell'app viene mostrato il pulsante blu.

  5. Fare clic su OK per confermare che si vuole terminare l'esperimento.

  6. Eseguire l'app SampleExperiment creata nella sezione precedente.

  7. Verificare che venga visualizzato un pulsante blu. Tenere presente che potrebbero essere necessari fino a due minuti prima che l'app riceva l'assegnazione di una variante aggiornata.