Conception et exécution de tests A/B sur vos structures de courrier électronique

Important

Cet article ne s’applique qu’au marketing sortant, qui sera supprimé du produit le 30 juin 2025. Pour éviter les interruptions, passez aux parcours en temps réel avant cette date. Plus d’informations, voir Vue d’ensemble des transitions

Utilisez le test de messagerie A/B pour savoir laquelle de deux structures similaires est susceptible de remporter le plus de succès puis envoyez la conception gagnante à l’assistance restante automatiquement. Vous commencez par créer une conception de contrôle (la version « A »), puis vous l’utilisez comme base de création d’une version « B » de la conception dans laquelle vous avez modifié une petite partie (comme l’objet ou une image). Enfin, exécutez le test dans le cadre d’un parcours du client.

Le parcours exécute le test entier automatiquement. La numérotation commence par l’envoi de la version A à une petite partie de votre segment (par exemple 10 % des contacts, sélectionnés de manière aléatoire) tout en envoyant également la version B à un autre composant du segment (généralement aussi 10 %). Il attend un laps de temps que vous choisissez (par exemple, 24 heures) puis analyse les résultats d’interaction et choisit un gagnant en fonction de vos critères sélectionnés (tels que le plus ouvert). Le parcours envoie ensuite la conception gagnante au reste du segment (l’autre 80 %) automatiquement.

Créer un courrier électronique de marketing pour le test A/B

Pour installer un test A/B, démarrez en créant votre structure de contrôle (il s’agit de la version A) puis créez la version B où une petite partie de la conception a changé. Chaque test A/B n’autorise qu’un seul type de modification (comme l’en-tête, le corps ou le contenu complet).

Note

Vous ne pouvez définir qu’un seul nouveau test A/B pour la même conception. Vous devez attendre l’exécution de votre test A/B avant de créer un nouveau test.

Pour configurer des structure A et B pour un message :

1. Créez votre conception d’origine (de contrôle) comme habituellement, comme décrit dans Créer un courrier électronique et concevoir son contenu. Perfectionnez la conception autant que possible et veillez à vérifier qu’il n’y a aucune avant de la mettre en service.

2. Lorsque votre conception A est terminée, effectuez l’une des opérations suivantes :

   • Sélectionnez le bouton de test A/B dans le coin supérieur droit de l’éditeur de courriers électroniques pour ouvrir le volet de test A/B.
   • Si vous n’avez pas encore défini de test pour ce courrier électronique, sélectionnez le bouton Ajouter un test dans le volet de test A/B.
   • Si vous avez déjà défini un test, vous pouvez modifier les versions A et B en basculant entre les versions.

   

3. Les paramètres du nouveau test sont affichés. Procédez comme suit :

   • Définissez le Type de test sur l’un des suivants : - En-tête (objet, expéditeur) : vous permet de sélectionner un autre objet ou un autre nom « De »pour la version B de votre conception. Les destinataires verront le nom « De » comme le nom de l’expéditeur du message. Cela ne modifie pas l’adresse réelle de l’expéditeur, qui reste la même dans les deux versions.- Corps : vous permet de sélectionner un ou plusieurs éléments de conception dans le corps du message, puis de changer les paramètres, le contenu, ou l’apparence de ces éléments dans la version de B de la conception.- Contenu complet : vous permet de sélectionner différents objets, le nom « De » et un ou plusieurs éléments de conception dans le corps du message, puis de changer les paramètres, le contenu, ou l’apparence de ces éléments dans la version de B de la conception.
   • Entrez un Titre du test pour identifier le test. Ce titre s’affiche dans le volet Test A/B et dans la vignette de courrier électronique du parcours du client lorsque vous sélectionnez le test à exécuter pour ce parcours.

   

   Important

   Vous ne pouvez définir qu’un seul nouveau test A/B à la fois pour un message. Il n’est possible d’ajouter un nouveau test qu’après l’exécution du test précédent.

   Note

   Vous pouvez exécuter chaque test une seule fois, dans une vignette de courrier électronique unique dans un parcours unique. Dès que vous configurerez un parcours pour exécuter un test, vous ne pourrez pas sélectionner ce test pour une autre vignette de courrier électronique ou un autre parcours. Si vous souhaitez exécuter plusieurs tests sur une même conception, ajoutez un nouveau test au volet Test A/B une fois le précédent exécuté. Pour supprimer un test A/B du message, sélectionnez le bouton Corbeille.

4. Un nouveau test de votre type sélectionné est maintenant ajouté à la section Nouveau du volet Test A/B. Notez ce qui suit :

   • Vous ne pouvez avoir qu’un seul nouveau test en cours d’exécution à un moment donné.
   • La section Actif du volet Test A/B affiche à la fois le test A/B en cours d’exécution et tous les tests A/B passés pour le message.
   • Sélectionnez un test dans le volet Test A/B pour l’utiliser avec ce test. Lorsqu’un test est sélectionné, il est développé pour afficher des boutons Version A et Version B à utiliser avec le test.
   • Vous pouvez modifier le type ou le titre du test. Le titre du test s’affiche dans la vignette de courrier électronique du parcours du client lorsque vous sélectionnez le test à exécuter pour ce parcours.
   • Pour les tests de l’en-tête, les paramètres contrôlés par le test sélectionné (objet et nom de l’expéditeur) affichent une icône A ou une icône B pour indiquer ce que vous testez et quelle version est affichée (et modifiable). L’icône change en fonction du bouton de version que vous avez sélectionné ( Version A ou Version B ).
   • Pour des tests du corps, chaque élément testé est associé à un cadre de couleur (une fois sélectionné) qui correspond à la couleur du bouton de version que vous avez sélectionnée (bleu pour Version A ou rose pour Version B ). Consultez l’étape suivante pour plus de détails sur comment créer cette configuration.

   

5. Sélectionnez un test dans le volet Test A/B puis sélectionnez le bouton Version B. Effectuez l’une des opérations suivantes, en fonction du type de test que vous préparez :

   • Pour les tests d’en-tête, les champs Objet et Nom « De » doivent désormais présenter une icône B . Entrez un nouvel objet ici ou le nom « De » ici.
   • Pour les tests de corps, ajoutez un élément au test en le sélectionnant dans le canevas pour le surligner, puis sélectionnez le bouton A/B dans l’onglet en haut du cadre en surbrillance. Il s’agit d’un bouton à bascule, vous pouvez donc le sélectionner de nouveau pour supprimer un élément du test. Il affiche un arrière-plan blanc pour les éléments testés, et affiche un arrière-plan bleu foncé pour les éléments qui sont identiques pour chaque version. Pour les éléments testés, la couleur du cadre indique la version : bleu-clair pour la version A et rose foncé pour la version B. Vous pouvez ajouter au test autant d’éléments que vous le souhaitez, mais généralement il est préférable de ne tester que quelques éléments (ou un seul) à la fois.

   

6. Modifiez maintenant la conception des éléments que vous avez activés pour le test. Pour les test d’en-tête, modifiez le texte de champ approprié ; pour les tests de corps, vous pouvez modifier le contenu texte des éléments texte ou les paramètres de l’onglet Propriété pour d’autres types d’éléments de conception. Vous pouvez basculer d’une version à l’autre avec les boutons Version A et Version B et continuer de modifier chaque version lorsque celle-ci est affichée.

   Note

   Même après que vous avez activé le testing A/B, vous pouvez toujours modifier les parties de votre message qui ne font partie d’aucun test. Lorsque vous faites cela, vos modifications affectent toutes les versions (la version A et toutes les versions B), quels que soient le test et le bouton de version actuellement sélectionnés. Mais si vous modifiez un paramètre qui est activé pour tester, vous modifiez uniquement la version sélectionnée à l’aide des boutons Version A et Version B. N’oubliez pas que la version A est la même pour tous les tests, mais la version B est unique pour chaque test.

   Soyez prudent lors de l’ajout de nouveaux éléments de conception à un message qui possède déjà un paramétrage du test du corps. Après cela, assurez-vous toujours que vos nouveaux éléments sont entièrement définis avec le contenu et les paramètres appropriés pour chaque version de chaque test.

7. Lorsque vous avez terminé de configurer vos conceptions et un nouveau test A/B, sélectionnez Mettre en service pour rendre votre message disponible pour une utilisation avec un parcours du client.

Se préparer à exécuter votre test à partir d’un parcours du client

Lorsque votre courrier électronique est prêt à tester, utilisez un parcours du client pour l’envoyer. Vous pouvez inclure des messages électroniques de test A/B de tout type de parcours, indépendamment de la complexité, et inclure des parcours que vous utilisez dans une campagne de production. La stratégie est d’envoyer chaque conception à une petite partie du segment complet ciblé par le parcours, d’attendre de voir comment les destinataires réagissent à chaque version du message, puis d’envoyer le message le plus performant au reste du segment. Vous pouvez choisir quelles sont les meilleures conditions (le plus de clics ou le plus d’ouvertures), ainsi que la durée d’exécution du test.

Important

Pour produire des résultats de tests fiables, vous devez toujours envoyer chaque version (A et B) à un minimum de 100 destinataires avant de permettre au système de choisir un gagnant. Un paramétrage recommandé classique utilise un segment de 1 000 membres (ou plus), avec une distribution de test qui envoie la version A à 10 % du segment, la version B à encore 10 %, puis envoie la conception gagnante aux 80 % restants.

Il est possible d’effectuer un test A/B avec un seul ou quelques destinataires seulement pour chaque version, mais cela peut souvent provoquer une répartition inégale ou non aléatoire des versions et des résultats finaux non fiables. Il est recommandé de le faire uniquement lors de l’expérimentation avec la fonctionnalité.

Pour ajouter un test A/B à un parcours :

1. Configurez votre parcours comme d’habitude, et veillez à inclure une ou plusieurs vignettes de courrier électronique où placer vos messages électroniques de test A/B.

2. Sélectionnez une vignette de courrier électronique pour inclure votre pipeline de parcours et ouvrez l’onglet Propriétés dans le volet latéral pour démarrer la configuration de la vignette.

3. Dans le champ Message électronique de marketing dans le volet Propriétés, sélectionnez le message électronique que vous définissez pour le test A/B. Notez que lorsqu’un message qui a un ou plusieurs tests A/B conçus pour lui, la vignette affiche des icônes A et B dans le coin. Celles-ci sont affichées en gris pour l’instant car vous n’avez pas encore installé le test de cette vignette (elles deviendront bleues une fois que vous aurez activé le test).

   

4. Faites défiler vers le bas dans le volet Propriétés jusqu’à ce que le commutateur Tests A/B s’affiche puis sélectionnez-le pour activer le test. Cela ouvre les paramètres de test A/B.

   

   Note

   Si vous sélectionnez un courrier électronique avec des structures A et B mais que vous n’activez pas le test A/B pour la vignette, la version A est envoyée à tous les destinataires.

5. Définissez les paramètres suivants pour installer le test :

   • Choisir le test A/B : Votre conception de courrier électronique sélectionnée doit posséder au moins une configuration de test qui n’a pas été utilisée, mais elle peut en posséder plus. Sélectionnez le nom du test que vous souhaitez exécuter sur cette vignette. Vous pouvez exécuter au plus un test à la fois.
   • Distribution A/B : Paramétrez le curseur pour choisir le nombre de contacts (en pourcentage du nombre total de contacts dans le segment cible) que vous souhaitez inclure dans le test. La moitié du public test recevra la version A, et l’autre moitié recevra la version B. Tous les contacts de test, et les versions que chacun reçoit, sont sélectionnés de manière aléatoire.
   • Mesure de réussite : Choisissez si vous décidez que la conception gagnante est basée sur le taux de clics (fréquence de clics d’un destinataire sur un lien dans le message) ou sur le taux d’ouvertures (fréquence d’ouverture d’un message d’un destinataire). Dans les deux cas, la version gagnante est celle qui produit le plus de clics ou d’ouvertures en tant que proportion du nombre total d’envois de la version.
   • Durée du test : Utilisez les paramètres pour établir la durée d’exécution du test. Pour de meilleurs résultats, il est recommandé d’exécuter chaque test pendant au moins 24 heures, ou plus longtemps si possible en particulier si vous ciblez un public mondial (pour compenser les fuseaux horaires). À la fin de cette période, le système analysera les résultats et enverra la conception gagnante aux contacts restants du segment. Les contacts ayant reçu la conception « perdante » ne recevront pas à nouveau la version gagnante.
   • Si les résultats sont peu concluants, envoyer : Choisissez quoi faire si le test ne produit pas de version gagnante claire. Dans ce cas, vous pouvez choisir d’envoyer la version A, la version B, ou un fractionnement aléatoire à 50/50 des deux versions à tous les contacts restants.

   Note

   Le gagnant est sélectionné à l’aide d’une hypothèse nulle. Pour les grands ensembles avec au moins 1 000 contacts, le niveau de confiance pour la variante gagnante doit être d’au moins 95 %. Pour les ensembles plus petits, le niveau de confiance peut être plus bas, de l’ordre de 80 %. Si les variantes diffèrent de quelques contacts seulement, les résultats du test seront probablement jugés non concluants.

   En d’autres termes, le gagnant d’un test A/B n’est pas automatiquement la variante avec le plus de contacts. Au lieu de cela, le gagnant est la variante qui affiche un résultat statistiquement significatif.

6. Terminez la configuration de votre parcours comme d’habitude et mettez-le en service.

Surveillez le cycle de vie de vos tests A/B

Chaque test défini pour un message électronique donné ne peut être exécuté qu’une seule fois. Dès le démarrage du traitement d’un test par un parcours client, ou quand il a été traité, vous ne pourrez pas l’utiliser de nouveau avec aucun autre parcours client. Par conséquent, vous voudrez parfois essayer d’installer un test A/B pour une vignette de courrier électronique dans un parcours client et serez étonné de ne pas pouvoir sélectionner le test que vous voulez exécuter. Dans ce cas, vous pouvez simplement ajouter un autre test.

Pour afficher le statut d’exécution de chaque test A/B défini dans un message électronique, ouvrez le message et développez le volet Tests A/B. Chaque test disponible pour le message est répertorié sous un des en-têtes suivants : Chaque en-tête comprend un bouton Développer/Réduire pour afficher ou masquer les tests dans chaque catégorie.

• Brouillon : Voici des tests qui n’ont pas encore été exécutés, ce qui vous permet de modifier leurs paramètres et de les choisir lors de la configuration d’une vignette de courrier électronique pour un parcours client.
• Planifié: ce sont les tests qui sont déjà configurés pour être exécutés par un parcours du client, mais ce parcours n’a pas encore démarré. Leurs paramètres sont verrouillés et vous ne pouvez les exécuter dans aucun autre parcours client.
• En cours : Voici des tests en cours d’exécution. Leurs paramètres sont verrouillés et vous ne pouvez les exécuter dans aucun autre parcours client.
• Terminé : ce sont les tests qui sont terminés et ne peuvent pas être réutilisés. Pour afficher les résultats, accédez au parcours client sur lequel vous avez exécuté le test.

Inspecter les résultats de votre test

Vous pouvez vérifier la progression et les résultats de vos tests A/B à tout moment en examinant les vignettes de courrier électronique de votre parcours du client. Pour ce faire :

1. Ouvrez le parcours du client.

2. Sélectionnez la vignette de courrier électronique sur laquelle vous exécutez un test A/B.

3. Faites défiler vers le bas le volet Données de la vignette de courrier électronique sélectionnée. Vous verrez un affichage qui indique le nom du test, le pourcentage de contacts auxquels vous avez envoyé chaque version (y compris la version gagnante), la durée du test restante et la conception déclarée gagnante (si le test est fini).

   

4. Sélectionnez le lien Détails de la vue pour obtenir bien plus d’informations sur les résultats du test. Cela ouvre une boîte de dialogue qui affiche les indicateurs de performance clés pour chaque conception lors du test. Pour plus d’informations sur les indicateurs de performance clés et comment les interpréter, consultez le glossaire d’informations.

   

Vous pouvez également afficher les résultats d’un test A/B en ouvrant le message lui-même. De là, ouvrez le volet Test A/B, développez la catégorie de test Terminé et sélectionnez le bouton Informations sur le test pour le test que vous souhaitez afficher.

Remplacer la version A par la version de B une fois qu’un test est terminé

Quels que soient les résultats d’un test A/B, la version A demeurera la version standard du message. Les tests suivants seront effectués par rapport à la version A, et tous les parcours du client qui n’exécutent pas de test A/B enverront la version A à tout le monde. Par conséquent, et notamment lorsque la version B remporte un test, il est préférable de faire de la version B la nouvelle version A pour la suite.

Avertissement

Lorsque vous remplacez la version A par la version B, la version A est définitivement supprimée et remplacée par la version B du test sélectionné. Vous ne pouvez pas annuler cela.

Pour remplacer la version A par la version B d’un test sélectionné :

1. Ouvrez le message où le test A/B est terminé.

2. Développez le volet Test A/B pour afficher la liste des tests.

3. Développez la catégorie de test Terminé dans le volet Test A/B.

4. Sélectionnez le test où la version B est celle dont vous voulez faire la nouvelle version A et sélectionnez le bouton Remplacer par la version B.

   

5. Vous êtes invité à confirmer l’action. Si vous êtes certain(e) de vouloir continuer, confirmez, puis enregistrez votre message.