Qu’est-ce qu’un test A/B par e-mail ? Exemple pour un événement

Ce que compare réellement un test A/B

Commencez par un public, un objectif et deux versions A et B. Gardez identiques l’offre, les faits approuvés, la destination et la période de mesure. Ne changez que l’élément de l’hypothèse : objet, nom de l’expéditeur, contenu ou heure d’envoi, par exemple. Le service de messagerie doit répartir les destinataires admissibles et présenter les résultats séparément. Une mention automatique « gagnante » dépend seulement de la mesure et des règles configurées chez ce service. Elle ne prouve ni la préférence de chaque personne ni le résultat d’un autre événement.[1]

Choisissez une question qui mène à une action

La question doit définir la décision suivante : « Un objet annonçant la clôture des inscriptions attire-t-il davantage de visites pertinentes qu’un objet annonçant la conférence principale ? » Les deux versions doivent être exactes et adaptées au même public. Ne testez pas une nuance alors que le lien, la langue ou les faits essentiels ne sont pas approuvés ; corrigez-les d’abord. Ne retardez pas non plus une consigne opérationnelle urgente pour optimiser l’engagement : envoyez rapidement l’information juste par le canal prévu.

Rédigez l’hypothèse avant les variantes

Notez le public, l’unique changement, la direction attendue et son intérêt. « Parmi les personnes invitées à [Événement], un objet indiquant l’action d’inscription produira plus de clics pertinents qu’un objet thématique parce que l’étape suivante est plus claire » est vérifiable. Rédigez A et B en entier, pré-en-tête compris, afin qu’un deuxième changement ne s’ajoute pas discrètement. Si objet et corps changent, leur effet respectif devient incertain. Les deux versions doivent être utiles : A n’est pas volontairement mauvaise. Vérifiez-les avec la même source de faits approuvés et envoyez des messages de test pour le contrôle de production.[1]

Rendez les groupes comparables

Appliquez la même règle d’admissibilité à A et B : consentement, langue, intérêt pour l’événement et exclusions sont fixés avant la répartition. Si le service propose une attribution aléatoire, utilisez-la au lieu de choisir consciemment des profils différents. Vérifiez le forfait et les réglages actuels : fonctions, répartition et règles automatiques varient. N’envoyez pas les deux versions à la même personne en prétendant comparer des groupes. Pour plusieurs langues, comparez au sein d’un groupe linguistique approprié ou consignez la composition de chaque groupe ; un écart de traduction pourrait passer pour un effet du message.[1][2]

Fixez un résultat lié à votre décision

Choisissez d’avance une mesure principale définie de la même façon pour A et B. Pour tester l’objet, il peut s’agir de clics uniques sur le lien d’inscription par message remis, si le fournisseur les rapporte. Une inscription terminée est plus proche de l’objectif, mais ne l’utilisez que si vous pouvez relier de façon fiable cette inscription à la version attribuée sans double comptage. Un clic n’est pas une vente de billet et un billet vendu n’est pas une présence enregistrée. Indiquez dénominateur, période et source avec chaque chiffre. Désabonnements et réponses peuvent être suivis en complément, sans changer la règle de décision après coup.[1][3][4]

Organisez l’envoi comme un passage de relais

Avant le lancement, la personne responsable de l’événement approuve public, versions et règle de mesure. L’opérateur du courrier confirme la répartition et les rapports du service choisi. Testez dans chaque version le vrai parcours : choix du billet, puis confirmation. Si la page publique de l’événement est sur Boletolibre.com, utilisez son URL réelle et vérifiez ce parcours ; cela ne suppose aucune fonction de test de campagne chez Boletolibre. Choisissez une date d’analyse permettant au résultat d’apparaître avant la fin d’une offre limitée dans le temps. Désignez qui peut interrompre l’envoi si un fait, un lien ou le stock change. Suivez les consignes actuelles du fournisseur ; tous n’envoient pas automatiquement une version « gagnante » au reste du public.[2]

Interprétez sans exagérer

À la date prévue, notez pour chaque version l’effectif attribué ou livré, le nombre de résultats principaux, le taux et les données manquantes. Comparez la même mesure sur la même période. Davantage de clics bruts peut simplement venir d’un plus grand nombre de messages livrés. Si B paraît meilleure, demandez si elle a amené des visites utiles et si l’écart importe pour la prochaine décision. Un petit groupe ou un faible écart peut laisser la conclusion ouverte : refaire le test est valable. Si prix, stock, destination, programme ou admissibilité ont changé, marquez le résultat comme perturbé au lieu de prendre le badge « gagnant » pour une preuve.[3][4]

Exemple d’un message d’inscription

Une conférence dispose d’un courriel d’inscription validé et veut savoir si l’objet doit mettre en avant le programme ou l’inscription. A : « Découvrez le programme de [Événement] » ; B : « Les inscriptions à [Événement] sont ouvertes ». Pré-en-tête, corps, page de billets et contexte d’envoi sont identiques. Le fournisseur répartit les abonnés admissibles. L’équipe choisit les clics uniques vers l’inscription par message livré comme mesure principale ; elle n’examine les inscriptions terminées comme résultat que si elle peut relier fiablement version et commande. Si B reçoit plus de clics sans ce lien, la conclusion porte sur les clics, pas sur les ventes. Un petit écart peut justifier un nouveau test.

Ce que le test ne démontre pas

Un envoi ne révèle pas le « meilleur » objet pour tous les événements et toutes les saisons. Le résultat dépend du public, de l’offre, de la langue et du dispositif de mesure. Livraisons inégales, page défaillante, doublons, stock de billets modifié ou visites automatisées peuvent fausser la comparaison. Le test ne remplace ni les vérifications de consentement et désabonnement, ni la relecture, ni le contrôle de production des deux versions. Pour une notification de service nécessaire ou une correction, priorité à l’exactitude et à l’envoi en temps utile.

Documentez le test et la décision

La feuille modifiable réunit hypothèse, règle de public, textes approuvés, destination, mesure principale, chiffres constatés et décision. C’est un modèle de travail en anglais : adaptez les champs au fournisseur et traduisez le message final pour chaque langue. L’option « aucune conclusion » permet de conserver une trace utile même après un test limité ou perturbé.

Télécharger la feuille de conception et de décision du test A/B par e-mail (Markdown, en anglais)