Was ist ein E-Mail-A/B-Test? Ein Beispiel für Events

Was ein E-Mail-A/B-Test vergleicht

Beginne mit einer Zielgruppe, einem Zweck und zwei Varianten A und B. Angebot, freigegebene Eventdaten, Zielseite und Messzeitraum bleiben gleich. Ändere nur das Element der Hypothese, etwa Betreff, Absendername, Inhalt oder Versandzeit. Der E-Mail-Dienst muss berechtigte Empfänger aufteilen und Ergebnisse getrennt ausweisen können. Ein automatisch als „Gewinner“ markierter Entwurf ist nur nach den dort eingestellten Regeln und Kennzahlen vorn. Daraus folgt weder eine allgemeine Vorliebe aller Empfänger noch ein gleiches Ergebnis beim nächsten Event.[1]

Wähle eine Frage mit anschließender Entscheidung

Eine brauchbare Frage benennt, was du nach dem Versand tun wirst: „Bringt ein Betreff mit Anmeldeschluss mehr passende Besuche als ein Betreff zum Hauptvortrag?“ Beide Varianten müssen wahr und für dieselbe Zielgruppe geeignet sein. Eine kleine Textvorliebe ist keinen Test wert, solange Link, Sprache oder zentrale Eventdaten nicht freigegeben sind. Behebe das zuerst. Verzögere auch keine dringende organisatorische Mitteilung, um Interaktion zu optimieren: Verschicke die richtige Anweisung über den festgelegten Kanal.

Formuliere die Hypothese vor den Varianten

Halte Zielgruppe, eine Änderung, erwartete Richtung und Begründung fest. „Bei den Eingeladenen zu [Event] führt ein Betreff mit klarer Anmeldehandlung zu mehr passenden Klicks als ein thematischer Betreff, weil der nächste Schritt deutlicher ist“ lässt sich prüfen. Schreibe A und B vollständig auf, einschließlich Vorschautext, damit keine zweite Änderung unbemerkt hinzukommt. Wenn Betreff und Textkörper zugleich wechseln, bleibt der Einfluss unklar. Beide Varianten sollen nützlich sein; A ist keine absichtlich schlechte Kontrolle. Prüfe sie anhand derselben freigegebenen Eventdaten und sende Testmails für die Produktionskontrolle.[1]

Sorge für vergleichbare Empfängergruppen

Für A und B gilt dieselbe Eignungsregel. Einwilligung, Sprache, Eventinteresse und Ausschlüsse werden vor der Zuteilung festgelegt. Wenn dein Anbieter eine zufällige A/B-Zuteilung unterstützt, nutze sie, statt Varianten bewusst an unterschiedliche Menschen zu schicken. Prüfe aktuellen Tarif und Einstellungen: Funktionen, Aufteilung und automatische Gewinnerregeln unterscheiden sich. Sende nicht beide Varianten an dieselbe Person und nenne das einen Gruppenvergleich. Bei mehrsprachigen Kampagnen vergleiche innerhalb einer passenden Sprachgruppe oder dokumentiere die Sprachmischung je Variante. Sonst wirkt ein Übersetzungsunterschied wie ein E-Mail-Effekt.[1][2]

Lege ein entscheidungsrelevantes Ergebnis fest

Wähle vorab eine primäre Kennzahl mit derselben Definition für A und B. Für Betreffzeilen eignen sich etwa eindeutige Klicks auf den Anmeldelink je zugestellter Mail, sofern der Anbieter sie meldet. Eine abgeschlossene Anmeldung liegt näher am Eventziel, ist aber nur dann Testziel, wenn sie zuverlässig der zugeteilten Variante zugeordnet und nicht doppelt gezählt werden kann. Ein Klick ist kein Ticketkauf, und ein verkauftes Ticket ist keine registrierte Anwesenheit. Notiere Nenner, Zeitraum und Datenquelle zu jeder Zahl. Abmeldungen oder Antworten können ergänzen, doch die Gewinnerregel darf nach Sichtung nicht gewechselt werden.[1][3][4]

Behandle den Versand als Übergabe

Vor dem Start gibt die Eventverantwortung Zielgruppe, beide Varianten und Messregel frei. Die E-Mail-Betreuung bestätigt Aufteilung und Berichte beim gewählten Anbieter. Prüfe in jeder Variante den echten Weg über Ticketauswahl bis zur Bestätigung. Liegt die öffentliche Eventseite auf Boletolibre.com, verwende ihre tatsächliche URL und prüfe diesen Weg; daraus folgt keine A/B-Funktion von Boletolibre. Setze die Auswertung so an, dass das Ergebnis vor Ablauf eines zeitkritischen Angebots eintreten kann. Halte fest, wer bei Änderungen von Fakten, Link oder Bestand stoppt. Folge den aktuellen Anbieteranweisungen; nicht jeder Dienst schickt automatisch einen „Gewinner“ an den Rest.[2]

Interpretiere ohne Übertreibung

Zum vereinbarten Zeitpunkt notierst du je Variante zugeteilte oder zugestellte Anzahl, primäre Ereignisse, Rate und fehlende Daten. Vergleiche dieselbe Größe im selben Zeitraum. Mehr Klicks insgesamt können nur an mehr zugestellten Mails liegen. Scheint B besser, prüfe, ob die Besuche nützlich waren und ob der Abstand die nächste Entscheidung verändert. Kleine Gruppen und geringe Abstände können unentschieden bleiben; Wiederholen ist eine gültige Entscheidung. Ändern sich währenddessen Preis, Bestand, Zielseite, Programm oder Eignung, kennzeichne das Ergebnis als beeinträchtigt statt eine Gewinneranzeige als Beweis zu nehmen.[3][4]

Beispiel einer Anmelde-E-Mail

Ein Konferenzteam hat eine freigegebene Anmeldemail und fragt, ob der Betreff das Programm oder die Anmeldung betonen soll. A lautet „Entdecke das Programm von [Event]“, B „Die Anmeldung für [Event] ist offen“. Vorschautext, Text, Ticketziel und Versandkontext sind gleich. Der Anbieter verteilt berechtigte Abonnenten. Primär werden eindeutige Klicks auf den Anmeldelink je zugestellter Mail verglichen. Abgeschlossene Anmeldungen werden nur dann als Ergebnis betrachtet, wenn Variante und Bestellung zuverlässig verbunden werden können. Hat B mehr Klicks ohne diese Verbindung, lautet die Aussage „mehr Klicks“, nicht „mehr Verkäufe“. Bei geringem Abstand kann das Team wiederholen.

Was der Test nicht beweist

Ein Versand liefert keinen dauerhaft „besten“ Betreff für alle Events. Ergebnis und Gültigkeit hängen von Zielgruppe, Angebot, Sprache, Saison und Messung ab. Ungleiche Zustellung, eine defekte Zielseite, doppelte Empfänger, veränderte Ticketbestände oder automatisierte Besuche können den Vergleich verzerren. Der Test ersetzt weder Einwilligungs- und Abmeldeprüfung noch Redaktion und Produktionskontrolle beider Varianten. Bei einer notwendigen Servicemitteilung oder Korrektur gehen Richtigkeit und rechtzeitige Zustellung vor.

Halte Test und Entscheidung fest

Das bearbeitbare Blatt bündelt Hypothese, Zielgruppenregel, freigegebene Texte, Zielseite, Hauptkennzahl, Beobachtungen und Entscheidung. Es ist eine englische Arbeitsvorlage: Passe Felder an den Anbieter an und übersetze die endgültige E-Mail für jede Zielgruppensprache. „Keine Aussage möglich“ ist ausdrücklich vorgesehen, damit auch ein kleiner oder gestörter Test dokumentiert wird.

Arbeitsblatt für Planung und Entscheidung beim E-Mail-A/B-Test herunterladen (Markdown, Englisch)