メールのA/Bテストとは？イベント告知での例

A/Bテストで実際に比べるもの

まず対象、目的、AとBの2案を決めます。案内する内容、承認済みのイベント情報、遷移先、計測期間をそろえ、仮説で指定した要素だけを変えます。件名、差出人名、本文、送信時間などが例です。利用するメールサービスが対象者を案ごとに割り当て、結果を別々に報告できる必要があります。自動表示される「勝者」は、そのサービスで設定した指標と規則によるものです。全員の好みや別のイベントでの結果まで証明しません。[1]

次の行動につながる問いを選ぶ

テスト後にどう判断するかを問います。たとえば「登録締切を示す件名は、基調講演を示す件名より適切な訪問を増やすか」です。両案とも同じ対象者に対して正確でなければなりません。登録リンク、言語、主要な情報が未承認なら、細かな文言の比較より先に修正します。また、緊急の運営連絡を反応率の最適化のために遅らせてはいけません。承認された経路で正しい案内を速やかに送ります。

案を作る前に仮説を書く

対象者、変える要素、予想する方向、その理由を記録します。「[イベント]の招待者では、登録行動を示す件名の方が、テーマ中心の件名より適切なクリックが増える。次の行動が明確だから」は検証可能です。プレビューテキストも含めAとBを全文で書き、別の変更が紛れ込まないようにします。件名と本文を同時に変えると、どちらの影響か分かりません。Aをわざと弱い案にせず、どちらも役立つ内容にします。承認済み情報の同じ資料で確認し、本番前に両案のテストメールを送ります。[1]

比較できる対象者を確保する

配信許可、言語、イベントへの関心、除外条件は、割り当て前にAとBで同じルールにします。送信サービスが無作為割り当てに対応する場合は利用し、異なる属性の人へ意図的に別案を送ることを避けます。対応機能、対象者の配分、自動判定の規則はサービスやプランによって異なるため、現行設定を確認します。同じ人へ両案を送り、2グループの比較とは呼ばないでください。多言語配信では、適切な言語内で比較するか、各案の言語構成を記録します。翻訳差をメールの効果と取り違えないためです。[1][2]

判断に結び付く結果を決める

主要指標を先に1つ選び、AとBで同じ定義にします。件名の比較なら、サービスが報告できる場合、配達されたメール当たりの登録リンクのユニーククリックなどが候補です。登録完了はイベントの目標に近いものの、割り当てた案と登録を確実に結び付け、重複を避けられる場合に限ってテスト結果にします。クリックは販売ではなく、販売したチケットは来場確認でもありません。各数値に分母、計測期間、データ源を添えます。配信停止や返信も補助的に見られますが、結果を見てから勝敗の基準を変えません。[1][3][4]

送信を運営上の引き継ぎとして扱う

開始前にイベント責任者が対象者、両案、測定規則を承認し、メール担当者がサービス上の割り当てと報告を確認します。各案から実際のチケット選択と確認までを試します。公開イベントページがBoletolibre.com上にあるなら実際のURLを使って経路を確認します。これはBoletolibreにキャンペーンのA/B機能があるという意味ではありません。期間限定の案内が終わる前に結果を観察できるよう、判断時点を決めます。事実、リンク、在庫が変わったときに誰が停止するかも記録します。残りの対象者へ「勝者」を自動送信できると決めつけず、利用サービスの最新手順に従います。[2]

結果を言い過ぎずに読む

予定した時点で各案の割り当て数または配達数、主要な結果の件数、率、欠測を記録します。同じ期間の同じ指標を比較します。単純なクリック総数が多いのは、配達数が多いだけかもしれません。Bが良く見えても、役立つ訪問につながったか、次の判断を変えるほどの差かを考えます。小さな集団や僅差なら結論保留も適切で、再テストは有効な判断です。テスト中に価格、残席、遷移先、プログラム、対象条件が変われば、サービスの「勝者」表示を証拠とせず、結果に問題があると記します。[3][4]

参加登録メールの例

ある会議のチームが、承認済みの登録案内でプログラムと登録行動のどちらを件名に出すか考えています。Aは「[イベント]のプログラムを見る」、Bは「[イベント]の参加登録を受付中」。プレビュー、本文、チケットページ、送信条件は同じです。サービスが条件を満たす購読者を案ごとに割り当てます。主要指標は配達メール当たりの登録リンクのユニーククリックとし、登録完了は案と注文を確実に結び付けられる場合だけ確認します。Bのクリックが多くても、その結び付きがなければ販売増とは言えません。差が僅かなら再試行できます。

このテストでは分からないこと

1回の配信で全イベントに共通する「最高の件名」は決まりません。対象者、案内内容、言語、時期、計測条件で結果は変わります。配達数の偏り、壊れた遷移先、重複対象者、残席変更、自動訪問も比較をゆがめます。A/Bテストは配信許可と解除の確認、編集、両案の本番前QAの代わりにはなりません。必要なサービス案内や訂正では、正確さと適時の送信を優先します。

テストと判断を文書化する

編集可能なワークシートに仮説、対象条件、承認済み文面、遷移先、主要指標、観測件数、最終判断をまとめます。英語の作業用テンプレートなので、サービスに合わせて項目を調整し、各言語の対象者向けに完成メールを翻訳してください。「結論なし」の選択肢もあり、小規模または中断されたテストの記録にも役立ちます。

メールA/Bテストの設計・判断ワークシートをダウンロード（Markdown、英語）