ABテスト配信

ABテスト配信とは

 AパターンとBパターンのメールを作成し、グループに登録した顧客を指定した割合に分けて、
 それぞれの顧客にAパターンとBターンのメールを別々に配信していきます。
 
 上記の効果測定を踏まえ、効果の高かった方をWINパターンとして残りの顧客へ配信します。
 ※本機能はStandard、Premium、Bridgeプランのみ利用可能です。


 ・効果測定結果:開封数orクリック数÷テスト比率件数
 ※開封数、クリック数どちらを指標とするか指定することができます。
 
 ・メール詳細情報の保持期間は100件
 ※グループ全体で100件を超えたエラーレポート、開封・クリックの顧客情報は削除されます。
 
 ・グループ配信のみ利用できます
 ※スポット配信、ステップメールでは利用できません。

 ・配信した結果は[配信履歴タブ]には表示されません。
  ※ABテスト配信を行った結果は、
  グループ配信>配信グループ一覧>配信グループ管理>A/Bテスト配信 
  からのみご確認いただけます。

  恐れ入りますが、ABテスト配信した履歴は、顧客データベースから顧客を検索し、
  閲覧ボタンを押した際に出てくる[配信メール]欄 や[配信履歴]タブ
  には掲載されません。

ABテストの作成手順

ABテストの作成

 ABテスト配信は「グループ配信」内の各配信グループからのみ行うことが可能です。
 

 
 1:配信を希望するグループにて 「A/Bテスト配信」 項目を選択
 ※「配配メール」Liteプランの場合はグレーアウトになっています。
 
 2:A/Bテスト一覧画面にて「+新規作成」を選択
 
 3:テスト内容の選択 「テスト名」/「テスト比率」/「テスト期間」/「 判定基準」を設定
 
 4:「メールの作成」>「メール内容確認」>「配信リストの作成」>「配信方法の選択」
 

項目名詳細
テスト名ABテストの名称(受信者には表示されません)
テスト比率ABテストを行う比率(リスト数が10,000件で比率を10%にした場合)
※A:総数の5%、総数のB:5%、本配信は総数の90%に配信
テスト期間ABテスト配信の効果を測定する時間
※設定した期間後に効果の高い方をWinパターンとして本配信します
判定基準判定基準を「開封率」か「ユニーククリック率」の何れかより選択
Winパターン効果測定期間に事前に決めた判定基準を基にした効果の高い方のメール

ABテストで配信するメール内容の作成

名称詳細
タイプA / タイプBパターンの作成画面を切り替えることができます
タイプBの内容をコピーもう一方のパターンに入力されている内容をコピーします
※ブランクでも空の内容がコピーされ、取消はできません。
エディタを使わない(使う)に切り替えHTMLエディタの利用有無を切り替えます
※HTMLエディタ(オプション)を利用中の方のみに表示

 タイプA/タイプB として二つのパターンのHTML形式のメールをそれぞれ御作成ください。
 テキスト形式のメール内容のみで、A/Bテスト配信を行うことはできません。
 ※作成したメール内容は通常のグループ配信などで再利用できません。
 
 ※判定基準を『ユニーククリック率』としている場合は、HTML・テキストの本文双方に
  クリックカウントを取るためのURLリンクを入力・設定してください。
 

ABテスト配信における配信リストの作成

 一般のグループ配信等と同様に 配信リストを【詳細検索】【絞込条件】 を元に抽出できます。
 配信グループに所属する全リストを配信対象とする場合 は特に操作は不要です。
 

 
 配信リストの件数 1.テスト内容の選択にて定めたテスト比率の割合に応じ、A/Bパターン、
 Winパターンで送られる件数がそれぞれ表示されます。

 ABテスト配信時のリスト数に関する注意点

 
 一般的に適切な検証結果を得るためのリストの数値目安は 2,000件 と言われております。
 配信は行えますが、各タイプの配信数が 2,000件未満の場合は 警告文が表示されます。

ABテスト配信における配信日時の指定

 配信内容の作成とリストの確定が終わりましたら、配信する日時をプルダウンで指定します。
 ※ABテスト配信では即時配信はできません。
 

※日時を指定して「確定」ボタンを押すと配信予約が完了します。

ABテスト配信における配信結果

 A/Bテスト配信 画面のテスト名をクリックするとテスト内容の詳細を確認頂けます。
 メールの内容を確認する場合は『メール内容を確認する』をクリックしてください。
 

 ABテストにおけるステータス表示一覧

ステータス説明
一時保存中ABテストの一時保存中
配信待ちABテスト配信の待機中
配信中ABテスト または WIN配信中
効果測定中ABテストの効果測定中
配信完了WIN配信中
キャンセルABテストのキャンセル

 Win配信の配信数・効果測定結果

 
 A/B配信の結果(Bの勝利)

 BパターンがWinパターンとして 本配信された場合、Winパターンの配信数・測定結果は
 Bパターンとして加算されるようになります。

 A/B テスト 配信後にされた本番配信の配信数、クリック数や開封数の数値等については
 Winパターンとなった方に加算されるようになります。

その他の仕様について

 ・テスト配信前に配信対象顧客が「配信停止」「配信禁止」になった場合

 ■ 配信リストを確定するタイミング「配信直前」の場合は
 → 配信割合が同率になるよう、配信数を調整します
 
 ■ 配信リストを確定するタイミング「メール作成時」の場合は
 → 配信数の調整は行われません(A/Bの配信数に差異がでる可能性があります)
 
 ・テキストメールのみの配信はできません。
  オプション契約時はレスポンシブ対応エディタのみご利用いただけます。
 
 ・ ABテストで作成したメールは、再作成などで利用できません。
  通常の配信で利用したい場合、事前のテンプレート登録などを活用ください。
 
 ・ABテスト配信のメール詳細情報の保持期間は100件までです
 ⇒対象: 配信のエラーレポート/HTMLメール開封の顧客情法/URLクリックの顧客情報
 
 ・A/Bパターンの効果測定結果が同率だった場合、Aパターンが配信されます。