本日もメール配信システム「ワイメール」の公式コラムをご覧いただきありがとうございます。
ワイメールVer2.28において、長らくご希望をいただいていたABテスト機能がついに実装されました。
また、先日公開されたVer2.29ではABテスト画面の表示を一部調整し、より使いやすく改良しています。
第1回では、ABテストの概念や一般的な手法についてお伝えしました。
今回のコラムでは、ワイメールのABテスト機能をどのように使用するかについてお伝えしていきます。
目次
ワイメールのABテスト機能の使い方
Ver2.28にて追加されたABテスト機能は、号外記事の下書きを利用して、2種類の記事を同一の読者群に均等に配信するものです。
ここでは、実際のスクリーンショットを用いながら、ABテスト機能の使用の流れについて解説していきます。
号外下書き記事を用意する
まず初めに、Aパターン、Bパターンそれぞれに使用する号外下書き記事を用意します。
今回は、メール本文内のハイパーリンクの表示が、以下のどちらの方がクリック率がいいのかを検証するという目的の元、ABテストを行うと仮定してみます。
まずはAパターンとして配信するリンクが「ワイメール」になっている記事を用意しました。
クリック測定結果をもとにABテストの結果判定を行うので、忘れずに「URLのクリック率を測定する」にチェックを入れて、「下書き保存」ボタンで下書きとして記事を保存します。
次に、Bパターンの下書き記事を用意します。
件名と、本文内の「ワイメール」を「https://www.y-ml.com/」に変えるだけなので、今回は号外記事の予約状況一覧ページから、Aパターンの記事をコピーして新しい記事を作成します。
Bパターンの記事も同様に「下書き保存」ボタンをクリックして保存したら、これでABテストを行う前準備は完了です。
ABテスト条件を設定する
号外記事の予約状況一覧ページを開くと、下部に「下書きからABテスト」ボタンが表示されています。
Aパターン/Bパターンそれぞれで、ドロップダウンメニューから下書き記事を選んで決定ボタンを押すと、件名と本文がセットされます。
次に、ABテストの条件を設定します。
テスト比率は、配信対象の読者群のうち、実際にAパターンとBパターンのどちらかを配信して反応を見る読者群の比率です。両パターンは配信数が同数になるように自動で調整されます。
テスト期間はABテスト配信の最後の読者へのメール送信が完了してから、AパターンとBパターンのどちらが勝利したのかを集計するまでの時間です。
判定基準は勝利パターンを決める基準になる値です。「クリック数」または「開封数」が選択できます。（今回は「クリック数」を利用する前提で解説しています）
1,000件のメールアドレスが配信対象で、配信対象の50%にABテスト配信を行う場合、まずAパターン250件、Bパターン250件が交互に配信され、両パターン合計で500件に配信が完了した時点で配信待機状態に移行します。
配信待機状態とは、配信を行わずに、すでに配信した2パターンの記事が、どの程度のクリック数を獲得するかを待機して調べている状態となります。
その後、テスト期間が経過し、その時点で判定基準に基づいて勝利したパターンが残りの500件に配信されます。
テスト比率を100%にした場合は配信対象すべての読者にAパターン/Bパターンが交互に配信されます。
ABテスト配信開始
両パターンの記事を設定し、テスト条件を入力したらページ下部の「確認画面へ」ボタンをクリックします。
また、配信対象の読者を絞りたい場合は、ここで配信フィルタを設定することが可能です。
ABテスト配信の確認画面も、通常の号外記事の確認画面とほぼ変わりませんが、両パターンの記事内容が表示されるほか、前のページで設定したテスト条件が表示されます。
内容を確認し、配信前の同意にチェックを入れて「はい」を押すことで、ABテスト配信が開始されます。
配信が開始された後は、通常の号外配信と同様に配信完了を待つだけです。
ABテストはAパターンが優先
Aパターン、Bパターンを配信する読者は配信ごとに同数ランダムに選出され、時間帯による偏りがないように両パターンを交互に配信するなど、ワイメールのABテスト配信はAB両パターンを可能な限り同条件で勝敗をつけられるように工夫されています。
しかし、テスト比率が100%で、配信対象の読者が奇数の場合では、ABを同数にできないため、Aパターンの方が1件多く配信されます。
また、勝敗判定時にAパターンとBパターンのクリック数または開封数が同値だった場合はAパターンを勝利パターンに決定します。
可能な限り公平に勝利パターンを選出していますが、上記のようなケースでは原則的にAパターンが優先されるため、本命のパターンがある場合はAパターンにセットしておくとよいかもしれません。
配信履歴の見かた
配信状態
ABテスト配信は配信準備中、配信完了を除けば3段階の状態を遷移します。
まずABテスト配信が始まると、1回目の「配信中」状態になります。
これはAB両パターンを配信していることを示し、件名が「ABテスト計測中…」になっています。
AB両パターンの配信が完了すると、「AB計測中(判定待機中)」状態に移行します。
この状態は、テスト条件で設定したテスト期間の時間が経過するまで続きます。
テスト期間が終了すると、自動でABテストの勝敗判定が行われ、勝利パターンが残りの読者に配信されます。
この際に2回目の「配信中」状態になり、件名には勝利パターンの件名が表示されます。
配信履歴詳細
履歴詳細ページでは、通常の号外配信などと同様の到達状況などを確認できます。
下にスクロールすると、ABテストの結果と各パターンの件名や本文、添付ファイルが表示されます。
「ABテスト」欄にはABテストの条件と、判定の結果が表示されます。
「全体」のタブには、勝利したパターンが表示されます。
また、この配信履歴をコピーして新しい号外記事を作成した場合、勝利パターンの内容がコピーされます。
ABテスト配信が行われても、それに使用した下書き記事は削除されないので、もし敗北したパターンの内容をコピーしたい場合は下書き記事をコピーしてください。
配信を途中で停止・再開する
3段階の配信状態のいずれの状態でも、手動での配信停止処理が可能です。
状態に「配信中」と表示される、ABテスト配信と勝利パターン配信の途中で、配信履歴詳細ページで「配信を停止する」「配信を再開する」ボタンをクリックした場合、通常の号外配信履歴と同様にその時点で配信の停止・再開が行われます。
「AB計測中(判定待機中)」では、配信停止ボタンが「勝利パターン配信の待機を停止する」ボタンに切り替わります。
これをクリックすると、確認画面の表示後に、ABテストの勝敗判定ならびに勝利パターンの配信が保留されます。
勝敗判定が保留されていても、クリック数や開封数の計測自体は継続します。
また、この状態で「勝利パターン配信の待機を再開する」ボタンをクリックすると、確認画面にて、テスト期間の短縮または延長が行えます。
「テスト配信が終わった時間が夕方なので、勝敗判定は一晩待った後のクリック数で決定し、翌日9時ごろから勝利パターンの配信を行いたい」などのニーズにも応えることが可能ですので、ご活用いただければ幸いです。
最後に
今回のコラムでは、ABテストの概要やメリットについて解説した第1回に続き、ワイメールでABテストを行う方法について解説しました。
長らくご要望をいただいていたABテストもついに実装に至り、お客様のメールマーケティングの一助になれば幸いです。
今後も、お客様のご要望をもとに、より使いやすいメール送信システムを目指してまいりますので、機能追加や改善のご要望などがございましたら、お問い合わせページよりご送信いただけますようよろしくお願い申し上げます。
免責事項
当コラムの内容は、コラム執筆時点での内容です。今後のバージョンアップ等により、仕様やインターフェイスが変更になる場合がございます。