読者です 読者をやめる 読者になる 読者になる

後楽園でマーケティングを研究する学生のブログ

マーケティングをサイエンスする

ABテストで確実に成果を出す

コーディング

僕は、インターン先でABテスト案を探すところから、実施するところまで一気通貫で担当してきました。 本などでよくPDCAが大事だということを目にしていましたが、実際に運用してみて本当にPDCAが大事だということを学び、一番は諦めない気持ちだと感じました。 3Qが終わり、一区切りついたので整理していこうと思い、メモります。

この記事のターゲット

ABテストはやったことはあるが目立った成果が出せず、今後の改善に悩んでいる方

この記事を読むメリット

  • ABテストの大まかな流れがわかる
  • ABテストを運用する上でぶつかる壁が見えてくる

ABテストは準備が9割

ABテストの評価はOptimizelyやVWOなどのABテストツールを使っていれば、基本的に自動で判定してくれます。
しかし実際はどうでしょうか?
これは効果がある!」と思っていた改善案でも実際には効果が良いのか悪いのかも分からずに終わってしまうこともあります。
ただ事前の準備をきちんとしていれば、そのようなことも少なくなりますし、何よりも次のテストに活かすことができるのです。
僕はOptimizelyを使って運用していたので、たまに例にあげて説明します。

ABテストを実施するまでの流れ

具体的にどんな準備が必要か紹介する前に、下記にABテストを実施する流れを大まかに紹介します。

  1. 改善するページの探索
  2. 改善案の考案
  3. ABテストの設計&実行
  4. 結果の評価&分析

なぜこの順番なのか。 それは、ABテストは基本的に成果が上がるまで同じページで行ったほうが、成果がでやすいからです。 なので、最初に改善するページを決めます。 それから改善案を考えます。 成果が上がるまで粘り強く同じページで改善を続けて、コツコツ進めていきましょう。

僕はこのような流れでABテストを運用していました。 この中で特に大事なのは、2,3の手順です。

では、流れを一つ一つ細かく見ていきます。

1.改善するページを決める

条件は少ないですが、特にABテストで改善したいゴールは何かを明確にしておくようにしてください。

  1. 流入数はテストできるだけあるか
  2. ゴールに近いページかどうか(たいていはフォーム画面になると思います。)
  3. モバイルとPCは原則テストを分ける

A/B Test Sample Size Calculatorでテストで効果があるかないか判定だきるだけの流入数があるか参考にすると良いでしょう。
2回目からは、以前のテストの結果を参考にして、流入が足りているか判断していきましょう。
optimizelyの場合、ページの種類によっても異なるので最低でも5000UUはほしいと経験的に感じました。
AAテストをやった時に4000UUでもかなり差がついてしまったことがあります。
AAテストというのは同じデザインのページを二つ用意して、それぞれの成果を見比べるテストです。主にテストツールの精度を測るために行います。

また基本的にモバイルページとPCページは別サイトとして、テストを分けることをおすすめします。
流入数もデバイスによって異なりますし、レイアウトやデザインも異なるからです。

2.改善案をきめる

改善案を考える上で、大事なのは、見た目の違いがあるデザインかどうかです。
例えば、アイキャッチ画像を変更したり、2カラムレイアウトを反対にしたり、色を大きく変更したりです。
文字サイズをちょっと大きくしたり、小さくしたりするのは効果がでにくいです。

ユーザーがその改善案の違いで行動を変えるくらいの変化でなければ、改善につながりません。
なので本当に細かい修正はテストなしでやってください。工数の無駄なので。
また、いくらテストできるからと言っても、工数がかかるので、優先順位を考えなくてはなりません。

ではどのように優先順位を考えると良いのでしょうか(ここでは改善案のアイデアだしはすでに済んでいるものとします)。

  1. 改善率が大きくなりそうかどうか(直感)
  2. 素早くPDCAが回せるかどうか

改善率が大きくなりそうかどうかは直感で良いと思います。
試してみないとわかりませんが、結局は人間が利用するものなので、直感的に改善しそうと思ったものから試したほうが良いと思います。

テスト設計に時間がかかりすぎてしまうと、高速なPDCAを回せなくなってしまいますので、他のテストを実行中に準備するなど時間の使い方を工夫しましょう。
キャッチコピーの変更やアイキャッチ画像の変更などであれば、すぐに次のテストを回すことができるので優先順位は高くなります。
ポップアップなどは実装が少し大変な上に、次のテストに結びつけるのが、少し難しくなるので、優先順位は下がります。ただし、改善率が高そうであれば、試します。

3.ABテストを設計し実行する

どの改善案を試すか決まったら、ABテストの設計をしていきます。
テスト設計で必要なもの

  1. ターゲット設定
  2. ゴール設定
  3. テスト前確認

ターゲット設計は主にデバイスを分けるように設定します。
ゴール設定はOptimizelyでは指定ページへの到達だけでなく、要素のクリック率やクリック数も測ることができます。
なるべく少ないゴールを設定し、見る数字を絞りましょう。またゴールの優先順位も決めておきましょう。

テスト前確認は必ず行いましょう。
フォーム画面では最悪の場合、コンバージョンボタンを押しても予約されなかったり、購入できなかったりすることもあります。
テスト前確認は意外と時間がかかりますので、その時間的コストを頭にいれつつ設計したいものです。

4.結果の評価とその分析

結果の評価自体はとても簡単です。
Optimizelyの場合は統計的有意性に基づいた結果を自動的に計算してくれます。
ゴールと流入数さえ、きちんと準備すれば、そのテストの効果があったのかなかったのかを判断してくれます。
テストの結果には次の4つのタイプがあります。

  • 統計的有意性があり、結果が良くなっていた
  • 統計的有意性があり、結果が悪くなった
  • 統計的有意性は無いが、結果が良くなっていた
  • 統計的有意性が無いが、結果が悪くなっていた

この中で統計的にきちんと改善できたと言って良いのはどれでしょうか?
正解は一番上のもののみです。
詳しく書くと、
2つ目は統計上、悪くなった。
3つ目と4つ目は、AパターンとBパターンに差があるとは言い切れなかった。(決断を保留にする。)
と判断します。
Optimizelyの場合は、検定方法にベイズ検定を中心とした独自の検定を行っています。

結果が分かったところで、高速にPDCAを回すためには次のPlanにどう結びつけるかが大事です。
なぜその結果になったのか、思い通りのテストになったのか、原因をよく考え、次のテストに反映させていきましょう。
結果が悪かったことで悲観する必要は全くありません。悪かったらその逆のデザインやレイアウトにしてみれば、改善できるはずです。
途中で投げ出さず粘り強くやっていきましょう。

これは半分自分に言い聞かせるために書いています。笑
でもそうやって成果が出たので自信があります。

参考文献

僕がABテストをする上で参考になったサイトを紹介させていただきます。
この下の二つさえあれば、なんとかなるかなと思いました。
他にもたくさんあるので是非見てみてください。
海外の有名IT企業のABテストブログまとめ
ABテストで圧倒的成果を残すためのslideshare資料5選+5記事

ABテスト運用者の方の参考に少しでもなればと思います。