ウェブサイトの改善を行う際、敷居が低くかつ効果を上げやすい手法の１つに「A/Bテスト」があります。
A/Bテストとは、例えばランディングページにおいては、ランダムに２つのページを表示し、それぞれのページごとにコンバージョンレートやランディング後の動きなどを比較して、どちらが効果が高いかを調べ改善につなげる手法です。
しかしこの方法も、きちんとポイントを押さえないとトータルでマイナスになってしまうかもしれません。
そこで今回はOnline Behaviorというマーケティング企業のブログから「A Guide To Running Successful A/B Tests | Testing & Usability」という記事、その内容の一部をご紹介します。
このポイントを押さえると、せっかく行なったA/Bテストの結果を誤って解釈してしまうような事態を避けられる可能性が高くなります。
目次
A/Bテスト（スプリットテスト）を行う際のポイント
先ほどの記事から、チェックリストをご紹介します。どれも、A/Bテストを行う際は持っておくことをお勧めいたします。
１．必ず仮説を先に立てる
事前に「◯◯が変わるはずだ」という仮説をたてる。限定された情報の中で作る仮説なのであっているかもしれないし間違っているかもしれない。
これは大事なことです。なんとなくテストを初めて後から結果を見ても、数値の改善はできるかもしれませんが、その後に繋がるノウハウの蓄積や、その裏に潜む買い手の心理について深く知るきっかけにはならない事が多いです。
極端に言えば「なんか数字が良くなったからこっちにしよう、次はまた何となく２種類作ってみればいいや」という状態です。
先に仮説を立てると以下の様ないいことがあります。
- A/Bテストの結果（CVそのもの以外のサイト内の回遊データ等も）を見た時に、解析ツールの見るべきところが分かる。
- 結果、時間短縮と効率の良い解析を行うことができる
- すると、次の施策を打つことに時間を注げるため、施策の制度とPDCAサイクルの回転速度が上がる
- 仮説の当たり外れを検証していくことで、数値だけではなく、裏の買い手について、より深く理解できる
２．相関関係と因果関係を間違えない
これは良く言われることですね。SEOの世界でよく聞く話です。
例えば「ソーシャルメディアでのシェアやコメントなどのエンゲージメントが順位に影響するか？」でしょうか。Googleは公式には「ソーシャルシグナルは順位に関係ない」と言っています（これが本当かどうかはさておき）しかし「ソーシャルでたくさんエンゲージメントを得られたら順位が上がった」という人もいます。
これは相関関係と因果関係の問題かもしれません。
- ソーシャルで盛り上がった、RTされたシェアされた
- たくさんの人の目に触れて、人によってはブログなどで言及する、掲示板などに書き込む、はてなブックマークに入れる
- Twiter関連サービスに波及して、そこからバックリンクが得られる
- そのサイトの他の記事も見られて認知度が上がり、ファインダビリティが上がる
といった流れで、SEO的に大切なバックリンクなどが得られている結果、順位が上がっている。これはソーシャルシグナルと順位が直接関係しているわけではない（因果関係はない）しかし、往々にしてソーシャルで盛り上がればバックリンクを中心に順位決定にプラスな出来事が起きる（相関関係はある）ということです。
これは、A/Bテストでも言えます。
ただ、究極の因果関係にたどり着くのは恐らく不可能です（最後の最後は脳みその話になります）
ですが、因果関係があるのではなく、相関関係があるだけなのかもしれないという意識を持っておくことは、正しい判断を行うためにはとても大切です。これは「なぜ？」を積み上げるという話にも繋がりますね。
３．統計的有意性が出るようなサンプルサイズを確保してから判断する
統計的有意性について、また、サンプルサイズってどれくらいがいいの？というのはここでは省略します。厳密に統計的有意性を追求し過ぎると逆にPDCAが全然回せなくなってしまうので、ある程度の見切りは必要だと思っています、特にアクセス数が少ないサイト・予算が少ないサイトでは（PPCなども使えないため）。この場合、ある程度ヒューリスティックな判断を入れる必要があるでしょう。
しかし、１日や２日、あるいは100や200の訪問者で良し悪しを判断するのは、あまりに早計です。PDCAサイクルを早めたいどんどん改善したいという気持ちがあるのですが、判断を誤って悪い改善や悪い選択をしてしまう方がトータルでは改善は遅くなります。
…
この記事では「A/Aテストを行う」ことも勧められています。つまり同じ内容でA/Bテストを行うということです。
これによって、同じ内容でもばらつきが出るということを実感できます。
また、得られるサンプルが少ないなら、できるだけバリエーションは少なくした方がいいですね。
4.テストは一時的に行うのではなく常に行い、考え、学び続ける
The environment is dynamic. So should be your ideas and thoughts. Evolve and think forward.
（環境は生き生きと変化している。だからアイディアや考え方もそうすべきだ。思考を進化させて先のことを考えるんだ）you’re not necessarily maximizing your conversion rates by serving only one winning variation to all of your visitor population or by conducting short-term tests.
（１回のA/Bテストで コンバージョンレートを最大化する必要はない（し、できない）、たったひとつのバリエーション、短い期間のテストで）
A/Bテストは、特定のツールがなくても自前で実装しやすく、かつ効果的なカイゼン手法です。一度のテストで満足するのではなく、変化する環境（競合・顧客）に合わせて自社も動いていくために、常にテストを行っていくことがベストだと述べられています。
優先順位の問題、ヒューマンリソースの問題も有りますが、テストは常に行なっていくべきです。ただ、テストのためのテストにならないことが大事ですね。そのためには、１番にある「仮説」を立てるということが大事です。
「仮説」を立てて「検証」し、結果を「解析」し、次の「行動」を起こす。
これを繰り返すことができれば、ホームページの改善はもちろん、社内のノウハウやノウホワイも貯まっていきます。
終わりに
字面を追うと、単純なことに見えますがこれを実際にきちんと行なっていくのは、なかなか大変です。どうしてもどこか手を抜きたくなってしまいます。
しかしテストはなんのために行うのか？を考えると、手間をかけてもいいので正しい結果を得ることが大事だと分かります。間違った方向に進んでしまうと、そのリカバリーに男倍もの時間がかかりますし、落胆します。
出来る範囲での最速でPDCAを回す、また、どうしたらもっとPDCAを早く回せるか、そこを考えていくことも大事ですね。
この記事がお役に立てば幸いです。
Discussion about this post