Webサイトの「A／Bテスト」で結果を判断しやすくする、4つのルール：小川卓の「学び直しWebサイト改善」（2/2 ページ）

今回はA／Bテストの結果を判断しやすくする方法を解説します。

[小川 卓，UNCOVER TRUTH]

結果を判断しやすくする4つのルール

　例えば、遷移率が34％から58％に上がっていれば改善と言えそうですが、34％から36％の場合、改善と言えるのでしょうか。

　このような混乱を避けるためにも、結果を判断する際のいくつかのルール（基準）を事前に設ける必要があります。

　私がおすすめしているA／Bテストで大事な4つのルールをお伝えします。状況や意図によっては、この場合だけではありませんが、一つの例としてご参考までに。

（1）A／Bテストの期間は1週間〜2週間

　1週間以上としているのは、平日と週末の両方を期間に入れておくためです。1カ月以上の長期間としていない理由は、季節や大型連休、他施策の要因などが複数混ざる可能性が高いためです。何を検証したいのか事前にしっかりと決めた上で、期間を判断してください。

（2）A／Bテストの件数は成果指標100件以上、難しいなら直接指標100件以上

　Webサイトの規模やCVの種類によっては、成果指標100件を獲得するまでに数カ月かかってしまうケースもあるでしょう。その場合は、直接指標100件で見るようにします。ただし、直接指標を判断軸に使う場合は、成果指標も併せて確認してください。

　直接指標でも100件獲得するのが難しい場合は、A／Bテストにリソースを割く前に、集客施策を優先する必要があるように思います。

（3）有意差は90%以上位で考える

　人によっては95％、99％など意見が割れることもありますが、私の場合、90％で見ることが多いです。ガチガチに有意差を決めておくのではなく、それより低い場合でも直接指標と併せて良い傾向であれば、勝ちの判断をすることもあります。

（4）A／Bテスト結果の活用方法

　A／Bテストの結果を直接指標と成果指標で見ていく場合、下記の表のいずれかに当てはまります。下記は例ですが、それぞれの結果が出たときに、どのように判断するのかを事前に決めておきましょう。

A／Bテストの結果と対応例（提供：UNCOVER TRUTH）

　A／Bテスト結果の評価方法について解説しました。社内だけではなく、外部に実行を依頼している場合も共通の実施ルールを作っておくことをおすすめします。

　次回は、レポーティングについて解説します。

執筆者　小川卓

おがわ・たく　UNCOVER TRUTH CAO（Chief Analytics Officer）。Webアナリストとしてマイクロソフト、ウェブマネー、リクルート、サイバーエージェント、アマゾンジャパンなどで勤務。解析ツールの導入・運用・教育、ゴール＆KPI設計、施策の実施と評価、PDCAをまわすための取り組みなどを担当。全国各地で講演を毎年40回以上行っている。

UNCOVER TRUTHについて

　UNCOVER TRUTHは、データ活用基盤であるCDP「Eark」の提供や、それらCDPの構築と活用を支援するコンサルティングサービスと、コンテンツデータによるユーザー体験分析ツールの「Content Analytics」を提供しております。各ソリューションを通じて、企業が保有する1stPartyDataの分析や活用を促進しています。

　詳細はこちら→ Content Analyticsサービスサイト