今回は、どのような改善案の時にA/Bテストを活用していくのか解説していきます。
UNCOVER TRUTH CAO(Chief Analytics Officer)
前回は、Webサイトの改善案の出し方について説明しました。今回は、どのような改善案の時にA/Bテストを活用していくのか解説していきます。
A/Bテスト自体はご存じの方も多いかと思います。A(今あるもの)とB(違うもの)のどちらが良いかをユーザーに利用してもらいながらテストする手法です。
私はA/Bテストを始めてから15年以上経ちますが、ツールや機能も充実していく中で多くの企業に浸透してきたように感じています。
とはいえ、なんとなくA/Bテストをしている企業もあれば、戦略的に取り組んでいる企業もあります。うまく活用できているかは、企業ごとに大きく差があるように感じています。なんとなくA/Bテストをしてしまわないように活用シーンと心構えを知っておきましょう。
A/Bテストに向いているケースと向いていないケースがあります。
以下の(1)〜(3)、どの施策でA/Bテストをするべきでしょう。まずは次の画像をベースに、ご自身で考えてみてください。
A/Bテスト(1):パンくずリンクの追加
A/Bテスト(2):訴求文言の変更
A/Bテスト(3):訴求文言の変更
私なら、(1)はA/Bテストをせずに実装します。なぜなら、パンくずリンクは、追加しても悪くなる可能性が限りなく低いと推測するためです。
(2)と(3)はA/Bテストします。文字が増えたことにより、見づらくなる可能性があります。クリエイティブによって結果が変わってくる可能性もあるので、文言もあわせてA/Bテストするべきと判断します。
このように施策ごとに、A/Bテスト必要性の有無を整理してから実行に移ります。A/Bテストが向いているケースとそうでないケースを改めてまとめておきます。
A/Bテストをやること自体を目的にしないように、内容に応じて活用しましょう。
筆者は、A/Bテストを自ら行ったり、企業側のサポートもしていますが、明確な結果が出るものというのは2割くらいのように感じています。「少し良さそうだけど、よく分からない」ケースが大半です。
A/Bテストの結果を評価する際、訪問数やCV数が充分で有意差があれば正しいと考えている人が多いと思います。これは重要な観点ではありますが、有意差についての議論に終始してしまいA/Bテストの実施が停滞してしまうケースがあります。また、微妙な数値の変化に一喜一憂し過ぎているケースもあります。
日によって、Aが良い日もあれば、Bが良い日もあるとしたら、微妙な数値の変化だけでは判断しづらいですよね。このようなケースだと大きな成果は望みづらいと思います。
そもそも結果に明確な差が出ていれば、深く考えずとも直観的に分かるはずです。微妙な数値に捉われすぎないというのもA/Bテストを進めていくうえで重要なポイントの一つです。
それを踏まえてお伝えしておきたいことがあります。そもそも、A/BテストはWebサイトを改善するために行います。その元となるのは、このA/Bテストを通じて何の仮説を試したいのかです。
(例)
仮説を試して検証するためだと理解できていれば、結果のよしあしだけではなく、新たな気付きを手に入れられるでしょう。新たな気付きは新たな仮説を生み、新たな仮説が課題を分からせてくれます。
今では一般的な施策の一つとなったA/Bテストですが、改めてどういう目的でどういったケースで使うべきかを解説してきました。次回は施策の評価について解説します。
おがわ・たく UNCOVER TRUTH CAO(Chief Analytics Officer)。Webアナリストとしてマイクロソフト、ウェブマネー、リクルート、サイバーエージェント、アマゾンジャパンなどで勤務。解析ツールの導入・運用・教育、ゴール&KPI設計、施策の実施と評価、PDCAをまわすための取り組みなどを担当。全国各地で講演を毎年40回以上行っている。
UNCOVER TRUTHは、データ活用基盤であるCDP「Eark」の提供や、それらCDPの構築と活用を支援するコンサルティングサービスと、コンテンツデータによるユーザー体験分析ツールの「Content Analytics」を提供しております。各ソリューションを通じて、企業が保有する1stPartyDataの分析や活用を促進しています。
詳細はこちら→ Content Analyticsサービスサイト
Copyright © ITmedia, Inc. All Rights Reserved.