「A／Bテスト」で成果を出す マーケター必見、Webサイト改善の極意：小川卓の「学び直しWebサイト改善」

[小川 卓，UNCOVER TRUTH]

執筆者紹介　小川卓（おがわ・たく）

UNCOVER TRUTH CAO（Chief Analytics Officer）

　前回は、Webサイトの改善案の出し方について説明しました。今回は、どのような改善案の時にA／Bテストを活用していくのか解説していきます。

　A／Bテスト自体はご存じの方も多いかと思います。A（今あるもの）とB（違うもの）のどちらが良いかをユーザーに利用してもらいながらテストする手法です。

　私はA／Bテストを始めてから15年以上経ちますが、ツールや機能も充実していく中で多くの企業に浸透してきたように感じています。

　とはいえ、なんとなくA／Bテストをしている企業もあれば、戦略的に取り組んでいる企業もあります。うまく活用できているかは、企業ごとに大きく差があるように感じています。なんとなくA／Bテストをしてしまわないように活用シーンと心構えを知っておきましょう。

A／Bテストはそもそもやるべきなのか

　A／Bテストに向いているケースと向いていないケースがあります。

　以下の（1）〜（3）、どの施策でA／Bテストをするべきでしょう。まずは次の画像をベースに、ご自身で考えてみてください。

（提供：UNCOVER TRUTH）

A／Bテスト（1）：パンくずリンクの追加

A／Bテスト（2）：訴求文言の変更

A／Bテスト（3）：訴求文言の変更

　私なら、（1）はA／Bテストをせずに実装します。なぜなら、パンくずリンクは、追加しても悪くなる可能性が限りなく低いと推測するためです。

　（2）と（3）はA／Bテストします。文字が増えたことにより、見づらくなる可能性があります。クリエイティブによって結果が変わってくる可能性もあるので、文言もあわせてA／Bテストするべきと判断します。

A／Bテストが向いているケースの見極め方

　このように施策ごとに、A／Bテスト必要性の有無を整理してから実行に移ります。A／Bテストが向いているケースとそうでないケースを改めてまとめておきます。

A／Bテストが向いているケースの例

• デザインや訴求内容を試したい
• キービジュアル
• CTAボタンの文言
• 組み合わせを試したい（多変量テスト）
• 画像とキャッチコピーが10パターンずつありベストな組み合わせを知りたい
• 定性的な意見を試したい
• 社内で定性的な議論が多く、決まった人の意見が反映されがちなので、検証したい
• A／Bテストの設定が簡単な内容

A／Bテストが向いていないケースの例

• A／Bテストしても影響が少ない
• ページ下部のコンテンツのフォントの大きさを変える
• A／Bテストしても悪くならない
• 入力フォームでヘッダーやフッダーを表示させない（A／Bテストよりも実装したほうが早い）
• そもそも訪問数が少ない
• まずは集客に予算と時間を割り当てましょう
• 本番実装が決定している内容
• 機能の追加やWebサイトのリニューアルなど

　A／Bテストをやること自体を目的にしないように、内容に応じて活用しましょう。

A／Bテストする際大切な2つの心構え

微妙な数値の変化に捉われすぎない

　筆者は、A／Bテストを自ら行ったり、企業側のサポートもしていますが、明確な結果が出るものというのは2割くらいのように感じています。「少し良さそうだけど、よく分からない」ケースが大半です。

　A／Bテストの結果を評価する際、訪問数やCV数が充分で有意差があれば正しいと考えている人が多いと思います。これは重要な観点ではありますが、有意差についての議論に終始してしまいA／Bテストの実施が停滞してしまうケースがあります。また、微妙な数値の変化に一喜一憂し過ぎているケースもあります。

　日によって、Aが良い日もあれば、Bが良い日もあるとしたら、微妙な数値の変化だけでは判断しづらいですよね。このようなケースだと大きな成果は望みづらいと思います。

写真はイメージ、ゲッティイメージズより

　そもそも結果に明確な差が出ていれば、深く考えずとも直観的に分かるはずです。微妙な数値に捉われすぎないというのもA／Bテストを進めていくうえで重要なポイントの一つです。

仮説を試すためにA／Bテストはある

　それを踏まえてお伝えしておきたいことがあります。そもそも、A／BテストはWebサイトを改善するために行います。その元となるのは、このA／Bテストを通じて何の仮説を試したいのかです。

（例）

• ユーザーにとって、金額訴求と品質訴求のどちらが良いか、キービジュアルのキャッチコピーでテストしたい
• 商品一覧からカートに直接入れられる or 商品一覧ではカートに追加できないようにして、商品詳細からカートに入れる。どちらがカートに入れる件数が増えるのかをテストしたい

　仮説を試して検証するためだと理解できていれば、結果のよしあしだけではなく、新たな気付きを手に入れられるでしょう。新たな気付きは新たな仮説を生み、新たな仮説が課題を分からせてくれます。

　今では一般的な施策の一つとなったA／Bテストですが、改めてどういう目的でどういったケースで使うべきかを解説してきました。次回は施策の評価について解説します。

執筆者　小川卓

おがわ・たく　UNCOVER TRUTH CAO（Chief Analytics Officer）。Webアナリストとしてマイクロソフト、ウェブマネー、リクルート、サイバーエージェント、アマゾンジャパンなどで勤務。解析ツールの導入・運用・教育、ゴール＆KPI設計、施策の実施と評価、PDCAをまわすための取り組みなどを担当。全国各地で講演を毎年40回以上行っている。

UNCOVER TRUTHについて

　UNCOVER TRUTHは、データ活用基盤であるCDP「Eark」の提供や、それらCDPの構築と活用を支援するコンサルティングサービスと、コンテンツデータによるユーザー体験分析ツールの「Content Analytics」を提供しております。各ソリューションを通じて、企業が保有する1stPartyDataの分析や活用を促進しています。

　詳細はこちら→ Content Analyticsサービスサイト