Webサイトの「A／Bテスト」で結果を判断しやすくする、4つのルール：小川卓の「学び直しWebサイト改善」（2/2 ページ）

» 2025年05月28日 06時00分公開

[小川卓，UNCOVER TRUTH]

結果を判断しやすくする4つのルール

　例えば、遷移率が34％から58％に上がっていれば改善と言えそうですが、34％から36％の場合、改善と言えるのでしょうか。

　このような混乱を避けるためにも、結果を判断する際のいくつかのルール（基準）を事前に設ける必要があります。

　私がおすすめしているA／Bテストで大事な4つのルールをお伝えします。状況や意図によっては、この場合だけではありませんが、一つの例としてご参考までに。

（1）A／Bテストの期間は1週間～2週間

　1週間以上としているのは、平日と週末の両方を期間に入れておくためです。1カ月以上の長期間としていない理由は、季節や大型連休、他施策の要因などが複数混ざる可能性が高いためです。何を検証したいのか事前にしっかりと決めた上で、期間を判断してください。

（2）A／Bテストの件数は成果指標100件以上、難しいなら直接指標100件以上

　Webサイトの規模やCVの種類によっては、成果指標100件を獲得するまでに数カ月かかってしまうケースもあるでしょう。その場合は、直接指標100件で見るようにします。ただし、直接指標を判断軸に使う場合は、成果指標も併せて確認してください。

　直接指標でも100件獲得するのが難しい場合は、A／Bテストにリソースを割く前に、集客施策を優先する必要があるように思います。

（3）有意差は90%以上位で考える

　人によっては95％、99％など意見が割れることもありますが、私の場合、90％で見ることが多いです。ガチガチに有意差を決めておくのではなく、それより低い場合でも直接指標と併せて良い傾向であれば、勝ちの判断をすることもあります。

（4）A／Bテスト結果の活用方法

　A／Bテストの結果を直接指標と成果指標で見ていく場合、下記の表のいずれかに当てはまります。下記は例ですが、それぞれの結果が出たときに、どのように判断するのかを事前に決めておきましょう。

A／Bテストの結果と対応例（提供：UNCOVER TRUTH）

　A／Bテスト結果の評価方法について解説しました。社内だけではなく、外部に実行を依頼している場合も共通の実施ルールを作っておくことをおすすめします。

　次回は、レポーティングについて解説します。

執筆者　小川卓

おがわ・たく　UNCOVER TRUTH CAO（Chief Analytics Officer）。Webアナリストとしてマイクロソフト、ウェブマネー、リクルート、サイバーエージェント、アマゾンジャパンなどで勤務。解析ツールの導入・運用・教育、ゴール＆KPI設計、施策の実施と評価、PDCAをまわすための取り組みなどを担当。全国各地で講演を毎年40回以上行っている。

UNCOVER TRUTHについて

　UNCOVER TRUTHは、データ活用基盤であるCDP「Eark」の提供や、それらCDPの構築と活用を支援するコンサルティングサービスと、コンテンツデータによるユーザー体験分析ツールの「Content Analytics」を提供しております。各ソリューションを通じて、企業が保有する1stPartyDataの分析や活用を促進しています。

　詳細はこちら→ Content Analyticsサービスサイト

Webサイトを改善するなら「比較せよ」　そのワケは？
Webサイト改善を進めるときに重要となる「比較する力」について解説します。
「それ効果あるの？」と言わせない！　三田製麺マーケターの“社内を納得させる”施策効果の可視化術
「SNSのフォロワー数は増えているのに、売り上げへの貢献が見えない」「オンライン施策と店舗集客の関係性が分からない」――。多くの広報・マーケティング担当者が、一度は直撃したことがある課題だろう。そんな中、つけ麺チェーン「三田製麺所」を運営するエムピーキッチンホールディングスは、SNSやWebを活用した認知拡大から、コアファンの育成、そして売り上げ貢献までを可視化する独自のロジックを確立した。
どんなWebサイトでも「必ず最初に分析すべき」5つの項目
どのようなWebサイトの分析でも基本は同じ。最初に行うべき5つの項目について解説します。
使いにくいWebサイト、原因は？　必ず確認すべき10項目とは
今回は、Webサイトの課題の見つけ方と仮説の洗い出しからどのような分析を行うのかを解説していきます。
DeNAを支える第2の柱「Pococha」　急成長の背景にある、徹底したユーザー理解
DeNAが提供するライブコミュニケーションアプリ「Pococha」が、同社の収益の柱になりそうだ。急成長の背景には、同サービスが長年ユーザー視点に立ったアプリ運営を強化してきたことがある。Pocochaはこれまでに、どのようなユーザー体験のアップデートを重ねてきたのだろうか。
「ぶっちゃけ面倒くさい」　コンテンツマーケの“難題”を、生成AIで解決する超時短術とは？
昨今の生成AIブームで、コンテンツマーケティングの在り方が大きく変わっている。AIの力でコンテンツの制作工数が飛躍的に改善し、企業が発信可能となるコンテンツ量は間違いなく増えていくと予想される。この記事では、生成AIを味方にしながら自社のコンテンツ力を高め、営業売り上げの貢献につなげるヒントを解説する。