ABテストとは？基礎からおすすめツールまで解説！

サイト改善のために行うコンテンツの変更ですが、内容によってはマイナスとなる可能性もあります。
そのため、AパターンとBパターンを用意して、事前にテストを行います。
これが「ABテスト」と呼ばれるものです。

ABテストではサイトにどんな影響を与えるのか事前に確認して、 その変更を適用するか・適用しないかを判断していきます。

今回はABテストについて、テストを実施する際のポイントからおすすめのツールまで解説します。

ABテストとは

ABテストとは、元のページとは異なるパターンを用意し、どちらのパターンがより効果的かを判断するマーケティング手法です。
例えば下記イメージのように2種類のバナーを用意して、5:5でユーザーに表示させます。
期間を設定して効果検証を行い、期間内でより成果が出たものを採用するわけですね。

Webサイト内のボタンやバナー、メルマガの件名など様々な用途で活用します。
ABテストと呼ばれていますが、実際は3パターン以上でテストを行うこともあります。

ABテストのメリット

CVR・CTRアップを図ることができる

ABテストはサイトやバナーといった、クリエイティブのCVRやCTRを改善するために行います。
※CVR：成約率　CTR：クリック率

1つの施策によるCVRやCTRの改善は少さくても、塵も積もれば山となると言うように、繰り返し行うことで、大きなCV改善に繋がります。

費用を抑えられる

ABテストは、比較的費用を抑えて施策をうつことができます。
基本的に「テストツール」を使用しますが、ツールの中には無料のものもあり、手軽に開始できます。
また、施策の結果は定量的に計測可能なので費用対効果も出しやすいですね。
小さなコストでリスクヘッジや施策の予測が可能な点は、ABテストの大きなメリットです。

同一期間にテストを行える

同一期間にテストを行うことで、季節変動など外的要因の影響を受けず、正しい効果測定が可能です。

例えば「マスクの通販サイト」で下記のテストを行ったとします。

2月前半：オリジナル（変更前）の状態
2月後半：商品ページのデザインを変更（同時期にインフルエンザが流行）

結果、CVRは上がりました。

この場合、CVRが上がったのはデザインを変えたからなのか、
それともインフルエンザにより、マスクの需要が高まったからなのか、判断ができません。

このようにABテストを行わないで変更を行い前後比較した場合、外的要因の影響があると正しい評価が難しくなります。

実施する上でのポイントと注意点

ポイント

母数が多いページ・箇所で行う

施策を考える上で、そのページやコンテンツを見ているユーザーの数（母数）を考えることが大切です。

対象にするのはランディングページ・もしくはフォームなどCVに近いページがおすすめです。
中でもファーストビューなど、多くのユーザーの目に触れる箇所は適しています。

理由は以下の2点になります。

仮説を持ってテストをする

仮説を立てないと、テスト後にどの指標を見て判断するべきなのか・ユーザー行動がどう変わったのか、判断しにくくなります。

やみくもにテストを行うのではなく、このページに入ってきたユーザーはこう考えるはずだから、このコンテンツを追加した方がいいのではないか。
のような仮説を持つようにしましょう。

注意点

他のテストと抵触しないようにする

ABテストを行う際は、同じサイト内で1要素のみが鉄則です。
例えば、同じページで2つの要素を変更してテストしたとします。
結果としてCVRが改善されたとしても、どちらのテストの影響で改善したのか判断がつかなくなってしまいます。

これは同じページだけでなく、サイト全体に言えます。
他のテストの効果検証と抵触してしまうテストは行わないようにしてください。
時間を無駄にせず、効率よく改善を行うために重要なポイントです。

開始前に動作チェック・テスト登録を必ずする

ABテストを作成したらすぐ開始！ではなく、しっかり動作チェックをしましょう。
一般的にABテストツールにはプレビューモードがついているので、

など確認することが大切です。

サイトにマイナスの影響を与えていないか確認する

ABテストツールによっては「ページに訪問したユーザーのうち、どれくらいの割合をテスト対象とするのか」というトラフィック量の調整をできる機能があります。

テストを開始してしばらくすると、あるパターンのCVRが大きくマイナスになることがあります。

その場合は成果の悪いパターンのトラフィック量を少なくして、サイトへの影響を最小限にすると良いでしょう。

ある程度の母数を集めるようにする

ユーザーの母数が少ないと、そのテストの信頼性は低くなってしまいます。
そのため、ある程度母数が集まるまでテストを継続してください。

テスト期間はサイトの規模によっても異なりますが、曜日によるユーザー心理の変化も考えられるため、最低でも1～2週間行うことをおすすめします。

また、前述の通りユーザーが集まるページや、よく見られる箇所をテスト対象にすると、スムーズにテストしやすくなります。

有意差を確認をする

有意差とは「結果に確かな差があり、誤差で起こったものではない差」のことを言います。
テストを終了する際には必ず確認するようにしましょう。
たとえばテスト結果が下記の場合どうでしょうか。

このように母数が少ない場合、誤差で起こったのではないかと考えられます。
そのため、この段階では結果が出たと判断はできません。

今度は以下の結果の場合だとどうでしょうか。

このように母数が大きく、その差も大きい場合は誤差と考えにくく、意味のある結果と考えられます。

このような状態を「有意差がある」といいます。
もし有意差が低いものを本番環境に適用してしまうと、テストでは改善傾向でも実際はマイナスになってしまう可能性があります。
そのため企業によっては、有意差〇％以上なら適用する、といったルールを決めていることもあります。

サイトの規模や考え方にもよりますが、私（筆者）の経験してきた企業では有意差80％以上なら適用すると決めていることが多かったです。

ABテスト例

弊社で行ったABテストの例をご紹介します。

トップページのメインビジュアルの改善

こちらのページは弊社サイトのメインビジュアルを改善したテストです。
メインビジュアルは多くのユーザーの目に留まる箇所であったこと・トップページのUUが多いことからテストしました。

テスト期間は2週間、UUは700弱程度で検証を行いました。
テスト結果としては、直帰率が0.9％改善（減少）しました。

フォームの改善

こちらは弊社サイトのフォームを改善したテストです。
ボタンの文言を「プライバシーポリシーに同意して送信」→「同意して送信」に変更しています。
フォームの離脱率が高かったことから、心理的なハードルが高いのではないかと考えました。
そこで送信ボタンのテキストを変更したところ、15％のCVR改善となりました。

料金ページにコンテンツ追加

料金ページに「フォームへの導線」を追加したテストです。
料金を確認しているユーザーは、商品の購入やサービスの導入を検討している可能性が高いユーザーです。
ですが、テスト前は料金確認後にフォームに遷移できるような選択肢が用意されていませんでした。
※フォームへの導線はグローバルナビのみでした
フォームへの導線を追加したところ6.8％のCVR改善となりました。

ABテストの種類

ABテスト

前述の通りAパターンとBパターンを用意し、成果を検証するテストです。
一般的にABテストと呼ばれるテストは、ユーザーがテストページに訪問した際にそのテストページがjavasceiptで書き換えられて表示されます。
そのため、AパターンもBパターンも同じURLなのが特徴です。

splitテスト

ユーザーがテストページに訪問した際に、別のURLにリダイレクト（転送）させて行うテストのことです。
そのため「リダイレクトテスト」とも呼ばれています。
URLの異なるページを作成し、そのページのデザインを変更した上で、テストを開始します。
デザインを大きく変更する場合に適しているテストです。

多変量テスト

多変量テストは、「ABテスト細かいバージョン」のような認識です。
複数の要素の組み合わせを全て作成し、どの組み合わせが最適かテストする方法になります。

GoogleはABテストツール（Optimizeヘルプ）にて下記画像を使って解説しています。

この画像を例に説明すると

H1：「青」「赤」「緑」
H2：「青」「赤」「緑」

の3種類ずつ用意されています。
これらを組み合わせてテストを行い、最も良い組み合わせを検証します。
例えば「青（H1）×赤（H2）」、「緑（H1）×緑（H2）」といった感じですね。
それぞれのパターンを出し分けてテストし、成果を検証します。

複数の要素を同時にテストできる分、テストパターンは多くなります。
テスト結果を得るまでに時間がかかったり、ABテストに比べてユーザーの母数が必要になるため、大規模なサイトに向いています。

ABテストのやり方（作成方法）

①テストを行うページを決める

Google analyticsを見て、テストするページを決めます。

あたりから候補を探すと効率的ですね。
その中で、離脱率の高いページや、CVへの貢献が低いページは改善の余地ありで、テスト対象としておすすめです。

②そのページの課題と仮説を出す

テストするページが決まったら、そのページの課題を出します。
課題は下記から考えるのをおすすめします。

導入されている方はヒートマップも助けになると思います。

課題を出したら、次に仮説と施策を考えます。
例えば以下のようなイメージです。

などが考えられます。

③指標を決める

課題と仮設を出したらすぐに施策開始…にならないよう気をつけましょう。
テストを行った時にどの指標を追うのか、前もって考えておくことが大切です。

上記の例の場合はCV・CVR・デザインを変更したボタンのCTRが指標になりますね。

④テストパターンを作成・テスト開始

ここまで終わったら、ようやくABテスト本番になります。
使用されているテストツールで「テストパターン」を作成、検証を開始します。

テストツールではゴールを設定することができるはずです。
③で決めた指標を入れ、成果を追えるようにしましょう。

⑤結果の見方

一般的にABテストツールは結果の測定まで可能です。
テストを行ったら、結果のレポートは毎日見るようにしましょう。
一定期間回して有意差が付いたらテストを終了します。

また、長くテストを回しているのに結果が出ない場合は、該当するテストの終了も検討してください。
切り上げて他のテストを行った方が、効率よく改善できる可能性があります。
有意差が出ていて、指標が改善したテストは、本番環境に適用します。

おすすめのABテストツール

Googleオプティマイズ

Google提供のABテストツールです。
同時に回せるテスト数に限りがありますが、無料で使用可能です。（一部有料版あり）
Google analyticsとも連携でき、分析しやすいのが特徴です。

会社名	Google
機能	ABテスト、Google Analytics連携
実績	不明
料金	要問合せ
トライアル期間	有
サイトURL	https://marketingplatform.google.com/intl/ja/about/optimize/

VWO

VWOはABテスト機能とヒートマップ機能の両方を使えるツールです。
テスト中にトラフィック量を調整したり、テストを一時停止する機能など便利な機能が搭載されています。
また有名企業にも導入されていて、無料トライアル期間もあります。

会社名	株式会社assion
機能	ABテスト機能、ヒートマップ機能
実績	世界6000社導入
料金	要問合せ
トライアル期間	有
サイトURL	https://www.assion.co.jp/lp/05b/

KAIZEN

ドラッグ＆ドロップで比較的簡単にテストパターンを作成できます。
またグロースハッカーと連携しており、協力をを依頼できるのが特徴です。

会社名	株式会社Kaizen Platform
機能	ABテストツール、グロースハッカーへの協力依頼
実績	累計取引企業500社以上
料金	要問合せ
トライアル期間	不明
サイトURL	https://kaizenplatform.com/

Sitest

ABテストツールに加えてヒートマップ機能が搭載されています。
ABテスト機能だけではなく、アクセス解析やヒートマップ機能も一緒に使用したい方におすすめです。
また無料トライアル期間もある上、比較的安価で使用することができます。

会社名	株式会社グラッドキューブ
機能	ABテスト、ヒートマップ機能、アクセス解析機能、AI分析機能
実績	アジアで480,000サイト導入
料金	要問合せ
トライアル期間	有
サイトURL	https://sitest.jp/

Optimizely(オプティマイズリ―）

ABテストとして世界シェアNO1を誇っています。
日本では株式会社イー・エージェンシー、株式会社ギャプライズが正規代理店です。
アメリカ初ですが、日本語にも対応しています。

会社名	株式会社イー・エージェンシー、株式会社ギャプライズ
機能	ABテスト、パーソナライゼーション
実績	世界7,000社以上導入
料金	要問合せ
トライアル期間	有
サイトURL	https://www.optimizely.com/

まとめ

私がweb担当になって初めて行った施策が、まさにABテストを使用したものでした。
ツールは必要ですが、ABテストは手軽に始めることができます。

また、テスト結果は一度で終わらせず、他の施策に活かせないか検討してみてください。
PDCAサイクルを意識して、継続した改善を実施しましょう。

テストを回しているうちに、新たなアイディアや改善点が浮かぶことも多々あります。
まずは行動してみることが大切ですね。

ご紹介させて頂いたように、ABテストツールには無料で使えるものやトライアル期間のあるものもあります。
この記事を参考にして、ABテストを試してみてくださいね！