Webサイトのテキストやレイアウト、色などのデザインを変更した時の効果を検証する方法。既存ページと変更後のページにサイト訪問者をランダムに振り分けて比較検証する。バケットテストもしくはスプリットランテスト、スプリットテストとも呼ばれる。変更前のデザインを「コントロール」、変更後のデザインを「バリエーション」と呼ぶ。
サイト訪問者に変更前・変更後のデザインに振り分けて改善効果を検証する
デザインを客観的指標で決められる
UX設計上、どのデザインが良いのか社内の意見が割れてしまうケースがある。食品ECサイトのコピーであれば「献立に悩まない食生活」と「手軽にバランスの良い食生活」のどちらがユーザーの関心を引くだろうか。この様なケースでは、ヒューリスティック評価やユーザビリティテストでは結論が出せないため判断が難しい。
A/Bテストでは、実際のユーザーに利用してもらい検証することができるため、客観的な指標に基づいて判断することができる。
テスト結果は統計的有意性があるかを確認する
バリエーションの効果が高い結果だったとしても、偶然偏った結果が出ることがあるためすぐに判断しない。
5人がおみくじを引いて4人が大吉だったとしても、全体の4/5が大吉とは言えない。偶然、1/5の大吉を4人が引いてしまうことと同じだ。
5人中4人が大吉を引いても、大吉の割合が4/5とは限らない
計算によって偶然でないことを示す統計的有意性を使う。偶然じゃない確率を信頼度（統計学では95%〜99%が一般的）として設定して計算する。複雑な計算が必要なため、ツールを利用するのが良い。テスト中のサイト訪問者数（標本数）が大きく、結果の差が大きいほど有意に近づく。
統計的有意性を調べることができるツール
引用元：SurveyMonkey
類似テストとの使い分け
A/Bテストは通常、変更した要素1つずつに対して行うため、多くの要素を検証したい場合には時間がかかる。検証したい内容や量に応じて、同時にテストする方法を検討する。ただし同時にテストする要素が多いほど、因果関係が複雑になり、結果を分析するのが難しくなる。コピーとCTAを変えてCVRが上がったとしても、効果があった要因がコピーなのか、CTAなのか、両方なのかわかりづらくなるので注意が必要だ。
スプリットURLテスト
スプリットURLテストは、ページ単位でバリエーションを作成してテストする方法である。ページ全体の変更となるので、URLでバリエーションを用意して、訪問者のトラフィックを振り分けるのが特徴である。コピーライティングからキービジュアル、レイアウトなど全体的なデザイン変更を行う場合に行う。
全体に変更がかかっているため、どの要素の変更が大きな影響を及ぼしたのかはわかりづらい。
大きく異なるデザインを用意する場合、URLでページを分けてテストする （スプリットURLテスト）
多変量解析テスト（MVT）
多変量解析テストは、Webページ上の複数の要素に変更を加えてテストする方法である。複数の要素に対して同時に検証したい場合に行う。MultiVariate Testの略でMVTとも呼ばれる。
一度で多くのバリエーションをテストできるが、統計的有意性を担保するために多くの訪問者が必要となる。
変更するいくつかの要素を組み合わせて検証する（多変量解析テスト）
マルチページ・テスト
マルチページ・テストは、CTAなど要素が複数のページに共通して存在する場合に、いずれのページにも変更を加えてテストを行う方法である。以下のように資料ダウンロードのCTAが、TOPページ、導入事例、記事ページに配置されている場合、全てのページのCTAを変更してテストする。
ページにまたがる要素をすべてのページで変更してテストをする（マルチページ・テスト）
A/Bテストをシステムに組み込んだNetflix
動画ストリーミングサービスのNetflixは、動画の内容を1枚絵で伝える「アートワーク」によって魅力を伝え、多くのユーザーを獲得している。常にユーザーがもっとも興味・関心を惹きつけるアートワークを表示するために、A/Bテストをシステムに組み込んで改善し続けている。
動画の内容を1枚絵で伝えるNetflixのアートワーク
アートワークの改善が、エンゲージメントを高めることを証明
動画ストリーミングを配信し始めた当初のNetflixは、アートワークを改善すれば、動画再生数を増やすことができると仮説を立てた。こどもがゴルフで競う動画「TheShort Game」のアートワークでは、こどもに関する映画であることが伝わらず、再生数が伸びなかった。そこで改善候補となるアートワークを2つ用意しA/Bテストを行った。
こどもに関する映画であることが伝わるアートワークを用意してA/Bテストを行った 引用元：UX Collective
結果として、アートワークを変えれば、再生ボタンのクリック率（CTR）も、動画再生時間の比率（全体の何割まで動画を視聴したか）も向上することがわかった。
多くのA/Bテストを行うための課題をシステムで解決
多くのアートワークを改善するためにA/Bテストを実施したかったが、テスト結果を収集する方法に課題があった。
Netflixでは、PC、テレビ、スマホ、ゲーム機など多くのデバイスで動画視聴が可能である。テレビならカーソルを移す、スマホならスクロールするなどデバイスによってユーザーが離脱する行動が異なるため、テスト結果の収集ができなかった。そのため、各デバイスに合わせて、ユーザーの行動結果を収集するプログラムを用意した。
テレビ・スマホなどデバイスに合わせてユーザーの行動結果を収集する
SEO上の注意
Googleでは、A/Bテストがウェブサイトの検索順位に影響しないようにしているが、以下の点には注意が必要だ。
クローキングしない
SEOの影響を恐れて、Webクローラーにコントロールページだけをアクセスさせることをクローキングと言う。クローキングは、Googleのガイドラインに違反するため、かえってSEOに悪い影響を与える可能性がある。Webクローラーには訪問者と同様にバリエーションにもアクセスさせる。
302のリダイレクトを利用する
訪問者をバリエーションに誘導する場合に、301（永久）リダイレクトではなく、302（一時）リダイレクトを使用する。301だとWebクローラーがコントロールページの検索インデックスを削除してしまい、検索順位が下がるリスクがある。
A/Bテストの代表的なツール
A/Bテストで利用される代表的なツールを紹介する。
Google オプティマイズ
Googleオプティマイズでは、テキストや画像の変更、ボタンの位置やサイズなどのカスタマイズも行え、分析レポートでは主に以下のようなデータが取得できる。
- コントロールと比較したときどれくらい改善したか
- コントロールより良い結果を出す可能性
- 訪問者数、コンバージョン率
Googleアナリティクスのユーザー属性を使ってテスト対象を指定できる。無料で使うことができるので、簡易なテストであればGoogleオプティマイズを使うケースが多い。
Optimizely
世界シェア No.1と言われ、世界的に有名なA/Bテストツール。A/Bテスト、多変量解析テスト、マルチページテストに対応しており、モバイルアプリのテストも可能。多様なテストを柔軟に行えるのが特徴。
VWO
インドで開発されたA/Bテストツールで日本でも実績がある。テスト可能ドメイン数やサブアカウント数は無制限で、月間サポート回数も制限がないのが特徴。価格面でも比較的に安価である。
関連用語
