TOP UX用語 リサーチ・分析・テスト A/Bテスト

A/Bテスト A/B testing

同じWebページの2つ以上のデザインを比較して、ビジネス効果が高いものを検証する方法

Webサイトのテキストやレイアウト、色などのデザインを変更した時の効果を検証する方法。既存ページと変更後のページにサイト訪問者をランダムに振り分けて比較検証する。バケットテストもしくはスプリットランテスト、スプリットテストとも呼ばれる。変更前のデザインを「コントロール」、変更後のデザインを「バリエーション」と呼ぶ。

ABテスト概要

サイト訪問者に変更前・変更後のデザインに振り分けて改善効果を検証する

デザインを客観的指標で決められる

UX設計上、どのデザインが良いのか社内の意見が割れてしまうケースがある。食品ECサイトのコピーであれば「献立に悩まない食生活」と「手軽にバランスの良い食生活」のどちらがユーザーの関心を引くだろうか。この様なケースでは、ヒューリスティック評価やユーザビリティテストでは結論が出せないため判断が難しい。

A/Bテストでは、実際のユーザーに利用してもらい検証することができるため、客観的な指標に基づいて判断することができる。

テスト結果は統計的有意性があるかを確認する

バリエーションの効果が高い結果だったとしても、偶然偏った結果が出ることがあるためすぐに判断しない。

5人がおみくじを引いて4人が大吉だったとしても、全体の4/5が大吉とは言えない。偶然、1/5の大吉を4人が引いてしまうことと同じだ。

おみくじに例えた例

5人中4人が大吉を引いても、大吉の割合が4/5とは限らない

計算によって偶然でないことを示す統計的有意性を使う。偶然じゃない確率を信頼度(統計学では95%〜99%が一般的)として設定して計算する。複雑な計算が必要なため、ツールを利用するのが良い。テスト中のサイト訪問者数(標本数)が大きく、結果の差が大きいほど有意に近づく。

 

統計的優位性をはかるツール

統計的有意性を調べることができるツール
引用元:SurveyMonkey

類似テストとの使い分け

A/Bテストは通常、変更した要素1つずつに対して行うため、多くの要素を検証したい場合には時間がかかる。検証したい内容や量に応じて、同時にテストする方法を検討する。ただし同時にテストする要素が多いほど、因果関係が複雑になり、結果を分析するのが難しくなる。コピーとCTAを変えてCVRが上がったとしても、効果があった要因がコピーなのか、CTAなのか、両方なのかわかりづらくなるので注意が必要だ。

スプリットURLテスト

スプリットURLテストは、ページ単位でバリエーションを作成してテストする方法である。ページ全体の変更となるので、URLでバリエーションを用意して、訪問者のトラフィックを振り分けるのが特徴である。コピーライティングからキービジュアル、レイアウトなど全体的なデザイン変更を行う場合に行う。

全体に変更がかかっているため、どの要素の変更が大きな影響を及ぼしたのかはわかりづらい。

スプリットURLテスト

大きく異なるデザインを用意する場合、URLでページを分けてテストする (スプリットURLテスト)

多変量解析テスト(MVT)

多変量解析テストは、Webページ上の複数の要素に変更を加えてテストする方法である。複数の要素に対して同時に検証したい場合に行う。MultiVariate Testの略でMVTとも呼ばれる。

一度で多くのバリエーションをテストできるが、統計的有意性を担保するために多くの訪問者が必要となる。

多変量解析テスト

変更するいくつかの要素を組み合わせて検証する(多変量解析テスト)

マルチページ・テスト

マルチページ・テストは、CTAなど要素が複数のページに共通して存在する場合に、いずれのページにも変更を加えてテストを行う方法である。以下のように資料ダウンロードのCTAが、TOPページ、導入事例、記事ページに配置されている場合、全てのページのCTAを変更してテストする。

マルチページテスト

ページにまたがる要素をすべてのページで変更してテストをする(マルチページ・テスト)

A/Bテストをシステムに組み込んだNetflix

動画ストリーミングサービスのNetflixは、動画の内容を1枚絵で伝える「アートワーク」によって魅力を伝え、多くのユーザーを獲得している。常にユーザーがもっとも興味・関心を惹きつけるアートワークを表示するために、A/Bテストをシステムに組み込んで改善し続けている。

ネットフリックスのアートワーク

動画の内容を1枚絵で伝えるNetflixのアートワーク

アートワークの改善が、エンゲージメントを高めることを証明

動画ストリーミングを配信し始めた当初のNetflixは、アートワークを改善すれば、動画再生数を増やすことができると仮説を立てた。こどもがゴルフで競う動画「TheShort Game」のアートワークでは、こどもに関する映画であることが伝わらず、再生数が伸びなかった。そこで改善候補となるアートワークを2つ用意しA/Bテストを行った。

ネットフリックスABテスト

こどもに関する映画であることが伝わるアートワークを用意してA/Bテストを行った 引用元:UX Collective

結果として、アートワークを変えれば、再生ボタンのクリック率(CTR)も、動画再生時間の比率(全体の何割まで動画を視聴したか)も向上することがわかった。

多くのA/Bテストを行うための課題をシステムで解決

多くのアートワークを改善するためにA/Bテストを実施したかったが、テスト結果を収集する方法に課題があった。

Netflixでは、PC、テレビ、スマホ、ゲーム機など多くのデバイスで動画視聴が可能である。テレビならカーソルを移す、スマホならスクロールするなどデバイスによってユーザーが離脱する行動が異なるため、テスト結果の収集ができなかった。そのため、各デバイスに合わせて、ユーザーの行動結果を収集するプログラムを用意した。

ネットフリックスのデバイス

テレビ・スマホなどデバイスに合わせてユーザーの行動結果を収集する

SEO上の注意

Googleでは、A/Bテストがウェブサイトの検索順位に影響しないようにしているが、以下の点には注意が必要だ。

クローキングしない

SEOの影響を恐れて、Webクローラーにコントロールページだけをアクセスさせることをクローキングと言う。クローキングは、Googleのガイドラインに違反するため、かえってSEOに悪い影響を与える可能性がある。Webクローラーには訪問者と同様にバリエーションにもアクセスさせる。

302のリダイレクトを利用する

訪問者をバリエーションに誘導する場合に、301(永久)リダイレクトではなく、302(一時)リダイレクトを使用する。301だとWebクローラーがコントロールページの検索インデックスを削除してしまい、検索順位が下がるリスクがある。

A/Bテストの代表的なツール

A/Bテストで利用される代表的なツールを紹介する。

Google オプティマイズ

Googleオプティマイズでは、テキストや画像の変更、ボタンの位置やサイズなどのカスタマイズも行え、分析レポートでは主に以下のようなデータが取得できる。

  • コントロールと比較したときどれくらい改善したか
  • コントロールより良い結果を出す可能性
  • 訪問者数、コンバージョン率

Googleアナリティクスのユーザー属性を使ってテスト対象を指定できる。無料で使うことができるので、簡易なテストであればGoogleオプティマイズを使うケースが多い。

Optimizely

世界シェア No.1と言われ、世界的に有名なA/Bテストツール。A/Bテスト、多変量解析テスト、マルチページテストに対応しており、モバイルアプリのテストも可能。多様なテストを柔軟に行えるのが特徴。

VWO

インドで開発されたA/Bテストツールで日本でも実績がある。テスト可能ドメイン数やサブアカウント数は無制限で、月間サポート回数も制限がないのが特徴。価格面でも比較的に安価である。

関連用語

コールトゥアクション

CVR

クリックスルー率(CTR)

 

ランディングページ最適化

参考ページ

BtoB人事業務アプリのコンサルタント→エンジニア→BtoCのWebディレクターを経て、再度BtoB業務アプリとなる物流プラットフォームのUIUXに挑戦。オンライン/オフライン双方でのBtoBUXを改善すべく奮闘中。

「UX用語」のカテゴリー