リサーチに関して必読記事「アンケートの闇」

アンケートは、リサーチツール中でも、誤解され・誤用されやすい危険なツールです。
定性と定量の両側面を持つので、最悪の場合両方の悪いところが出てしまいます。

契約上ではない民事の争いを指す不法行為法の中に、「誘引性迷惑行為」があります。モノや事象が危険なのに、その魅力で人々を誘惑する行為です。（＊不法行為法：契約関係のない当事者間に生じた民事上の紛争に関する法分野）

デザインリサーチ業界では、アンケートはまさに「誘引性迷惑行為」のような存在です。

簡単なものを”真実だ”と思い込む

簡単に作成・配布・修正ができてしまうアンケートは危険をはらんでいます。

私たち人間の貧弱な脳は、自分にとって処理や理解しやすい情報ほど真実だと感じてしまいます。これが認知バイアスです。どんなに誤解を招くような調査結果であっても、自分にとって処理や理解しやすい情報のみを真実の情報だと受け取るのです。そして、処理・理解しやすい情報は疑うことが難しくなります。

そして、重要な決定は、調査に基づいて行われがちです。例えば、選択肢を迫られた時や異なる意見が集まる時に、アンケートで方向性を見つけることが議論を解決する効率的な方法だと考えてしまいます。

「次に作るべき機能は何だろう？自分たちでは決められないのでアンケートをとってみよう。」というように、責任を放棄してアンケートで何でも決めようとしてしまいます。

簡単さは”正しさ”だと感じてしまう

アンケートは簡単にできてしまうので、他のリサーチ方法が面倒であると思わせ、アンケートに走ってしまうという問題があります。
実際、インタビュー結果の分析は時間がかかり、面倒で難しそうです。一方、アンケートなら質問を考えて、それを何千人もの人に送るだけなので、人と接触することなく、定量的な回答が得られます。簡単です。

しかし、良いアンケートの作成は、良い定性調査を実行するよりもずっと難しいのです。

知識のあるリサーチャーなら、座って黙ってレコーダーの録音スイッチを入れ、話をさせるだけで、良いデータが取れるでしょう。(そのような参加者を得るためのスクリーニングプロセスについては、また別の機会に説明します）。

しかし、もしあなたが悪いアンケートを作成してしまったら、あと戻りできない悪いデータを取得してしまいます。これが、私が書籍『Just Enough Research』を書くときに、アンケートを避けていた理由です。

では、悪いアンケートとは何でしょう？

もし、アンケート結果が、必要な意思決定に役立つ情報でなかったり、現実を反映していなかったりしたら、これは悪い調査です。「回答者が本音で回答していない」「正直に回答が不可能な質問である」「質問が必要な情報に対応していない」「誘導尋問や紛らわしい質問をしている」ような場合に起こります。

悪いアンケートはすぐに「悪い」と判断できない

ユーザーへの直接的な質問は、正確な答えを得る方法としては最悪なことがよくあります。なぜなら、私達は人間なので本音で回答しないことがあるからです。

そして、悪いアンケートは、自ら「悪いアンケートだ」と語りかけません。アンケート内容が悪いものだと判断することは、実はとても難しいことです。

悪いコードにはバグがあります。悪いインターフェースデザインは、ユーザビリティテストで失敗します。悪いユーザーインタビューかどうかは、すぐに見分けられます。しかし、悪いアンケートは、アンケート結果と矛盾する他の情報源と比べた時にしかわかりません。

アンケートの魅力は、回答が簡単に集計できることと、その数字が確実で客観的な真実であるかのように感じられることです。たとえそれが嘘だとしてもです。

例えば、「ユーザーの75％が、ページロード時に自動再生されるビデオが好きだと答えた。」というような統計が公表されると、その単純な「事実」は意思決定者の脳にもぐり込み、定着してしまうのです。

研究についての質問がメールで送られてくることがあります。通常、こうした質問は、方法論というよりも政治に関するものです。以前、私の受信トレイにこのようなメールが来ました。

（メール内容）「私の組織では、直接ユーザーと対話することは禁止で、ユーザビリティの問題特定のためであれば、メールでの調査は許可されています。」

同情と悔しさの涙で溢れました。このような状態は、良くある企業の駄目な象徴です。メールでの調査は、ユーザービリティの問題特定には逆効果です。

その後に続く疑問は「どうすればいいか？」という質問です。
ユーザーリサーチやユーザビリティテストとは、人間の行動を観察することです。ユーザビリティの問題の特定方法は、ユーザビリティテストを行うことです。

スタッフと顧客の間に隔たりを埋めたいなら、せめて usertesting.com（ユーザーテストやユーザビリティテストを行ってくれるサービス）を使ってください。

質問者である企業が行うリサーチは、デザイナーと実際のユーザーの間で、壁越しにメモを渡す方法（伝言ゲーム）としてアンケートを使うようなものです。これでは、共感を得られません。あまりにも多くの組織が、ユーザーに直接リサーチすることを規約違反のように扱っています。

健康データや財務データに関わるような、非常にセンシティブな状況があることはよく理解していますが、ユーザーリサーチを行ったとしても、実際に利用しているユーザーのデータを扱うわけでないのです。もし、企業から禁止されるのではなく、データを得ること自体を気にしているなら、ターゲットと行動が一致する人を募集し、ユーザー自身の身分を明かさなければいいのです。

アンケートはアンケートであり、それ以上でもありません。アンケートを、適切なリサーチを行えないときの予備手段にしてはいけません。

データ収集は、おとぎ話の、夕食のキノコ採りに駆り出された子どもと同じです。
川の対岸の遠くにキノコを見つけたけれど、時間も遅くなってきたし足も濡らしたくない。そんな時に偶然、近くにキノコに似た岩を見つけました。これを持って帰っても誰も岩だと気づかずにキノコのスープだと思って、岩をカリカリ食べてしまうのです。

多くの会議室で多くの人が、簡単な方法でアンケートのデータを集めることが役に立つと思っています。そして、その結果を悪いものだと気づかずに飲み込んでしまっています。

顧客満足度は嘘である

アンケートの人気テーマに 「満足度 」があります。顧客満足度は、企業が顧客ロイヤリティを測定・管理する際に広く用いられる指標です。しかし、顧客満足度は抽象的で、しかも不正確です。

MIT Sloan Management Reviewによると、顧客の満足度の変化を説明できるのは、あるカテゴリーの顧客の消費割合の変化の1%未満です。1%という数字は統計的に意味があるものですが、大きいとはいえません。

ブルームバーグ・ビジネスウィーク誌は、「カスタマーサービス・スコアは、株式市場のリターンと何の関連性もない。嫌われている企業には、好まれている同業他社よりも良い業績を上げている」と書いています。
このように、多くの証拠が、意味のあるビジネス指標ではなく、測定で満足してしまう指標であることを示しています。そして、この曖昧で無意味な指標を定量化するビジネスを商いとする会社が出てきています。

また、こんな情報をくれたデザイナーがいます。

（デザイナー）「私の上司は、ForeSee（顧客満足度調査を行うサービス。現在は買収されています。）の利用者です。最初は懐疑的に捉えていたようですが、彼女はとても分析が好きな人で「満足度」のように数値化できないようなデータを数値化できるサービスに惹かれたようです。」

これも少し前から聞く悲痛の叫びです。その上司は、”非常に分析的な人”です。つまり、定量データに偏った人です。質問をくれたデザイナーは、ポップアップ・アンケートが顧客体験を台無しにする可能性を懸念していました。

顧客満足度を調査する会社がありますが、私は顧客満足度でお金を稼ぐような企業が出す指標に懐疑的です。納得できない指標の使い方をしているからです。

ここにForeseeの顧客満足度調査があります（私の取引先ではありません）。
これらのアンケートの質問は、ベストプラクティスであるかのように思われる内容です。

しかし、これは全くのデタラメです。
設問の2番目にある「サイトのナビゲーションを評価してください。」という項目は何を意味するのでしょうか？
それは実際のビジネスの成功の指標となるものなのでしょうか？

設問の4番目は「目的の場所にたどり着くまでのクリック数を評価してください。」という項目ですが、クリック数を10点満点で評価するなどユーザーにはできません。多くの人は、評価よりも記憶に残っているクリック数を選ぶのではないでしょうか。

設問の8番目の「情報の正確さ」とは？神様ではないユーザーが、情報の正確さをどう評価するのでしょうか。
情報の正確さの評価を「7」とつけたとして、それに何の意味があるのでしょうか？

これでは、サイトが何のためにあるのか、実際の人間がどう考え、どう判断するのかが何もわかりません。

そして重要なことは、これらの顧客満足度に関する質問が、定量的な形式で提示された定性的な質問であるということです。これは、顧客調査の錬金術のようなものです。

このようなアンケートを売る人たちがお金を数えている間、回答者は数値化できないものを数えているのです。

私は、ひどいサービスを作るような嫌な会社を経営するようにアドバイスしているわけではありません。すべての製品を作っている人に素晴らしい製品を作って欲しいし、そのためにどのようなことを測定すべきかを知ってほしいです。

顧客ロイヤルティとは習慣であることをみなさんに理解してもらいたいと考えています。そして、ロイヤリティを生み出すことに成功するためには、習慣を生み出すものを測定する必要があるのです。

注意深くアプローチする

調査方法を選択する際やアンケートを検討する際、自分自身に問うべき重要な質問があります。
それは、「調査対象者は、私の質問に対して、喜んで正直に答えてくれるだろうか」ということです。

私が何度も何度も言っていることで、これからも繰り返し言うことだと思いますが、人々に何が好きか、何が嫌いかを尋ねてはいけません。好きというのは、心理状態として報告されるもので必ずしも行動に一致しません。

数日以上前のことを思い出してもらうのも避けてください。なぜなら、人は怠惰で忘れっぽい生き物だからです。
私たちは皆、Serial（ノンフィクションの事件を取り扱ったポッドキャスト。容疑者が無実の罪を証明しようとするが、事件当時のアリバイを覚えていないというエピソードがあります）のように過ごしています。あまりに前に起きたことを尋ねると、質の低い答えが返ってきてしまいます。

特に気をつけるべきなのが、自分の未来の行動を予測させるような質問はしないことです。回答者は、希望的観測や社会的欲求に基づいて答えてしまいます。

以下はよくあるアンケートの質問です。

• 「あなたは今後6ヶ月以内に、このサービスを購入する可能性がどのくらいありますか？」

これには誰も答えられません。せいぜい、1）可能性がある、2）まったくない、くらいでしょう。
一見、アンケートは結果を数値化できるので、とても有効そうに感じてしまうのです。

しかし、アンケートでは、何を数値化しているのかを自分で考えてみなければなりません。例えば、何回？とか何個？とか。それとも、訴求力、容易さ、適切を、測定可能なものに見せかけようとする隠れみのをまとっているのでしょうか？

意思決定をするのに必要な情報を収集するには、まず成功の定義が必要です。その定義は、数字の集合体からは導き出せません。

良いアンケートを作るには、何を知りたいのか、なぜアンケートが知りたい情報を得るのに適しているのか。それがわかってから、明確な質問を書かなければいけません。

定性的な情報を得るためにアンケートを使用する場合は、最終的に文脈のない薄っぺらい情報を得ることになることを留意してください。アンケートでは回答の背景にある重要な「なぜ」を探れないのです。

アンケートを定量的な情報と同じように扱う場合は、回答者が数えるような質問しかできません。収集できるデータの種類については、正直に話すか、気にしないことです。

また、奇妙な10点満点の尺度も使わないでください。現実を反映していません。

良いアンケートを作成する方法は、本や大学院の学位に値するようなテーマです。
ここでは、重要な意思決定をする際に、アンケートを参考にするのはやめましょうということだけをお伝えします。

すべてのビジネスの核心は、人間の行動に賭けることだ

–  The Power of ‘Thick’ Data,WSJ

意思決定に必要な情報をわざわざ収集する理由は、最終的にその意思決定が何らかの計測な可能な成功につながることを望んでいるからです。

人間を観察し、その観察行動から得た洞察に基づいた判断は、不適切な調査に基いた判断よりもはるかに役立つ可能性があります。したがって、より良いデータを収集するためには注意が必要です。最も測定しやすいデータが、最も価値のあるデータであるとは限らないのです。

もっと興味のある方は、定量的データについてのこの動画をご覧ください。