【レポート】計測のさらに先を読む：UX DAYS TOKYO 2017

この記事は、UX DAYS TOKYO 2017で開催されたエリカ・ホール氏の「Beyond Measure」の講演レポートです。

問いの立て方の難しさ

Erikaはセッションの冒頭で、「銀河ヒッチハイク・ガイド（Douglas Adams）」のストーリーをもとに、問いの立て方とその答えの解釈の難しさを紹介しました。

私たち人間は非常に矛盾に満ち不完全なものです。

• 自分たちを賢く、合理的な存在であると思い込んでいる
• 喧嘩早く議論が好きではあるが、コミュニケーションが得意なわけではない

そんな不完全な私たち(人間)のためのものをデザインするには、コンピュータに出来ない判断があります。インタラクティブな開発のためには複数の人間が協力する必要があるのです。

「でも、これは論理的アプローチをあきらめることではない」というメッセージを発するErikaからは熱意が感じられました。

定性評価だからできる導き

カンボジアでは70％が貧困層の中で、60％の方が鉄分が不足している別のストーリーが紹介されました。鉄分が不足すると、貧血を起こしたり疲れやすくなったりするので、当然経済的にもマイナスです。

鉄分を食材から摂取するのは大変ですが、料理の際に鉄の塊を鍋に入れれば、簡単に食事で鉄分を取り入れることができます。しかし、現地ではそのような工夫はされていません。

カナダの学生がカンボジアを訪れ、1軒ずつ鉄の塊を配って使い方を説明したのですが、全く料理に使われませんでした。カンボジアの人々から見たら、知らない人が置いていった石のような見た目の鉄の塊を鍋に入れるのはナンセンスだと思われたからでしょう。

彼はその事実を知り「どのようにしたら鉄の塊を料理にいれてもらえるだろうか？」と言う疑問を元に調査を開始しました。

調査の結果、カンボジアでは魚が幸運の象徴であると考えられていることが分かりました。そこで、魚の形に成型した鉄を配り直したところ、今度は料理に使われるようになりました。その結果、貧血を半分に減らすというめざましい効果を得ました。

ユーザーへの調査から、以下のようなポジティブなフィードバックが生まれました。

1. 魚が幸運の象徴であるという事を知る
2. 鉄の塊を魚型に成型して配る
3. 魚型に成形した鉄が料理に使われる
4. 住民の体調が改善される
5. 体調が改善したことが口コミで広がる
6. 魚が幸運の象徴であるという伝承が強化される

このようなストーリーはユーザへの調査（定性データ）から生まれたもので、論理的なアプローチ（定量データ）だけでは出てきませんでした。共感してもらうストーリーを伴って、初めて人の習慣を変えることが出来るのです。

「データはストーリーを伴って初めて意味をなす」とErikaは強調しています。

ビッグデータとその理解

計測技術が向上したため、ビッグデータと呼ばれる定量的なデータがどんどん蓄積されるようになってきました。
しかし、今のテクノロジーではそのビッグデータを分析しきれておらず、膨大なデータばかりが蓄積されていっています。Erikaはこの状況を「気持ち悪い」と一刀両断しています。

データサイエンティストたちは「蓄積された膨大なデータは意思決定に役立っている」と主張しており、私たちはそれをそのまま受け入れています。というのも、その主張に乗ってしまうのが便利だからです。

データがあるからといって、私たちが必ずしもより良い体験(UX)を提供できるわけではありません。なぜなら、人間の合理的な理解能力には限界があり、統計分析ですべて判断できる存在ではないからです。

私たちは「理解しやすいことを理解しよう」とする怠け者であり、偏見からも逃れられません。脳はわかりやすい情報を真実だと思ってしまい易いのです。脳には以下のようなバイアスがあるとErikaは説明しています。

• わかりづらい情報や複雑な情報は理解しづらいので、真実だと思わずに排除しようとする
• 新しい未知の情報も排除する

それは同様に「簡単にできる調査の結果を正しいと思ってしまいやすい」ことにも繋がります。「簡単にできる調査の結果は質が悪い事が往々にしてあるが、多くの場合はそれに気づかない」とErikaは警告を発しています。

定性データと定量データ

定性データと定量データの違いは端的に以下のようにまとめられます。

• 定性データは観察したものの情報が文章で得られる
• 定量データは数字の情報が得られる

他人に質問をする際には、「定性的な質問なのか、それとも定量的な質問なのか」という事を理解することが必要です。ここで、定性データと定量データの優位性と問題点について着目してみます。

定性データの優位性

• 文章の情報が得られる
• 踏み込んだ深い内容が得られる
• 人の経験を追体験が出来る
• 質問を変えて深掘りしていくことができる

定性データの問題点

• 分析が個人のスキルに大きく依存する
• 分析者の偏見が影響してしまう
• 分析に時間がかかる
• プライバシーを守るのが困難
• 可視化が困難

定量データの優位性

• 管理することが可能
• 因果関係を見いだすことが可能
• データを生み出しやすい
• 比較が容易
• 遠隔からも調査可能

定量データの問題

• コンテキストを読み間違える可能性がある
• 柔軟性が低い
• 調査の途中で方向転換がしづらい
• 「作られた」結果になってしまう
• 統計有意にこだわってしまう(=そこから排除された情報が捨てられてしまう)

これらを踏まえて、定量的な調査には「クリティカルシンキング」と「統計的手法」に対する理解が必要です。

定量的な調査によって、多くのデータを生み出します。そうすると、脳はなんとかして情報からパターンを見つけ出そうとしますが、脳に蓄積された情報と相関関係がないところで強引に見つけたパターンに意味はありません。

人々を説得したいのであれば数字だけを見せても駄目なのです。新しい情報は同意しやすいものよりも同意しづらいことの方が多いです。だからこそ、質問は明確でなければなりません。

「最適化」は想定するゴールへ極力近づけるものであり、何がゴールなのか、また本当の解決を見つけることは出来ません。
たとえばA/Bテストをしても、「自分の頭の中のベスト」に近づけようとするだけで、数字が出ても目的が間違っていてはナンセンスなのです。

調査をするのに一番良い方法を聞かれるのですが、そんなものはありません。問いの立て方こそが重要で、質の高い調査のために正しい質問をすることが不可欠なのです。

その一つの例として、「定性調査と定量調査を取り違える」というとても基本的な間違いが紹介されました。
いくら分析できるからといって、写真のような質問票で顧客満足度を数値で測るようなことはナンセンスとErikaは言います。

質問は「具体的」で「実用的」でかつ「簡潔」であるべきです。

また、質問のターゲットが正しいかどうかも検証しなければなりません。そもそも購入する気がないユーザに対して、購入に関する質問をしても決して正しい答えは返ってこないのですから。

まとめ

私たちは不完全な人間であり、その不完全な人間が不完全なお客様に向けてデザインをしなければなりません。
観察は出来ても測定分析できないことがたくさんあり、謙虚な気持ちでデータに向き合うことでこそ意味のある結果が得られます。

質の良い定性データ・定量データの両方を元に意味のある選択をしなければなりません。そうすれば成功が訪れることでしょう。