数字の読み違いを避ける
数字は、反論しにくいというだけで強く見えます。ですが探し続ければ差はどこからでも出てきますし、まとめて見た傾向が、分けた瞬間に逆さまになることもあります。このページでは、差の確かめ方から、指標が目標になったときの壊れ方までを順に並べました。
その差は本物か
少ない回数ほど偏りは大きく振れますし、項目を並べれば何かは必ず有意に見えます。極端な値の次は、放っておいても真ん中へ戻ります。
- 1 少数の法則 The Law of Small Numbers 数十件で出た差は、明日には裏返ることがある。早く勝敗を決めるほど、決め直す回数が増える。止める件数は、始める前に決めろ。
- 2 多重検定問題 multiple testing problem 指標を二十個も並べれば、どれかは必ず有意に見える。後から見つけた差は、たいてい偶然だ。調べる項目は、実験を始める前に宣言しろ。
- 3 どこでも効果 everywhere-effect 探し続ければ、差はどこからでも出てくる。一度きりの有意は、たまたま当たったくじに近い。同じ条件で取り直してから、報告しろ。
- 4 平均への回帰 Regression toward the Mean 最悪の週の次が改善するのは、たいてい施策のおかげではない。底で打った手ほど効いて見える。比べる相手は、前の週ではなく対照群にしろ。
比べ方を間違えない
条件の違う集団や期間を並べれば、どんな結論でも作れてしまいます。一緒に動く二つの数字は、原因と結果に見えてしまうものです。
- 5 集団間比較の誤謬 fallacy of intergroup comparison 条件の違う二群を並べれば、どんな差でも作れる。年齢も利用歴も違う集団の平均に、意味はない。比べる前に、揃っている条件を書け。
- 6 時系列比較の誤謬 Temporal Comparison Fallacy 先月より伸びたという話は、季節が変わっただけのことが多い。並べる期間を選べば、どんな結論も作れる。前年の同じ月と、必ず並べろ。
- 7 シンプソン・パラドックス Simpson's Paradox 全体で見えた傾向が、分けた瞬間に逆さまになることがある。合計だけの比較は、結論を取り違える。数字は、必ず群ごとにも割れ。
- 8 相関関係 Correlation 一緒に動く二つの数字は、原因と結果に見えてしまう。だが片方を動かしても、もう片方は動かないことがある。図を出す前に、共通の原因を探せ。
指標が目標になるとき
評価に使った瞬間から、その数字は作られるようになります。増える一方の数字ほど、次の一手には繋がりません。
- 9 グッドハートの法則 Goodhart's Law 評価に使った瞬間から、その数字は作られるようになる。誰も嘘はつかないのに、数字だけが良くなる。目標に据える指標は、定期的に取り替えろ。
- 10 バニティメトリクス vanity metrics 累計の数字は、何もしなくても増え続ける。増えたことを報告するほど、判断からは遠ざかる。見せる数字は、減りうるものを選べ。
- 11 アクショナブルメトリクス actionable metrics 見て次に何をするか言えない数字は、眺めるためだけの飾りだ。増えて嬉しい指標ほど、動きにつながらない。一つずつ、打つ手と紐づけろ。
- 12 マクナマラの誤謬 Metric Fixation 数字で語れないものは、会議では無かったことになる。声にならない不満ほど、後から一度に噴き出す。定量の隣に、定性の席を残せ。
見せ方で歪む
軸の取り方ひとつで同じ数字が別の話になりますし、読めない式が一つ載るだけで、話は正しく見えてしまいます。