1.0UX TIMEShttps://uxdaystokyo.com/articles大本 あかねhttps://uxdaystokyo.com/articles/author/akaneohmoto/rich600338<blockquote class="wp-embedded-content" data-secret="l81jAAK7Ey"><a href="https://uxdaystokyo.com/articles/glossary/multiple-comparisons-problem/">多重検定問題</a></blockquote><iframe sandbox="allow-scripts" security="restricted" src="https://uxdaystokyo.com/articles/glossary/multiple-comparisons-problem/embed/#?secret=l81jAAK7Ey" width="600" height="338" title="“多重検定問題” — UX TIMES" data-secret="l81jAAK7Ey" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe><script> /*! This file is auto-generated */ !function(d,l){"use strict";l.querySelector&&d.addEventListener&&"undefined"!=typeof URL&&(d.wp=d.wp||{},d.wp.receiveEmbedMessage||(d.wp.receiveEmbedMessage=function(e){var t=e.data;if((t||t.secret||t.message||t.value)&&!/[^a-zA-Z0-9]/.test(t.secret)){for(var s,r,n,a=l.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),o=l.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),c=new RegExp("^https?:$","i"),i=0;i<o.length;i++)o[i].style.display="none";for(i=0;i<a.length;i++)s=a[i],e.source===s.contentWindow&&(s.removeAttribute("style"),"height"===t.message?(1e3<(r=parseInt(t.value,10))?r=1e3:~~r<200&&(r=200),s.height=r):"link"===t.message&&(r=new URL(s.getAttribute("src")),n=new URL(t.value),c.test(n.protocol))&&n.host===r.host&&l.activeElement===s&&(d.top.location.href=t.value))}},d.addEventListener("message",d.wp.receiveEmbedMessage,!1),l.addEventListener("DOMContentLoaded",function(){for(var e,t,s=l.querySelectorAll("iframe.wp-embedded-content"),r=0;r<s.length;r++)(t=(e=s[r]).getAttribute("data-secret"))||(t=Math.random().toString(36).substring(2,12),e.src+="#?secret="+t,e.setAttribute("data-secret",t)),e.contentWindow.postMessage({message:"ready",secret:t},"*")},!1)))}(window,document); //# sourceURL=https://uxdaystokyo.com/articles/wp-includes/js/wp-embed.min.js </script> https://uxdaystokyo.com/articles/wp-content/uploads/2025/07/multiple-comparisons-problem.png10801080100個の仮説検定を行った場合、各検定の有意水準を通常の0.05（5%）に設定すると、何も差がない場合でも約5個の検定で「偶然」有意な差が出てしまう可能性がある。 これは、複数の検定を行うことで第1種の過誤（false positive）＝誤って棄却してしまうリスクが累積するためである。 つまり、たくさんのテストを一度にやると、間違った答えが出やすくなるという問題である。 たとえば、お菓子の中に1つだけ「当たり」が入っているとする。 それを1人で1回だけ引けば、当たる確率は低いが、100人が100回引いたら、だれかが「たまたま当たった」と思うことがあるかも知れない。実は運がよかっただけなのに、「この箱は当たりやすい！」と勘違いしてしまう。これが「多重検定問題」である。たくさんやると、たまたま当たっちゃう人が出てきて、本当のことと勘違いするってことでもある。 提唱者 この問題自体は統計的な性質として古くから知られており、特定の「提唱者」は存在しないが、これに対する修正方法として最も有名なボンフェローニ補正（Bonferroni correction）を提唱したカルロ・エミリオ・ボンフェローニ（Carlo Emilio Bonferroni）が関連人物として挙げられる。 デザインへの応用と具体例 多重検定問題は、UXリサーチやA/Bテスト、パーソナライズアルゴリズムの設計において重要な意味を持つ。 特に、多変量なUI要素（ボタンの色、ラベルの文言、位置など）を同時にテストする際には、偶然に起因する「有意差」を誤って意思決定に取り込むリスクがある。 たとえば、A/B/C/Dの4つのUIを比較し、p < 0.05で最もクリック率が高かったDを採用する場合、本当にDが優れていたのか、それとも偶然なのかを慎重に検証する必要がある。 このときに多重検定の調整（例えばボンフェローニ補正）を行わないと、誤った改善判断を下してしまう恐れがある。 具体的なシーンと事例 シーン例： 大規模なA/Bテストを複数パターンで同時実施する場面 ユーザー属性ごとの行動分析（年齢、性別、地域など） 機械学習モデルにおける特徴量選択 具体事例： あるEコマースサイトにおいて、10種類のレコメンドレイアウトをユーザー群に分けて同時テストした結果、p < 0.05の有意差が出た1レイアウトを選択した。しかし、補正を行っていなかったために、実際には偶然のばらつきであった。その後、再テストで差が消失し、「偶然の有意差」に基づいたデザイン変更であったことが判明した。 偽陽性 vs 多重検定問題 ハズレをあたりを間違えること：偽陽性 何回か数多く検証すると当たる確率にたまたま当たった場合に、あたりやすいと勘違いすること：多重検定問題