［統計］典型的な多重検定

　出張から戻ってきた。9月は半分くらいしか”本拠地”にいないことになりそうである。
　さて、多くの対象について同様な検定を繰り返せば、個々の検定で宣言している有意水準よりもずっと高い確率で誤って有意としてしまうことになる。検定の有意水準は、（そもそも多重検定の状況にあわせてデザインされているものでなければ）その１つの検定において誤って有意な差や相関などがあるとしてしまう確率について語っている。そこで、多数の対象について検定を繰り返せば、たとえ本当は差などが０でも、いくつかは有意な検定結果が出てきても当然である。
　確率の勉強らしい例をあげれば、コイン投げである。コインを8枚投げて、全部表とか全部裏のように8枚ともそろう確率は2のマイナス8乗を2倍したものだから1%よりも小さい。だから、もし、コインを8枚投げるというのを一度やって全部表とか全部裏だったりしたら、コインの表と裏が出る確率が半々ではないとか、複数のコインの同じ側がそろって出やすい理由があるとかを疑ったほうがいいことになる。でも、8枚全部表とか全部裏とかが、コインを8枚投げるというのを千回やったなかに起こりましたというなら、平均的には（2のマイナス8乗）×2×1000回起こる結果だから、表と裏の確率が同じではないとか、複数のコインの同じ面が揃うわけがあるとか考えるのは、早い（あるいは、どうかしている）。
　生物の例なら、コイン８枚を一度に産まれる子８頭、表と裏をメスとオスに置き換えてみるといい。とくに、性比が1:1から外れていたり、一腹のなかでは同じ性の子がそろいやすいといったことがなくても、たくさん調べれば、全部オスとか全部メスということがあってもとくに不思議ではなくむしろ当然でさえある。多くの対象を調べれば、「もしその１つだけ調べたのであれば驚くほど偏った結果」が含まれていることはむしろ当たり前で、どれだけの対象を調べたのかを示してくれなければその結果の意味はわからない（あるいは、範囲を示す以外はほとんど無意味）ことになる。
　生物の個体の集まり（たとえば個体群）を扱っている研究者は、複数のカテゴリー（一番単純な例がたぶん上記のメスとオス、別に３つ以上のカテゴリーでもいい）の個体からなる個体の集まりで、あるカテゴリーの個体の割合が、平均から出てきた確率やなんらかの理論的な確率（性比の場合の1:1とか）と有意な差がないかどうか検定した経験があることが多いだろう。そのとき、対象である集まりがたくさんあって、片っ端からカイ２乗検定でもすれば、実際に起こっていることは帰無仮説としてとった確率通りでも、有意な検定結果がいくつか出たりすることも経験しているだろう。
　上記のことは、典型的な多重検定問題の１つである。実はたくさん調べているのではないかという例にはいまでもときどき遭遇するので、次第に徴候として有力なものがわかってくる。なお、「たくさん調べてそれぞれ検定すれば・・・」というこの問題を表現するぴったりのことわざがある：『下手な鉄砲も数打ちゃあたる』。

追記：『いまはそういうときはカイ２乗検定はあまりしないのでは』という指摘がありそうですが、雰囲気のために承知で書いております。