« [九大]またコンビニが・・・ | トップページ | [その他]ウィルス »

2006.12.29

[統計]多重検定?

 多重検定や多重比較は、統計的方法の誤用の宝庫(の1つ)である。26日にようやく冬休みになって(もちろん授業が休みになったという意味。九大の冬休みは12/26から1/4である)、会議に出たり(休みといえば会議がよくある)、統計的方法についての相談についてメールで返事を書いていたりしていて、ふと、同じタイプの多重検定の誤用に、思っていたよりもよく遭遇していることに気が付いた。
 それは”ブロックごとに検定し多重検定だとして有意確率の補正をする”ことである。たとえば、幼期に餌をたくさん与えた個体と少ししか与えなかった個体が成体になったとき、ある行動の頻度がちがうかどうか調べたいというケースを考えてみる。成体は1頭ずつ隔離して飼育するのがむずかしいとする。両餌条件の個体を何頭か(普通はそれぞれ一定頭数に決めておくだろう)飼育容器に入れて、その行動を調べてみる。行動の頻度は飼育容器によってもある程度のちがいがあることが多いだろう。この場合、容器によるちがいを考慮するのはFisher3原則や混合効果モデルを持ち出すまでもなく基本である。ここでの容器はよく使われる統計用語ではブロックということになる。ブロックは、実験ではあちこちに顔を出すし、野外でも生息場所をいくつかに分けた部分だったり時間だったりといろいろと出てくる。調べたいことは、餌条件のちがい(これは実験計画法あるいは分散分析的用語だと処理ということになる)が行動の頻度に影響を与えるかどうかであり、容器をブロックとすることにより、容器による影響(いわばノイズ)を分離してデータが分析できる。ブロックはある種の繰り返し(反復)であり、他の条件が同じならブロックが増えればより確かなことがいえるのは当然だろう。
 10個の容器(もちろんちゃんと書けば、その中の個体)についてデータを取ったとすると、”ブロックごとに検定し多重検定だとして有意確率の補正をする”では、各容器について検定をして容器の個数をfamilyを構成する検定の個数として、多重検定用の有意確率補正(たとえばHolmとか)をして”個々の容器が有意かどうか”を提示してくる。ここから先はバリエーションがあって、”すべての容器が同方向に有意なときのみ、餌条件は行動の頻度に影響しないという帰無仮説を棄てる”というのもあるし”ある方向に有意な容器数が反対方向に有意な容器数よりも1つでも大きければ、帰無仮説を棄てる”というのもある。いままでもっともよく遭遇したのは、”客観的基準なく適当に”である。そのうち、”ある方向に有意な容器数と反対方向に有意な容器数をさらに検定する”というのも登場するような気がする。容器が500個くらいあると、この”ブロックごとに検定し多重検定だとして有意確率の補正をする”では、よほど処理の効果が激しくでもない限り、通常の有意水準では何も言えなくなるのが普通である。
 有意かどうかに関係なく、どちらの餌条件の個体の方が行動の頻度が高かったかで容器を2グループに分けて、400個と100個にわかれたら、餌条件は行動の頻度に影響しないという帰無仮説が正しければそんなに極端なことが起こる確率はたとえば5%よりかなり低い。だから、”ブロックごとに検定し多重検定だとして有意確率の補正をする”はおかしいのではないかと説明を試みても、効果があることは意外に少ないようだ。
 理由はだいたい想像がつく。多重比較や多重検定のときに有意確率の補正がなぜ必要になるのか、補正するならどういう状況ではどのように補正すべきなのかといったことには関係なく、”複数の似たような検定ができるなら多重検定の補正をするものだ”という思い込みの方に重きを置く人はけっこう多いということであろう。葬式のときに黒いネクタイをしていかずにいろいろ言われた人(あるいは言われているの見聞きした人)がどこでも黒いネクタイで大威張りみたいなものだろうと思うのだが。
 1元配置分散分析やブロック、対応といった話は、これまでのところ、”ブロックごとに検定し多重検定だとして有意確率の補正をする”症状にはあまり効果がない。1つ気が付くのは、ブロックや対応といった概念(用語は別にして)を理解していない人が予想外に多いことである。それにしても、多重比較や多重検定向けの方法は不遇だと思う。使用者に対する理解者の割合がとても低い。
 このタイプについては以前に生態学会の自由集会で話した。そのときはこれほどいくつも実例に遭遇するとは思っていなかった。さて、ここからは、統計的方法の誤用を指摘されたときの人の反応という興味深い別の話題に対するいくらかの洞察が可能だがこれは別項目にする。
(若干の加筆をするつもりです)

|

« [九大]またコンビニが・・・ | トップページ | [その他]ウィルス »

コメント

この記事へのコメントは終了しました。

トラックバック


この記事へのトラックバック一覧です: [統計]多重検定?:

« [九大]またコンビニが・・・ | トップページ | [その他]ウィルス »