« [福岡]日出時刻 | トップページ | [その他]アイバーソンがトレード »

2008.11.05

[統計]有意な差があるとは信頼区間が重ならないこと?

 2つの処理(など)を比較するとき、両側検定で検定することがあるだろう。また平均などの標本を代表する値に95%などの信頼区間を表す棒(線)をつけたグラフを描いて、平均のあいだのちがいを検討することもある。
 ではこの2つはどんな関係だろうか、たとえば、「95%信頼区間が重ならないこと」=「5%水準で有意な差があること」だろうか、という質問を比較的最近複数回されたのでまとめてみた。”それは別のことである”あるいは”(正規分布なら)95%信頼区間の線が重なるのが1/3くらいまでなら5%で有意”と承知の方にはわかりきった話題だ。

 なるべく問題を簡単にしてみる。t検定が使える状況つまり正規分布&等分散とする。両処理のサンプルサイズも等しくどちらもnだとする。ついでにさらに単純化してわかりやすくしてしまうことにする:両方のデータで標本分散も(したがって、平方和も不偏分散も)等しいことにする。平方和はSSという記号で表し、標本平均はm1とm2とする。また、m1>m2とし、m1-m2=Δとしておく。
 95%信頼区間は、 標本平均±t(n-1)×SS/(n-1)/√n である。t(n-1)は自由度n-1のt分布のパーセント点である。
 だから、95%信頼区間がちょうど接する、つまり第1の処理の信頼限界の下限側=第2の処理の信頼限界の上限側となるとき、m1-m2つまりΔが2×t(n-1)×{SS/(n-1)/n}の平方根 と等しくなる。このときのΔをΔ*としておく。
 t検定の方は、t統計量は、
分子がΔ、分母が、{2・SS/(2n-2)}・{2n/(n・n)}の平方根である。分母を整理すると、{SS/(n-1)}・{2/n)}の平方根となる。こちらは自由度2n-2のt分布と比べることになる
 95%信頼区間がちょうど接するとき、t統計量は、
分子が2×t(n-1)×{SS/(n-1)/n}の平方根
分母が{SS/(n-1)}・{2/n)}の平方根
整理して、t統計量は、t(n-1)×√2となる。これとt(2n-2)を比べるわけだが、t分布の5%や1%のパーセント点の表を見れば、自由度が小さい方が値は小さくなっている。だから、t(n-1)>t(2n-2)なのに、t(n-1)×√2とt(2n-2)を比べるわけで、当然、t検定の方は5%水準では有意になる。ではt検定の有意確率はどのくらいになるかというと、nがよほど小さくない限り、だいたい0.005くらいになる。グラフを描いてみた(横軸はn-1)。Dftplot1
5%ちょうどよりはおよそ一桁小さいことになる。
例で試してみる。
[第1のサンプル] 1 2 3 4 5 6 7 8 9 10
[第2のサンプル]5.3 6.3 7.3 8.3 9.3 10.3 11.3 12.3 13.3 14.3
というデータだと
[第1のサンプルの95%信頼区間]3.334-7.666
[第2のサンプルの95%信頼区間]7.634 -11.966
で、ほんのわずかだけ重なっている。このデータで、t検定すると有意確率は0.0052つまり0.5%程度で、もちろん5%水準で有意な差である。

「95%信頼区間が重ならない」なら「有意確率は5%よりもほぼ一桁小さい」ということになるだろう。


 逆にちょうど有意確率5%となるのは、どんな場合だろうか。
[第1のサンプル] 1 2 3 4 5 6 7 8 9 10
[第2のサンプル]3.9 4.9 5.9 6.9 7.9 8.9 9.9 10.9 11.9 12.9
こんなデータでt検定してみると、有意確率は0.046くらいになる。ほぼ5%である。
[第1のサンプルの95%信頼区間]3.334-7.666
[第2のサンプルの95%信頼区間]6.234-10.566
平均から信頼区間の端までの長さのうち、三分の一くらいは重なっている。

「5%水準で有意な差があるとき」でも「95%信頼区間が重なる」はけっこうあるということになるだろう。

|

« [福岡]日出時刻 | トップページ | [その他]アイバーソンがトレード »

コメント

情報ありがとうございました。

投稿: A1 | 2008.11.07 23:51

「『5%水準で有意な差があるとき』でも『95%信頼区間が重なる』」という場合がしばらく前に一部で議論になってました。

数学的な世界の牛丼屋さんのできごと...
http://transact.seesaa.net/article/105216733.html

ABOFAN says personality does not depend on blood type.
http://transact.seesaa.net/article/108236658.html

投稿: ito-hi | 2008.11.05 19:48

コメントを書く



(ウェブ上には掲載しません)




トラックバック


この記事へのトラックバック一覧です: [統計]有意な差があるとは信頼区間が重ならないこと?:

« [福岡]日出時刻 | トップページ | [その他]アイバーソンがトレード »