第8回 - 2000/12/3
測定した統計値を評価するのが検定。ほんとうは大変なプロセスを経て、調査などの結果は得られるのであるが、最後に検定結果を持ち出して一言で終わってしまうことは日常茶飯事です。データ処理の最終目標と考えてもいいでしょう。
数学的な側面などいろいろあるのですが、わかりやすくするために、ある2つの測定値があり、それらに違いがあるかどうかという検定を考えてみます。たとえば、
といった問題に、統計的に答えを求めるのが検定です。ただし、ここで前提条件として非常に大きな問題は、注目した点以外に違いがない状態で測定したかということです。極端な悪い例として、男女の違いを測定するのに被験者を集めてきたけど、なぜか男は10代ばかり、女性は40代ばかりなどとなってしまった場合、男女の差よりも、年齢差の方が多いかもしれません。こうした前提条件が非常に重要ですが、講義ではそうした前提が満たされてすばらしい調査が行われたとしたものとして、統計処理にかけるということを行います。
検定では、帰無仮説というものをある危険率範囲内で否定することによって、結果的に「違いがある」ということを言うという、やや回りくどい手続きを経るのが一般的です。
仮説のもとになっているのは統計値です。ここで、ほんとうは、半年くらい講義を続けてやっと出てくるような統計分布があるのですが、これはみなさん、まじめに勉強してもらうということで、結果だけを紹介します。
正規分布など、測定値はある種の分布をすることを話ました。理論的根拠もあるのですが、実際に「まじめに」測定された統計値はなぜかほんとにそうなっているのです。だから、統計学というのものが世間で信頼されています。あまり正しい表現ではありませんが「測定値は正規分布する」ということをまず仮定します。この仮定がくずれると、検定以前の問題です。
非常に基本的なことをさらっておきますが、ここで説明する1つの測定値の範囲を考えるのは、本来は検定ではなく推定の問題となっています。本来は、推定という考え方の延長線上に検定があるのですが、実際にデータ処理で行われることが多いのは検定ですので、一足飛びに検定を説明することにします。
たとえば、ある鶏が産んだ卵の重さが次のとおりだったとする。単位はグラム。
68.1
70.4
71.5
67.6
70.2
74.5
68.6
70.3
71.2
69.6
平均値は70.2g、標本標準偏差は1.98と出てくる。
さて、このとき、以下の式の値tは、自由度n-1のt分布に従う。
このtというのはグラフを書くとすると、正規分布と同じような山のような形状になるが、個数のルートに比例する。つまり、データの個数が多くなると数値が大きくなることがある。
さて、そのt分布のグラフがあったとして、これは確率分布だから、積分値が確率となる。そこで、分布の中で、面積が5%となる点を求めたいのだが、分布の両側を考慮して片方は2.5%である。いずれにしても、5%となるポイントは、2.262である。（図で示します）
この2.262は、統計の本の最後に掲載されている数表で求めるのでいいのですが、どうしてもExcelで求めたいのであれば、関数が用意されています。=TINV(0.05,9)
それでは検定に入りましょう。次のような仮説を立てます。これは明白に違うわけで、考えなくてもわかりますが、統計的な考え方の練習として考えてください。
これは、絶対値で見ると2.262より圧倒的に大きい。つまり、5%の範囲内に入ってしまう。そこで、「仮説は間違い」と言い切り、「統計的に見ても、この鶏は50gより大きな卵を産むといえる」といえるわけです。ちなみに、逆算すると、50gになる可能性を計算すると、0.0000000001%くらいです。まあ、極端なのでこんなになるのはあたりまえですね。
では、次のような仮説はどうでしょうか？
絶対値は2.262より小さいので、それじゃあ、「仮説は検証された」と言えるかもしれないけども、実はいえません。絞り込んだ5%とかあるいは1%といったレンジに入ることで、仮説の棄却はいえても、逆に広いところに入ったからと言ってYesとはいえないというのが統計学の立場です。
通常、こうした検定はあまり意味がありません。実際に意味があり、よく使われるのは、2つの測定値に対するものです。
前記の鶏にある薬を与えた結果、生んだ卵の数値は次のようになりました。この薬が実際の効能があるかということを統計的に評価してみたいと思います。
72.7
69.4
74.2
70.6
69.0
72.5
平均は71.4、標本標準偏差は2.056、個数は6ですね。
ここで、2つの平均値の差の公式というのがあります。実は前提条件がいろいろあって（標準偏差が等しい母集団であるとか）、細かく言うと一筋縄ではありませんが、以下の値は自由度（1, n1+n2-2）のF分布に従うという公式があります。（図を示します）個数がn1で平均値がx1で標準偏差がs1の測定値と、個数がn2で平均値がx2で標準偏差がs2の測定値を比較します。
y = ( ( (x1 - x2) - (m1 - m2) ) ^ 2 ) / ( (1/n1) + (1/n2) ) * ( (n1 + n2 - 2) / (n1 * s1^2 + n2 * s2^2) )
m1とm2はそれぞれの測定値の母集団の平均値です。だから、わからないといえばわからないのですが、測定値の平均値から推定することは可能です。
ここで、m1 = m2という仮説を立てると、 y=1.34となる。自由度(1,14)の5%点は4.6なので、それより小さいために仮説は棄却できない。したがって、「薬は効く」とはいえない。
Excelでは、=FINV(0.05,1,14)という式で、F分布の5%点を求めることもできる。
ところが、m2 - m1 = 5だと仮説をおくと、y=13.4になり、5%はもちろん、1%点（8.86）もクリアする。つまり、仮説は棄却できる。つまり、「この薬は卵を5g重くする」と言った場合、それはうそであるといえる。
実は、F分布=(ｔ分布)^2 なのだが、両側検定をしやすいようにF分布がよく利用される。
例によって分析ツールを使って求めることができる。だけど、教科書等とぜんぜん違うので、よほどの注意が必要。
デモをします。
データの個数をn、相関係数をrとしたとき、以下の値は自由度(1, n-2)のF分布に従う。
F = (n - 2) * r^2 / (1 - r^2)
前回の講義のサンプルは、n=10、r=0.95であった。つまり、F=74。1%点でも、11程度だから、仮説はすっかり棄却できる。この場合、仮説はr=0。つまり、「相関がないとは言えない」ということが言える。だからといって相関があると言っていいかどうかは難しい。
まいどおなじみ日立市の気象と天気予報というページがある。気象観測データというリンクの先に今月の月別データというところがある。適当な月の情報を表示すると、そこには、毎日の平均気温や湿度などが一覧表になっている。
1月の平均気温と、3月の平均気温に差はあるかどうかを検定してみよう。
この統計値がどれほどの意味があるのかということも考えてみよう。つまり比較する意味があるのかということをいろいろな角度で考えてみる。