有意差検定の解説

有意差検定とは

有意差検定とは、アンケート集計の結果からある2つの値の間に統計的に意味のある差があるかどうかを判断するものです。たとえば、ある会社の担当者が行った調査で、東京と大阪でのある新製品Aの使用率はそれぞれ30%と20%という結果が出たとします。この10%の差から、社長へのプレゼンで「東京と大阪での新製品Aの使用率には差がありました。」と言い切るためには統計的裏付けをとらねばなりません。その裏付けとなる判断をするのが有意差検定(有意性検定)です。

検定の手順

検定の手順としては、まず東京と大阪での使用率は同じであるという仮説をたてます(帰無仮説と言います)。ここで、実際の調査結果から2地域での「使用率が同じになる」確率を計算します。この確率が十分に小さければ使用率は同じであるという仮説を捨てて、「使用率は同じではない(=差がある)」、すなわち統計的にみて有意差があるとみなすことができるのです。なお、捨て去った「使用率は同じになる」確率のことを有意水準または危険率という。たとえば5%の有意水準とは、5%の確率で使用率に差があるという判断は誤りますよ、ということを意味します。また、この「5%の有意水準」を、「95%の信頼度と言い換えることができます。95%の信頼度で有意差があるということは、上記の例では、「95%の信頼度(確かさ)で東京と大阪での新製品Aの使用率には差があります。」と社長にプレゼンすることができるのであります。

検定の種類

有意差検定は、調査結果のデータの種類が平均値か比率(パーセント)か、比較するデータが異なる対象者のものか同じ対象者のものか等によって主に、(1)比率の検定(2)平均値の検定(3)度数の検定の3つの方法に分けられます。この中でもマーケットリサーチで頻繁に使われるのが(1)比率の検定と(2)平均値の検定です。比率の検定は、サンプル数と比率の2種類のデータから行うことができますが平均値の検定にはサンプル数、平均値、平均値の標準偏差 (異なる対象者から得られたデータの場合)、さらに同じ対象者から得られたデータの場合(1対比較、paired testなど)には、同一対象者の2つの平均値の差の標準偏差値などが必要となります。

比率の検定

比率の検定は、文字通り2つの比率(パーセント)の差を検定するものです。そして、この2つの調査データ(比率)が異なるサンプル(対象者)のものか同じサンプルのものかによって異なる計算方法が用いられます。

A.サンプルが異なる場合

検定式は次のようになります。

異なるサンプル計算式

例えば、東京に住んでいる人(300人)と大阪に住んでいる人(200人)のある新製品Aの使用率が、それぞれ30%と20%であったとします。この10%の差が統計的に意味のある「差」であるかどうか検定する式は次のようになります。

異なるサンプル計算例

このZの値を(近似的に正規分布するものとみなし)正規分布表と比べ有意差があるか否か、どのくらいの有意水準で有意差があるかを判断します。(正規分布についての説明は割愛させていただきます)
正規分布表では、
Z=2.576のとき有意水準1%で有意差あり
Z=1.960のとき有意水準5%で有意差あり
Z=1.645のとき有意水準10%で有意差あり
となっています。(自由度=∞のとき)
上記の例ではZ=2.50なので、5%の有意水準で有意差ありと判断できます。言い換えれば95%の信頼度(確かさ)でこの10%の差は統計的に意味のある差であると言えるのです。
↓ウェブ上で異なるサンプル間の有意差検定が実行できるツールです。
異なるサンプル間の有意差検定

B.同じサンプルの場合

 

同じサンプル計算式

例えば、東京に住んでいる人(300人)の新製品Aと新製品Bの使用率が、それぞれ30%と20%であったとします。そして、AとBの両方を使用している人の割合は10%であったとします。この10%の差が統計的に意味のあるかどうか検定する式は次のようになります。

同じサンプル計算例

このZの値を(近似的に正規分布するものとみなし)正規分布表と比べ有意差があるか否か、どのくらいの有意水準で有意差があるか判断します。
正規分布表では、
Z=2.576のとき有意水準1%で有意差あり
Z=1.960のとき有意水準5%で有意差あり
Z=1.645のとき有意水準10%で有意差あり
となっています。(自由度=∞のとき)
上記の例ではZ=3.164なので、1%の有意水準で有意差ありと判断できます。言い換えれば99%の確かさでこの10%の差は統計的に意味のある差であると言えるのです。

*なお、この比率の検定は、サンプル数がある程度大きくないと比率の分布が正規分布しないため、通常サンプル数30以上を前提として検定されます。(当サイトのプログラムでは、サンプル数30以下はエラーになります)

関連記事:
Excel版有意差検定
↓Web上で可能な簡易検定プログラム
異なるサンプル間の有意差検定(1)
異なるサンプル間の有意差検定(2)
同じサンプル間の有意差検定(1)
同じサンプル間の有意差検定(2)

クロス集計表の見方
弊社で作成する集計表でどのように有意差検定が表示されるかご覧になれます。