ANOVAの事後比較 | 分散分析 | 生物統計学学習ノート

全体ANOVAが有意でも、少なくとも一つの母平均が異なると分かるだけで、どの群間に差があるかは分かりません。位置を特定するには、事前に計画した対比または事後比較（post hoc comparisons）を使います。

t検定を繰り返してはいけない理由#

比較では、平均差の標準誤差をどう推定するか、複数回検定した後の有意水準をどう制御するかを決めます。k群の全ペア数は次の通りです。

m=\binom{k}{2}=\frac{k(k-1)}{2}

3群なら3比較、5群なら10比較です。各検定をα=0.05で行っても、比較族全体で少なくとも一度偽陽性を出す確率は0.05に留まりません。

m回すべてで第一種過誤なし

P(\text{第一種過誤なし})=(1-\alpha_1)^m

少なくとも一度の第一種過誤

\alpha_F=1-(1-\alpha_1)^m

α₁が小さいとき

\alpha_F\approx m\alpha_1

α₁は比較ごとの第一種過誤率、αFは一つの比較族で少なくとも一度第一種過誤を起こす家族内誤り率（FWER）です。上式の直観は独立な検定に基づきますが、Bonferroniの保証は検定間の独立を必要としません。

等分散一元配置ANOVAでは、ANOVA表のMSEを共通誤差分散として各ペアに使えます。

平均差の標準誤差

SE(\bar X_i-\bar X_j)=\sqrt{MS_E\left(\frac1{n_i}+\frac1{n_j}\right)}

ペア比較t統計量

t_{ij}=\frac{\bar X_i-\bar X_j}{\sqrt{MS_E\left(\frac1{n_i}+\frac1{n_j}\right)}}

自由度

df=n-k

Fisher's least significant difference法はANOVAのMSEを使うpooled t型のペア比較です。通常、全体ANOVAが有意なら各比較も元のαで判断し、比較数に応じた追加調整をしません。

p_{ij}<\alpha\quad\Longrightarrow\quad\text{reject }H_{0,ij}

目標とする家族有意水準αFをm比較へ配分します。各比較をαF/mで判定する方法と、元のp値をm倍してαFと比べる方法は同値です。

各比較の有意水準

\alpha_{\mathrm{per\ comparison}}=\frac{\alpha_F}{m}

調整p値

p_{\mathrm{adj}}=\min(mp,1)

3群の全3比較でαF=0.05なら、各門槛は0.05/3≈0.0167です。単純で依存構造を問わずFWERを制御しますが、比較が多いほど保守的になり、第二種過誤が増える可能性があります。

Holmのstep-down法はBonferroniを逐次化し、FWERを制御しながら通常はより高い検出力を得ます。

p_{(i)}\leq\frac{\alpha_F}{m-i+1}

p_{\mathrm{Holm},(i)}=\min\!\left(1,\max_{1\leq j\leq i}[(m-j+1)p_{(j)}]\right)

調整p値には単調性を持たせ、より大きな元p値が逆に小さな調整値にならないようにします。

p値を小さい順に並べるstep-down手順は同じですが、残るr個の仮説にŠidák門槛を使います。

残りの比較数

r=m-i+1

第i段階の門槛

\alpha_i'=1-(1-\alpha_F)^{1/r}

方法	多重性の処理	特徴
Fisher's LSD	通常は調整なし	高検出力だがFWERが膨らみやすい
Bonferroni	αFをmで割る	単純で頑健だが保守的
Holm	Bonferroni門槛を逐次緩和	FWERを制御し通常Bonferroniより高検出力
Holm–Šidák	逐次Šidák門槛	やや緩いが依存性に注意