生物統計学 学習ノート概念・導出から実践的な解釈まで

CHAPTER 07 · TOPIC 01

単回帰分析

最小二乗法、残差、平方和分解、係数検定、予測を通して一説明変数の線形モデルを学びます。

このページの内容
  1. 答えられる問い
  2. 散布図と残差から始める
  3. 母集団モデルと標本回帰直線
  4. 切片と傾きの解釈
  5. 最小二乗法
  6. モデルの成立条件
  7. Yの変動をモデルと誤差へ分ける
  8. 回帰ANOVA表と全体F検定
  9. 自由度がn−1、1、n−2になる理由
  10. 残差標準偏差と係数検定
  11. 傾き検定でF=t²
  12. 説明と予測を区別する

単回帰分析は、一つの量的説明変数Xと量的目的変数Yの線形関係をモデル化します。関連の方向と大きさを傾きで表し、平均応答の説明や新しい観測値の予測に使います。

答えられる問い#

  • Xが1単位増えるとYの平均がどれだけ変わるか
  • 線形関係が0と異なる証拠があるか
  • モデルがYの変動をどの程度説明するか
  • 指定したXで平均応答または個別値を予測できるか

散布図と残差から始める#

曲線、群分け、外れ値、高レバレッジ点、ばらつきの変化を先に確認します。各点の観察値と回帰線との差が残差です。

ei=Yi−Y^ie_i=Y_i-\hat Y_i

母集団モデルと標本回帰直線#

母集団モデルYi=β0+β1Xi+εiY_i=\beta_0+\beta_1X_i+\varepsilon_i
Xを固定した母平均E(Yi∣Xi)=β0+β1XiE(Y_i\mid X_i)=\beta_0+\beta_1X_i
標本推定直線Y^i=b0+b1Xi\hat Y_i=b_0+b_1X_i
標本残差ei=Yi−Y^ie_i=Y_i-\hat Y_i

切片と傾きの解釈#

β₁はXが1単位増えたときのY平均の変化量です。β₀はX=0での平均ですが、0が観測範囲外または実質的意味を持たない場合は無理に解釈しません。中心化すると切片を観測範囲内へ移せます。

最小二乗法#

(b0,b1)=arg⁡min⁡a,c∑i=1n[Yi−(a+cXi)]2(b_0,b_1)=\arg\min_{a,c}\sum_{i=1}^{n}[Y_i-(a+cX_i)]^2
傾きb1=∑(Xi−Xˉ)(Yi−Yˉ)∑(Xi−Xˉ)2b_1=\frac{\sum(X_i-\bar X)(Y_i-\bar Y)}{\sum(X_i-\bar X)^2}
切片b0=Yˉ−b1Xˉb_0=\bar Y-b_1\bar X

モデルの成立条件#

  • XとY平均の関係が線形
  • 観測値・誤差が独立
  • Xの各水準で誤差分散が一定
  • 係数の小標本推論では誤差が概ね正規
  • 強い外れ値や影響点が結果を支配しない
誤差平均E(εi∣Xi)=0E(\varepsilon_i\mid X_i)=0
等分散Var⁡(εi∣Xi)=σ2\operatorname{Var}(\varepsilon_i\mid X_i)=\sigma^2
正規誤差εi∣Xi∼N(0,σ2)\varepsilon_i\mid X_i\sim N(0,\sigma^2)

Yの変動をモデルと誤差へ分ける#

Yi−Yˉ⏟全偏差=Y^i−Yˉ⏟回帰で説明+Yi−Y^i⏟残差\underbrace{Y_i-\bar Y}_{\text{全偏差}}=\underbrace{\hat Y_i-\bar Y}_{\text{回帰で説明}}+\underbrace{Y_i-\hat Y_i}_{\text{残差}}
全平方和SST=∑(Yi−Yˉ)2SS_T=\sum(Y_i-\bar Y)^2
回帰平方和SSR=∑(Y^i−Yˉ)2=b12∑(Xi−Xˉ)2SS_R=\sum(\hat Y_i-\bar Y)^2=b_1^2\sum(X_i-\bar X)^2
誤差平方和SSE=∑(Yi−Y^i)2SS_E=\sum(Y_i-\hat Y_i)^2
分解SST=SSR+SSESS_T=SS_R+SS_E

回帰ANOVA表と全体F検定#

変動源平方和自由度均方
回帰SSR1SSR/1
誤差SSEn−2SSE/(n−2)
全体SSTn−1—
帰無仮説H0:β1=0H_0:\beta_1=0
F統計量F=SSR/1SSE/(n−2)F=\frac{SS_R/1}{SS_E/(n-2)}
H₀下F∼F1,n−2F\sim F_{1,n-2}

自由度がn−1、1、n−2になる理由#

総偏差は平均推定に1自由度を使います。回帰部分は一つの傾きで決まり1自由度、残差は切片と傾きの二母数を推定するためn−2自由度です。

残差和∑ei=0\sum e_i=0
Xとの直交∑(Xi−Xˉ)ei=0\sum(X_i-\bar X)e_i=0
誤差自由度dfE=n−2df_E=n-2

残差標準偏差と係数検定#

残差標準偏差SY∣X=SSEn−2S_{Y\mid X}=\sqrt{\frac{SS_E}{n-2}}
Xの平方和Sxx=∑(Xi−Xˉ)2S_{xx}=\sum(X_i-\bar X)^2
切片の標準誤差SE(b0)=SY∣X1n+Xˉ2SxxSE(b_0)=S_{Y\mid X}\sqrt{\frac1n+\frac{\bar X^2}{S_{xx}}}
傾きの標準誤差SE(b1)=SY∣XSxxSE(b_1)=\frac{S_{Y\mid X}}{\sqrt{S_{xx}}}
切片検定t=b0−c0SE(b0)t=\frac{b_0-c_0}{SE(b_0)}
傾き検定t=b1−c1SE(b1),df=n−2t=\frac{b_1-c_1}{SE(b_1)},\qquad df=n-2

傾き検定でF=t²#

tの二乗t2=b12SxxSY∣X2t^2=\frac{b_1^2S_{xx}}{S_{Y\mid X}^2}
分子b12Sxx=SSRb_1^2S_{xx}=SS_R
分母SY∣X2=MSES_{Y\mid X}^2=MS_E
結論t2=SSR/1SSE/(n−2)=Ft^2=\frac{SS_R/1}{SS_E/(n-2)}=F

説明と予測を区別する#

指定Xでの平均応答の信頼区間は母平均線の不確実性を表します。新しい個体の予測区間には個体誤差も加わるため常に広くなります。観測範囲外への外挿は線形関係の保証がなく慎重に扱います。

  1. 散布図と研究デザインを確認
  2. 係数と信頼区間を推定
  3. 残差・影響点・線形性・等分散性を診断
  4. F、傾きt、p値、R²、残差標準偏差を報告
  5. 関連を因果とせず、予測対象と適用範囲を明示