決定係数R² | 回帰分析 | 生物統計学学習ノート

決定係数R²は、切片を含む回帰モデルがYの全変動のうちどの割合を標本内で説明したかを表します。モデル適合の一側面であり、因果性・予測精度・モデル妥当性そのものではありません。

平方和分解

SS_T=SS_R+SS_E

決定係数

R^2=\frac{SS_R}{SS_T}

同値式

R^2=1-\frac{SS_E}{SS_T}

なぜSSRをSSTで割るのか#

SSTは平均だけを使う基準モデルに対するYの総ばらつき、SSRは回帰が説明した部分、SSEは残った部分です。したがってR²は説明済み部分÷全体、1−R²は未説明部分の割合です。

100\times R^2\%

R²=0.64なら「この標本では、モデルがYの観察変動の64%を説明した」と表現します。「Yの64%をXが引き起こした」「予測が64%正しい」とは言いません。

0\le R^2\le1

通常の最小二乗法で切片を含み、同じデータ上で評価すればこの範囲です。切片なしモデル、異なる定義、外部検証の予測R²では負値もあり得ます。

傾き

b_1=\frac{\sum(X_i-\bar X)(Y_i-\bar Y)}{\sum(X_i-\bar X)^2}

回帰平方和

SS_R=b_1^2\sum(X_i-\bar X)^2

代入

R^2=\frac{[\sum(X_i-\bar X)(Y_i-\bar Y)]^2}{\sum(X_i-\bar X)^2\sum(Y_i-\bar Y)^2}=r^2

単回帰F

F=\frac{SS_R/1}{SS_E/(n-2)}

平方和

SS_R=R^2SS_T,\quad SS_E=(1-R^2)SS_T

R²によるF

F=\frac{R^2(n-2)}{1-R^2}

単回帰

F=\frac{r^2(n-2)}{1-r^2}=t^2