生物統計學習筆記從概念、推導到實務判讀

CHAPTER 07 · TOPIC 05

決定係數 R²

決定係數（coefficient of determination）R²，用來描述迴歸模型在樣本中解釋 Y 總變異的比例。它把前面 ANOVA 的平方和分解轉成一個容易比較的比例：模型解釋的變異占全部變異多少。

本頁內容
  1. 為什麼是迴歸平方和除以總平方和？
  2. 如何把 R² 寫成讀者看得懂的結論？
  3. R² 的範圍與例外
  4. 簡單線性迴歸中為什麼 R²=r²？
  5. R²、t 值與 F 值如何連在一起？
  6. 高 R² 不一定代表模型適合

決定係數（coefficient of determination）R²，用來描述迴歸模型在樣本中解釋 Y 總變異的比例。它把前面 ANOVA 的平方和分解轉成一個容易比較的比例：模型解釋的變異占全部變異多少。

平方和分解SST=SSR+SSESS_T=SS_R+SS_E
決定係數R2=SSRSSTR^2=\frac{SS_R}{SS_T}
等價寫法R2=1−SSESSTR^2=1-\frac{SS_E}{SS_T}

為什麼是迴歸平方和除以總平方和？

平方和衡量的內容
SST每個 Yᵢ 與總平均 Ȳ 的距離，代表 Y 原本的全部變異
SSR每個 Ŷᵢ 與總平均 Ȳ 的距離，代表模型解釋的變異
SSE每個 Yᵢ 與 Ŷᵢ 的距離，代表模型尚未解釋的誤差

因為 SST=SSR+SSE，所以把 SSR 除以 SST，就是已解釋變異占總變異的比例；從 1 減去 SSE/SST，則是從全部變異中扣掉未解釋比例。兩個公式得到完全相同的 R²。

如何把 R² 寫成讀者看得懂的結論？

若 R²=0.64，可以寫成：「在這份樣本及目前模型下，Y 總變異的 64% 可由 X 的迴歸模型解釋；其餘 36% 留在殘差中。」這裡的解釋是統計模型對樣本變異的解釋，不等於 X 對 Y 具有 64% 的因果作用。

100×R2%100\times R^2\%

R² 的範圍與例外

對包含截距、並以同一批資料用最小平方法估計的迴歸模型，SSE 不會大於只用 Ȳ 預測所得的 SST，因此 0≤R²≤1。R² 愈接近 1，表示殘差平方和相對愈小；R² 愈接近 0，表示模型相較只用平均數沒有解釋多少變異。

0≤R2≤10\le R^2\le1

簡單線性迴歸中為什麼 R²=r²？

在只有一個 X、模型含截距的簡單線性迴歸中，樣本 Pearson 相關係數 r 與斜率共享同一個共變動資訊。把斜率代入 SSR 後，SSR/SST 正好化成 r²：

斜率b1=∑(Xi−Xˉ)(Yi−Yˉ)∑(Xi−Xˉ)2b_1=\frac{\sum(X_i-\bar X)(Y_i-\bar Y)}{\sum(X_i-\bar X)^2}
迴歸平方和SSR=b12∑(Xi−Xˉ)2SS_R=b_1^2\sum(X_i-\bar X)^2
代入並除以 SSTR2=[∑(Xi−Xˉ)(Yi−Yˉ)]2∑(Xi−Xˉ)2∑(Yi−Yˉ)2=r2R^2=\frac{[\sum(X_i-\bar X)(Y_i-\bar Y)]^2}{\sum(X_i-\bar X)^2\sum(Y_i-\bar Y)^2}=r^2

因此，r 的正負號告訴讀者直線關係的方向；R²=r² 只保留解釋比例。r=−0.8 與 r=+0.8 都得到 R²=0.64，但兩條關係的方向相反。到了多元迴歸，R²代表整組解釋變數共同解釋的比例，不再等於任何單一相關係數的平方。

補充：逐步證明 r²=SSR/SST=R²

以下在含截距的簡單線性迴歸中，從 Pearson 相關係數的定義出發，證明 r²=SSR/SST=R²。

1. 從 r² 的定義開始

r2=[∑(Xi−Xˉ)(Yi−Yˉ)]2∑(Xi−Xˉ)2∑(Yi−Yˉ)2r^2=\frac{[\sum(X_i-\bar X)(Y_i-\bar Y)]^2}{\sum(X_i-\bar X)^2\sum(Y_i-\bar Y)^2}

2. 把 Yᵢ−Ȳ 拆成殘差與模型離差

離差分解Yi−Yˉ=(Yi−Y^i)+(Y^i−Yˉ)=ei+(Y^i−Yˉ)Y_i-\bar Y=(Y_i-\hat Y_i)+(\hat Y_i-\bar Y)=e_i+(\hat Y_i-\bar Y)
含截距迴歸線Y^i−Yˉ=b1(Xi−Xˉ)\hat Y_i-\bar Y=b_1(X_i-\bar X)

將兩式代入 r² 分子中的共變動總和：

代入離差分解∑(Xi−Xˉ)(Yi−Yˉ)=∑(Xi−Xˉ)ei+b1∑(Xi−Xˉ)2\sum(X_i-\bar X)(Y_i-\bar Y)=\sum(X_i-\bar X)e_i+b_1\sum(X_i-\bar X)^2
殘差項為 0∑(Xi−Xˉ)ei=∑Xiei−Xˉ∑ei=0\sum(X_i-\bar X)e_i=\sum X_ie_i-\bar X\sum e_i=0
因此∑(Xi−Xˉ)(Yi−Yˉ)=b1∑(Xi−Xˉ)2\sum(X_i-\bar X)(Y_i-\bar Y)=b_1\sum(X_i-\bar X)^2

3. 代回 r² 並逐步約分

代入分子r2=b12[∑(Xi−Xˉ)2]2∑(Xi−Xˉ)2∑(Yi−Yˉ)2r^2=\frac{b_1^2[\sum(X_i-\bar X)^2]^2}{\sum(X_i-\bar X)^2\sum(Y_i-\bar Y)^2}
約去一個 Sxx=b12∑(Xi−Xˉ)2∑(Yi−Yˉ)2=\frac{b_1^2\sum(X_i-\bar X)^2}{\sum(Y_i-\bar Y)^2}
利用 Ŷᵢ−Ȳ=b₁(Xᵢ−X̄)=∑(Y^i−Yˉ)2∑(Yi−Yˉ)2=\frac{\sum(\hat Y_i-\bar Y)^2}{\sum(Y_i-\bar Y)^2}
辨認平方和=SSRSST=R2=\frac{SS_R}{SS_T}=R^2

R²、t 值與 F 值如何連在一起？

R² 與 F 都由同一套平方和分解而來，但兩者使用平方和的方式不同。R² 比較 SSR 與 SST，描述已解釋比例；F 則先把 SSR、SSE 除以各自自由度，再比較模型訊號與誤差，用來檢定虛無假設 H₀:β₁=0。

簡單迴歸的 FF=SSR/1SSE/(n−2)F=\frac{SS_R/1}{SS_E/(n-2)}
以 R² 表示平方和SSR=R2SST,SSE=(1−R2)SSTSS_R=R^2SS_T,\qquad SS_E=(1-R^2)SS_T
代入 FF=R21−R2(n−2)=R2(1−R2)/(n−2)F=\frac{R^2}{1-R^2}(n-2)=\frac{R^2}{(1-R^2)/(n-2)}
再用 R²=r²F=r2(n−2)1−r2=t2F=\frac{r^2(n-2)}{1-r^2}=t^2

所以在簡單線性迴歸中，R²、斜率 t 檢定與整體 F 檢定確實描述同一個線性訊號，但回答方式不同。R²回答模型解釋多少樣本變異；t 顯示斜率方向並檢定 β₁；F 比較模型均方與誤差均方。不能用 R² 取代 p 值，也不能用顯著的 F 取代效果大小。

統計量主要回答是否保留方向
r兩變數線性關係的方向與強度是
R²模型解釋 Y 總變異的比例否
t指定斜率假設是否與資料相容是
F模型解釋變異是否相對誤差足夠大否

高 R² 不一定代表模型適合

  • R² 不會告訴你關係是否真的是直線，仍要查看散布圖與殘差圖。
  • 離群值或高槓桿值可能同時拉動迴歸線與 R²。
  • 時間趨勢可能讓兩個沒有實質關係的變數得到很高的 R²。
  • 高 R² 不代表因果關係，也不保證對新資料仍有良好預測。
  • 不同研究領域的自然變異不同，不能用固定門檻判定 R² 好或壞。