自由度 | 確率分布 | 生物統計学学習ノート

自由度（degrees of freedom, df）は、与えられた条件や制約の下で、データ中に独立して自由に変化できる情報がいくつ残っているかを表します。データの大きさでも、任意に削除できるデータ数でもなく、統計量を計算するときに実際に残る独立な情報量です。

平均値を固定した例で理解する#

4個のデータの平均が10と分かっているとします。4値の合計は40でなければなりません。最初の3値は自由に選べますが、その後の4番目は自由に変えられません。

平均値による制約

\frac{x_1+x_2+x_3+x_4}{4}=10\quad\Longrightarrow\quad x_1+x_2+x_3+x_4=40

最初の3値が4番目を決める

x_4=40-(x_1+x_2+x_3)

自由に変化できる情報量

df=4-1=3

たとえば最初の3値が8、11、13なら、平均を10に保つため4番目は8に決まります。データは4個でも、自由に決められるのは3個です。

自由度は、線形代数の「次元」や「独立な方向」と深く関係します。n個の値に制約がなければ、n個の独立な方向へ変化でき、自由度はnです。一つの独立な制約を加えると一方向が自由でなくなり、通常はn−1になります。

先ほどの例では、4値は本来4方向へ変化できますが、合計を40に固定すると一方向が制約されます。値は4個のままでも、互いに独立な変化方向は3つだけです。

したがって重要なのは制約式の本数だけでなく、互いに独立な制約が何本あるかです。同じ内容を表す制約や、他の制約から導ける制約は、自由度をさらに一つ減らしません。

標本分散を計算するとき、同じデータから標本平均を先に推定します。平均からのn個の偏差の合計は0でなければならず、最初のn−1個が分かれば最後の偏差は決まります。偏差の自由度はn−1なので、標本分散の分母にもn−1を使います。

偏差にかかる制約

\sum_{i=1}^{n}(x_i-\bar{x})=0

標本分散

s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2

自由度は、独立情報の量、制約、推定した母数の数によって決まります。統計手法ごとに式が異なるため、標本サイズを見て常に1を引くわけではありません。