회귀적합도

앞 내용에서 반응변수(y) 값의 좋은 예측변수(x)를 찾기 위해

최소제곱(Least Squares)을 이용하였는데

이때 최선의 적합(the best possible fit)이라 할 수 있지만

좋은 예측력(predictive power)이라 할 수 없다.

(예시로 x말고 z가 있는 다른 예측변수가 있는 경우)

 

이번 글에서는 적합도에 대해 알아보고자 한다.

먼저 평균에 대한 y의 변동을 식으로 표현하면

$$\sum _{i=1}^n(y_i-\overline{y}{)}^2$$

이러한 식을 SST(Total Sum of Squares)(전체제곱합)이라고 한다.

 

평균으로부터 y값의 일탈(deviation)을

회귀선으로부터 y값의 일탈과 평균으로부터 회귀선의 일탈의 합으로 표현하면

$$y_i-\bar{y}=y_i-{\hat{y}}_i+{\hat{y}}_i-\overline{y}$$

그림으로 보면

 

 

 

위의 식을 양변 제곱하여 더한 값을 표현하면 

$$\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n(y_i-{\hat{y}}_i+{\hat{y}}_i-\overline{y}{)}^2$$

$$=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^n({\hat{y}}_i-\overline{y}{)}^2+2\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\overline{y})$$

이때

$$2\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\overline{y})=2\sum _{i=1}^n{\hat{y}}_i(y_i-{\hat{y}}_i)-2\overline{y}\sum _{i=1}^n(y_i-{\hat{y}}_i)$$

 

위의 식의 값을 구하기 위해 이전 최소제곱추정을 했던 식에서

 

 

다음을 이용하여

$$\frac{\partial Q}{\partial b_0}=(-2)\sum _{i=1}^n(y_i-{\hat{y}}_i)=(-2)\sum _{i=1}^n{\hat{e}}_i=0$$

$$\frac{\partial Q}{\partial b_1}=(-2)\sum _{i=1}^n(y_i-{\hat{y}}_i)x_i=(-2)\sum _{i=1}^n{\hat{e}}_i{x}_i=0$$

다음과 같이 나타낼 수 있고 두 식을 이용해

$$\sum _{i=1}^n{\hat{e}}_i{\hat{y}}_i=\sum _{i=1}^n{\hat{e}}_i(b_0+b_1{x}_i)$$

$$=b_0\underset{=0}{\underbrace{\sum _{i=1}^n{\hat{e}}_i}}+b_1\underset{=0}{\underbrace{\sum _{i=1}^n{\hat{e}}_i{x}_i}}=0$$

 

다시 돌아가서 다음의 식에서

$$\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\overline{y})=2\sum _{i=1}^n{\hat{y}}_i(\underset{{\hat{e}}_i}{\underbrace{y_i-{\hat{y}}_i}})-2\overline{y}\sum _{i=1}^n(\underset{{\hat{e}}_i}{\underbrace{y_i-{\hat{y}}_i}})$$

최소제곱추정을 통해 구한 값을 대입하면$$=2\underset{=0}{\underbrace{\sum _{i=1}^n{\hat{y}}_i{e}_i}}-2\overline{y}\underset{=0}{\underbrace{\sum _{i=1}^n{e}_i}}=0$$

 

따라서 위의 식을

$$\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^n({\hat{y}}_i-\overline{y}{)}^2+\underset{=0}{\underbrace{2\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\overline{y})}}$$

 

평균으로부터 회귀선의 일탈의 제곱합은
SSE(The Sum of Squares Error)(오차제곱합)라 하고

회귀선으로부터 y값의 일탈의 제곱합은
SSR(The Regression Sum of Squares)(회귀제곱합)라 하는데

 

이러한 내용을 식에서 보면

$$\underset{SST}{\underbrace{\sum _{i=1}^n(y_i-\bar{y}{)}^2}}=\underset{SSE}{\underbrace{\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}}+\underset{SSR}{\underbrace{\sum _{i=1}^n({\hat{y}}_i-\overline{y}{)}^2}}$$

 

그림으로 표현하면

 

 

이러한 값을 이용하여 회귀식의 적합도 평가를 유용하게 하는 분산분석표를 작성할 수 있다.

 

분산분석표는 ANOVA Table(ANalysis Of VAriance table)로

표로 다음과 같이 작성한다.

 

SSR은 회귀선에 의해 설명되는 변동이고

SSE은 회귀선에 의해 설명되지 않는 변동으로

 

만약 x와 y 간에 정확한 관계(exact relationship)이면

SSE=0이 되므로 SST=SSR이 되는데 이러한 경우는 거의 없을 것이다.

 

그러기에 얼마나 정확한 관계에 근접하는지를 측정하기 위해

전체 변동에서 회귀선에 의해 설명되는 변동의 비율

즉 SST에서의 SSR의 비율인

R² (the coefficient of determination)(결정계수)을 이용한다.

R² (결정계수)
$$R^2=\frac{SSR}{SST}(=1-\frac{SSE}{SST})between0and1$$
R² 이 0에 가까울수록 회귀선의 의미가 떨어지고
R² 이 1에 가까울수록 회귀선의 의미가 높아진다.

 

R² (결정계수)를 이용하는 방법 말고 적합도에 대한 측정으로

F 통계량(F value)(F ratio)(F₀)을 이용하여 F Test 통해 측정할 수도 있다.$$F_0=\frac{MSR}{MSE}$$

 

가설이 아래와 같다 하면$$H_0:{\beta }_1=0$$$$H_a:{\beta }_1\ne 0$$

이때 다음과 같으면

$$F_0>F_{\alpha }(1,n-2)$$

귀무가설을 기각해서 β₁ ≠ 0 라고 할 수 있다.

 

지난번 부동산 자료의 SAS output을 이용하여 적합도를 측정하면

 

 

① R² 이용한 적합도 측정

 

R² = 0.6647 or 66.47%

=> 회귀선이 자료의 66.47% 설명한다,

 

② F₀ 이용한 적합도 측정

 

가설이 다음과 같을때

 

F₀ = 194.25이고

 

F분포표를 통해

***

 

유의수준 5%에서

F₀.₀₅(1, 98)의 값은 약 (4.00+3.92)/2=3.96

 

194.25 > 3.96 임으로 귀무가설을 기각할수 있다.

따라서 β₁ ≠ 0 

즉 "size(x)와 value(y)간에 유의미한 관계이다." 라고 할 수 있다.