최소제곱추정량

최소제곱추정량을 이용해 회귀선 구해보기

이전 글에서 언급한 최소제곱법을 이용하여 최소제곱추정량(Least Squares Estimators)을 구하면 β₀, β₁의 추정량을 구할 수 있다.

$$y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i$$

다음과 같이 가정하고 이 식을 회귀모형식(Regression Model Equation)이라고 한다. (이때 εᵢ는 잔차이다.)

추정된 회귀선(Estimated Regression Line)은 다음과 같다.

$$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i=b_0+b_1{x}_i$$

이 식을 회귀모형식에 대입하여 전개를 하면 (잔차제곱합을 Q라고 하자)

$$minimizeQ=\sum _{i=1}^n{ϵ}_i^2=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i-b_0-b_1{x}_i{)}^2$$

Q(잔차제곱합)의 최소값을 구하려면 기울기가 0이 되는 값을 찾으면 됨으로

$$\frac{\partial Q}{\partial b_0}=2\sum _{i=1}^n(y_i-b_0-b_1{x}_i)\cdot (-1)=0$$

$$\frac{\partial Q}{\partial b_1}=2\sum _{i=1}^n(y_i-b_0-b_1{x}_i)\cdot (-x_i)=0$$

두 식을 전개하면

$$\sum _{i=1}^n{y}_i-b_{0}n-b_1\sum _{i=1}^n{x}_i=0$$

$$\sum _{i=1}^n{x}_i{y}_i-b_0\sum _{i=1}^n{x}_i-b_1\sum _{i=1}^n{x}_i^2=0$$

전개한 식에서 b₀ 와 b₁을 구하면

$$b_0=\bar{y}-b_1\bar{x}$$

$$b_1=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y}))}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}\stackrel{\underset{\mathrm{let}}{}}{=}\frac{S_{xy}}{S_{xx}}$$

위의 내용을 정리하면 다음과 같다.

절편의 추정량(β₀의 추정량)
$$b_0=\widehat{{\beta }_0}=\bar{y}-b_1\bar{x}$$
기울기 추정량(β₁의 추정량)
$$b_1=\widehat{{\beta }_1}=\frac{S_{xy}}{S_{xx}}$$

따라서 b₀ 와 b₁값을 알 수 있기 때문에 추정된 회귀선을 구할 수 있게 된다.

예시를 통해 확인하기

자료가 다음과 같이 주어졌을 때

 

 

$$b_1=\frac{\sum _{i=1}^n{x}_i{y}_i-\frac{1}{n}\sum _{i=1}^n{x}_i\sum _{i=1}^n{y}_i}{\sum _{i=1}^n{x}_i^2-\frac{1}{n}(\sum _{i=1}^n{x}_i{)}^2}=\frac{931-\frac{1}{7}(28)(75)}{140-\frac{1}{7}(28{)}^2}=1.964$$

$$b_0=\bar{y}-b_1\bar{x}=2.857$$

따라서 추정된 회귀선은 다음과 같다.

$$\hat{y}=2.857+1.964x$$