최소제곱추정량

최소제곱추정량을 이용해 회귀선 구해보기

이전 글에서 언급한 최소제곱법을 이용하여 최소제곱추정량(Least Squares Estimators)을 구하면 β₀, β₁의 추정량을 구할 수 있다.

$$y_i = \beta_0 + \beta_1x_i + \epsilon_i$$

다음과 같이 가정하고 이 식을 회귀모형식(Regression Model Equation)이라고 한다. (이때 εᵢ는 잔차이다.)

추정된 회귀선(Estimated Regression Line)은 다음과 같다.

$$\widehat{y_i} = \widehat{\beta_0} + \widehat{\beta_1}x_i = b_0 + b_1x_i$$

이 식을 회귀모형식에 대입하여 전개를 하면 (잔차제곱합을 Q라고 하자)

$$minimize\; Q = \sum_{i=1}^{n}\epsilon_i^{2} = \sum_{i=1}^{n}(y_i - \widehat{y_i})^{2} = \sum_{i=1}^{n}(y_i - b_0 - b_1x_i)^{2}$$

Q(잔차제곱합)의 최소값을 구하려면 기울기가 0이 되는 값을 찾으면 됨으로

$$\frac{\partial Q}{\partial b_0} = 2\sum_{i=1}^{n}(y_i-b_0-b_1x_i)\cdot (-1) = 0$$

$$\frac{\partial Q}{\partial b_1} = 2\sum_{i=1}^{n}(y_i - b_0 - b_1x_i)\cdot (-x_i) = 0$$

두 식을 전개하면

$$\sum_{i=1}^{n}y_i - b_0n -b_1\sum_{i=1}^{n}x_i = 0$$

$$\sum_{i=1}^{n}x_iy_i - b_0\sum_{i=1}^{n}x_i -b_1\sum_{i=1}^{n}x_i^2 = 0$$

전개한 식에서 b₀ 와 b₁을 구하면

$$b_0 = \overline{y} - b_1\overline{x}$$

$$b_1 = \frac{\sum_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y}))}{\sum_{i=1}^{n}(x_i-\overline{x})^2}\overset{\underset{\mathrm{let}}{}}{=}\frac{S_{xy}}{S_{xx}}$$

위의 내용을 정리하면 다음과 같다.

절편의 추정량(β₀의 추정량)
$$b_0 = \widehat{\beta_0}=\overline{y}-b_1\overline{x}$$
기울기 추정량(β₁의 추정량)
$$b_1 = \widehat{\beta_1}=\frac{S_{xy}}{S_{xx}}$$

따라서 b₀ 와 b₁값을 알 수 있기 때문에 추정된 회귀선을 구할 수 있게 된다.

예시를 통해 확인하기

자료가 다음과 같이 주어졌을 때

 

 

$$b_1 = \frac{\sum_{i=1}^{n}x_iy_i-\frac{1}{n}\sum_{i=1}^{n}x_i\sum_{i=1}^{n}y_i}{\sum_{i=1}^{n}x_i^2-\frac{1}{n}(\sum_{i=1}^{n}x_i)^2}=\frac{931-\frac{1}{7}(28)(75)}{140-\frac{1}{7}(28)^2}=1.964$$

$$b_0 = \overline{y} - b_1\overline{x}=2.857$$

따라서 추정된 회귀선은 다음과 같다.

$$\widehat{y}=2.857+1.964x$$