할거없는 블로그

[단순회귀분석] 단순회귀에 관한 추론

할거없는중 — Wed, 10 Jan 2024 17:36:51 +0900

앞서 기본 가정에 대한 내용으로

$$y_i = \beta_0 + \beta_1x_i +\epsilon_i $$$$\epsilon_i\: \overset{\underset{\mathrm{iid}}{}}{\tilde{}}\: N(0,\sigma^{2})$$

위와 같은 가정을 성립한다고 전제로 하였었는데 단순회귀 추론부분에서도
이에 대한 가정을 성립한다는 전제합니다.

이를 통해 모수들에 대한 구간추정과 가설검정을 할 수있게 됩니다.

구간추정

β₁ 의 신뢰구간

[단순회귀분석] 상관분석과 분산분석

할거없는중 — Fri, 5 Jan 2024 14:20:31 +0900

먼저 이번 내용은 회귀선의 정도의 글에서의 연장선의 내용으로
회귀선의 정도를 측정하는 데 있어서

추정값의 표준오차
결정계수

2가지 경우에 대해서 알아보았었습니다.

이번에는 상관분석에서의 상관계수와
분산분석에서의 F-검정으로부터 측정하는 내용에 대해서 다루어 보려고 합니다

상관분석

상관계수

두 변수 x와 y 사이의 상관관계를 설명하는 데 결정계수가 쓰이기도 하지만,

결정계수는 x와 y의 관계가 음의 상관관계인지 양의 상관관계인지를 구별하지 못하는 단점을 가지고 있습니다.

이와 같은 단점을 보완하여 두 변량 간의 상호관계를 측정하는 측도로서 상관관계가 있습니다.

상관관계 r을 다음과 같이 구할 수 있습니다.

$$ r = \pm \sqrt {r^2} $$

즉, 결정계수 r ² 의 제곱근이며,

만약 추정된 회귀선의 기울기 b₁ 이 양이면 양의 상관계수를 갖고

$$r = \sqrt {r^2}$$ 기울기 b₁ 이 음이면 음의 상관계수를 가집니다.

$$r = - \sqrt {r^2}$$

결정계수 r ² 의 값이 0에서 1까지이므로 상관계수 r의 값은 -1에서 1까지이며

x와 y의 상관정도에 따라서 r의 값이 결정됩니다.

단순회귀분석에서는 x와 y의 함수관계를

$$ y = \beta_0 + \beta_1x + \epsilon$$

이와 같은 회귀모형식으로 나타내고

이때 y 만 확률 변수이고 x는 확률변수가 아니었는데(수학변수)

만약 x 도 또한 확률변수이고 x와 y 가 어떤 이변량분포를 하고 있다면

x와 y의 모집단상관계수는 다음과 같이 정의합니다.

$$ \rho_{xy} = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}} = \frac{\sigma_{xy}}{\sigma_x \sigma_{y}} $$

모집단으로부터 크기가 n인 표본을 뽑았을 때 n개의 자료점이 얻어졌다면 이 두 변수 사이의 표본상관계수는

$$ r_{xy} = \frac{S_{(xy)}}{\sqrt{S_{(xx)} S_{(yy)}}} $$

다음과 같이 정의됩니다.

이때 상관계수는 두 변수 간의 선형관계가 어느 정도인가를 재는 측도이지

함수관계를 알아보는 측도는 아닙니다. (두 변수 간의 직선적인 관련성만을 측정하는 도구)

아래의 그림은 상관계수 값에 대한 예시로 상관계수에 대한 이해를 돕고자 가지고 왔습니다.
[출처] https://otexts.com/fppkr/graphics-scatterplots.html

이후 알아보게 될 중회귀나 곡선회귀에서 얻어지는 결정계수로부터는

상관계수 r을 구할 수 없기 때문에 상관계수 r을 구할 때에는

결정계수 r ² 의 값이 반드시 단순회귀분석에서 얻어지는 결정계수인가를 확인하여야 합니다.

분산분석

주어진 자료를 적합시키는 데 있어서 회귀직선이 유의한가 하는 것은 SSR이 상대적으로 SSE보다 어느 정도 큰가를 분산분석표를 만들어 알아볼 수 있습니다

이때 이전의 내용을 다시 가져와보면 SSR과 SSE의 의미는 다음과 같습니다.

SST : 총 변동 (전체제곱합)
SSE : 회귀선에 의해서 설명 안 되는 변동 (잔차제곱합)
SSR : 회귀선에 의하여 설명되는 변동 (회귀제곱합)

분산분석표를 보면 다음과 같습니다.

위의 분산분석표에서 MSE(Mean Squared Error) 에 대해서 보면

$$ MSE = \frac{SSE}{n-2} $$이 부분에 대해 추정값의 표준오차를 구하는 과정에서의

회귀로부터의 평균제곱편차를 다음과 같이 정의했었는데

$$ {s_{y|x}}^2=\frac{\sum e_i^2}{n-2}=\frac{\sum (y_i-\hat y_i)^2}{n-2} $$

다시 표현하면 다음과 같이 나타낼수 있다
$$ {s_{y|x}}^2=\frac{\sum e_i^2}{n-2}=\frac{\sum (y_i-\hat y_i)^2}{n-2} = \frac{SSE}{n-2} = MSE $$

다음으로 F₀ (F-ratio)보면
F₀ (F-ratio)는 회귀의 평균제곱 MSR과 잔차의 평균제곱 MSE 와의 비율입니다.

$$ F_{0}=\frac{MSR}{MSE} $$

이 비율이 크면 회귀제곱합이 잔차제곱합보다 상대적으로 커서 회귀선이 x와 y 간의 관계를 설명하는 데 유의하다는 의미가 됩니다.

가설검정의 내용을 추가하여 학습해 보면

가설이 다음과 같을 때

$$ H_0:\beta_1=0$$$$H_a:\beta_1\neq 0 $$

이와 같은 식이 성립한다면

$$ F_{0}> F_\alpha(1,n-2) $$

귀무가설을 기각해서 β₁ ≠ 0라고 할 수 있고

회귀선이 유의하다고 말합니다.

예제를 통한 회귀선의 정도 측정

예제를 통해 추정된 회귀선의 정도를 측정하는 방법을 적용시켜 보겠습니다.

예시로 부동산 자료의 회귀분석에 대한 SAS output을 이용하면

① R² (결정계수)를 이용

R² = 0.6647 or 66.47%

=> 회귀선이 자료의 66.47% 설명한다,

② F₀ 이용

가설이 다음과 같을 때

F₀ = 194.25이고

F분포표를 통해

***

유의 수준 5%에서

F₀.₀₅(1, 98)의 값은 약 (4.00+3.92)/2=3.96

194.25 > 3.96 임으로 귀무가설을 기각할 수 있다.

따라서 β₁ ≠ 0

즉 "size(x)와 value(y) 간에 유의미한 관계이다."라고 할 수 있다.

정리하면

회귀선의 정도를 측정하는 데 있어
상관분석과 분산분석에 대해서 배움으로써

추정값의 표준오차
결정계수
상관계수
F₀ (F-ratio)

기존내용에서 추가적으로 2가지에 대해서 더 알아보았습니다.

[단순회귀분석] 회귀선의 정도

할거없는중 — Fri, 5 Jan 2024 02:09:59 +0900

회귀선만을 가지고는 관찰점들이 회귀선 주위에 어떻게 분포되어 있으며,

회귀선이 이 점들을 어느 정도 잘 대변하여 주고 있는가를 알기 어렵습니다.

위의 내용에 대해서 확인할 수 있는 방법으로 이번 글에서는

추정된 회귀선의 정도(precision)를 측정하는 여러 가지 측도에 대해서 알아보도록 하겠습니다.

추정값의 표준오차

이전 변수 x 와 y 간에 직선회귀모형 적합시킬 경우 2가지

가정 ① : 주어진 x에 대한 y의 기댓값들의 분포들은 모두 직선상에 위치
가정 ② : 오차에 대한 가정

$$y_i = \beta_0 + \beta_1x_i +\epsilon_i $$$$\epsilon_i\: \overset{\underset{\mathrm{iid}}{}}{\tilde{}}\: N(0,\sigma^{2})$$

에 대해서 성립한다고 가정하였는데 따라서 모든 x의 값에 대하여 종속변수 y의

기대값은 $$E(y) = \mu_{y|x} = \beta_0 + \beta_1x$$
분산은 σ²이라 생각할 수 있습니다

y의 측정값들이 회귀선 주위에 모두 가깝게 있다면 σ의 추정값은 작아지고,

이와 반대로 y의 값들이 회귀선으로부터 멀리 떨어져 있는 것이 많으면 σ의 추정값이 커집니다.

회귀로부터의 평균제곱편차를 다음과 같이 정의합니다.

$$ {s_{y|x}}^2=\frac{\sum e_i^2}{n-2}=\frac{\sum (y_i-\hat y_i)^2}{n-2} $$

이것이 바로 σ² 의 불편추정값(unbiased estimate)이 됩니다.

따라서, 표본의 자료에서 구해지는 회귀에서의 표준편차는 다음과 같습니다.

$$ {s_{y|x}}=\sqrt{\frac{\sum (y_i-\hat y_i)^2}{n-2}} $$

이것을 추정값의 표준오차라고 합니다.

결정계수

추정된 회귀선의 정도를 측정하는다른 방법으로 다음의 식을 고려해 보겠습니다.

$$ (y_i - \bar y) = (y_i - \hat y) + (\hat y_i - \bar y) $$

그림으로 보면

제곱하여 모든 i에 대한 합으로 나타내면

$$ \sum_{i=1}^{n}(y_i-\overline{y})^2=\sum_{i=1}^{n}(y_i-\hat{y}_i\; + \; \hat{y}_i-\bar{y})^2 $$$$ =\sum_{i=1}^{n}(y_i-\hat{y}_i)^2\; + \; \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 + 2 \sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\bar{y}) $$

오른쪽 마지막항에서
$$ \sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i - \bar{y}) = \sum_{i=1}^{n} e_i ( \hat y_i - \bar{y} ) = \sum_{i=1}^{n} \hat y_i e_i- \bar{y} \sum_{i=1}^{n} e_i$$

적합된 회귀선의 성질중

(1) 잔차들의 합은 0이다. $$\sum e_i = 0 $$
(2) 잔차들의 xᵢ 에 의한 가중합은 0이다. $$ \sum x_i e_i = 0 $$
(3) 잔차들의 ŷ에 의한 가중합은 0이다. $$ \sum \hat y_i e_i = 0 $$

1번과 3번 성질에 의해서 0이 됩니다.

$$ \sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i - \bar{y}) = \sum_{i=1}^{n} \hat y_i e_i- \bar{y} \sum_{i=1}^{n} e_i = 0 $$

남은 식에 대해서 나타나면 다음과 같고

$$ \sum_{i=1}^{n}(y_i-\overline{y})^2 = \sum_{i=1}^{n}(y_i-\hat{y}_i)^2\; + \; \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 ) $$

여기서 각 부분은 다음과 같습니다.

SST : 총 변동 (전체제곱합)
SSE : 회귀선에 의해서 설명 안 되는 변동 (잔차제곱합)
SSR : 회귀선에 의하여 설명되는 변동 (회귀제곱합)

위의 내용을 식에 표현하면 다음과 같습니다.

$$ \underbrace{\sum_{i=1}^{n}(y_i-\overline{y})^2}_{SST} = \underbrace{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}_{SSE} \; + \; \underbrace{ \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2}_{SSR} $$

위의 변동들에 대하여 다음의 비율은 총 변동 중에서 회귀선에 의하여 설명되는 비율입니다.

$$ r^{2}=\frac{SSR}{SST}=1-\frac{SSE}{SST}\;\;\; ,\;between\; 0\; and\; 1 $$

이때 r² 을 표본결정계수라고 정의합니다.

일반적으로 r² 의 값은 0에서 1 사이에 있으며,

x와 y 사이에 높은 상관관계가 있을수록 1에 가까워집니다.

결정계수는 총변동을 설명하는 데 있어서

회귀선에 의하여 설명되는 변동이 기여하는 비율을 의미하므로

결정계수를 회귀선의 기여율이라고 부르기도 합니다.

정리하면

회귀선의 정도를 측정하는 데 있어서

추정값의 표준오차
결정계수

2가지 경우에 대해서 알아보았습니다.

이외에도 상관계수나 분산분석의 F-검정으로부터의 측정이 가능한데,

이것들은 다음의 상관분석과 분산분석에서 다루도록 하겠습니다.

[단순회귀분석] 회귀선의 추정

할거없는중 — Thu, 4 Jan 2024 16:25:54 +0900

표본자료로부터 선형식을 추정하여 얻은 직선은 다음과 같습니다.

$$y = b_0 + b_1x$$

이와 같은 직선을 추정된 회귀직선, 또는 간단히 회귀선이라고 합니다.

이때 b₀, b₁ 는 각각 β₀, β₁ 의 추정값으로 b₀는 절편, b₁는 기울기에 해당합니다.

이번 글에서는 b₀, b₁ 를 구하는 방법을 소개하려고 합니다.

최소제곱법

최소제곱법(Least Square Method)이란 오차를 최소화하여 회귀계수인 β₀, β₁를 추정하는 기법을 말합니다.

최소제곱법을 이용하여 최소제곱추정량(Least Squares Estimators)을 구하면 β₀, β₁의 추정량을 구할 수 있습니다.

$$ y_i = \beta_0 + \beta_1x_i + \epsilon_i$$

이와 같이 가정하고 이 식을 회귀모형식(Regression Model Equation)이라고 합니다.

추정된 회귀선(Estimated Regression Line)은 다음과 같습니다.

$$\hat y_i = \hat \beta_0 + \hat \beta_1x_i = b_0 + b_1x_i$$

이 식을 회귀모형식에 대입하여 전개를 하면 (오차제곱합을 Q라고 하자)

$$minimize\; Q = \sum_{i=1}^{n}\epsilon_i^{2} = \sum_{i=1}^{n}(y_i - \widehat{y_i})^{2} = \sum_{i=1}^{n}(y_i - b_0 - b_1x_i)^{2}$$

Q(오차제곱합)의 최소값을 구하려면 기울기가 0이 되는 값을 찾으면 됨으로

$$\frac{\partial Q}{\partial b_0} = 2\sum_{i=1}^{n}(y_i-b_0-b_1x_i)\cdot (-1) = 0$$

$$\frac{\partial Q}{\partial b_1} = 2\sum_{i=1}^{n}(y_i - b_0 - b_1x_i)\cdot (-x_i) = 0$$

두 식을 전개하면

$$\sum_{i=1}^{n}y_i - b_0n -b_1\sum_{i=1}^{n}x_i = 0$$

$$\sum_{i=1}^{n}x_iy_i - b_0\sum_{i=1}^{n}x_i -b_1\sum_{i=1}^{n}x_i^2 = 0$$

정리하면

$$\sum_{i=1}^{n}y_i = b_0 n + b_1\sum_{i=1}^{n}x_i $$

$$\sum_{i=1}^{n}x_iy_i = b_0 \sum_{i=1}^{n} x_i + b_1 \sum_{i=1}^{n} x_i^2 $$

이 식을 정규방정식이라고 합니다.

다음으로 위의 식에서 b₀ 와 b₁을 구하면

$$b_0 = \overline{y} - b_1\overline{x}$$

$$b_1 = \frac{\sum_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y})}{\sum_{i=1}^{n}(x_i-\overline{x})^2}\overset{\underset{\mathrm{let}}{}}{=}\frac{S_{xy}}{S_{xx}}$$

이와 같은 방법으로 얻어진 β₀, β₁의 추정량을 최소제곱추정량이라고 합니다.

이때 표현의 편의를 위해 다음과 같이 나타낸다.

$$ S_{xx} = \sum_{i=1}^{n}(x_i-\overline{x})^2 = \sum x_i^2 - \frac{(\sum x_i)^2}{n}$$$$ S_{yy} = \sum_{i=1}^{n}(y_i-\overline{y})^2= \sum y_i^2 - \frac{(\sum y_i)^2}{n}$$$$ S_{xy} = \sum_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y}) = \sum x_i y_i -\frac{\sum x_i \sum y_i}{n}$$

위의 내용을 정리하면 다음과 같습니다.

절편의 추정량(β₀의 추정량)
$$b_0 = \hat \beta_0=\overline{y}-b_1\overline{x}$$
기울기 추정량(β₁의 추정량)
$$b_1 = \hat \beta_1=\frac{S_{xy}}{S_{xx}}$$

따라서 b₀ 와 b₁값을 알 수 있기 때문에 추정된 회귀선을 구할 수 있게 됩니다.

다음으로 예시를 통해 위의 개념을 적용해 보겠습니다.

자료가 다음과 같이 주어졌을 때

$$b_1 = \frac{\sum_{i=1}^{n}x_iy_i-\frac{1}{n}\sum_{i=1}^{n}x_i\sum_{i=1}^{n}y_i}{\sum_{i=1}^{n}x_i^2-\frac{1}{n}(\sum_{i=1}^{n}x_i)^2}=\frac{335-\frac{1}{7}(28)(75)}{140-\frac{1}{7}(28)^2}=1.25$$

$$b_0 = \overline{y} - b_1\overline{x}=5.714$$

따라서 추정된 회귀선은 다음과 같습니다.

$$\widehat{y}=5.714+1.25x$$

최대가능도추정법

최소제곱법에 의하여 회귀계수인 β₀, β₁를 추정하는 방법은 오차항 ε가 정규분포를 한다는 가정이 없을 때에도 적용되는 추정량법입니다.

이제 오차항 ε 가 정규분포를 하는 확률변수로서 0을 평균으로 하고 σ² 을 분산으로 하는 성질을 가진다고 가정합니다.

$$\epsilon \sim{} N(0,\sigma^{2})$$

εᵢ 의 확률밀도함수는

$$ f(\epsilon_i) = \frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{\epsilon_i^2}{2\sigma^2}) $$

f(εᵢ) , i = 1,2,...,n 들의 곱은$$ L =\prod_{i=1}^{n}f(\epsilon_i)= \frac{1}{(2\pi \sigma ^2)^{n/2}} exp[-\frac{\sum \epsilon_i^2}{2 \sigma ^2}] = \frac{1}{(2\pi \sigma ^2)^{n/2}} exp[-\frac{\sum (y_i - \beta_0-\beta_1x_i)^2}{2 \sigma ^2}] $$

이 함수는 가능도함수(likelihood function)이고 이 함수를 최대로 크게 하는 β₀ 와 β₁ 의 추정량을 최대가능도추정량 (maximum likelihood estimator)입니다.

가능도함수에 로그를 취한 로그가능도함수(log-likelihood function)는 다음과 같습니다.

$$ ln L = -\frac{n}{2}ln2\pi\sigma^2-\frac{1}{2\sigma^2}\sum(y_i-\beta_0-\beta_1x_i)^2 $$

각각 β₀, β₁ 으로 편미분 하면

$$ \frac{\partial ln L}{\partial \beta_0} = \frac{1}{\sigma^2}\sum(y_i-\beta_0-\beta_1x_i) $$

$$ \frac{\partial ln L}{\partial \beta_1} = \frac{1}{\sigma^2}\sum x_i(y_i-\beta_0-\beta_1x_i) $$

이후로는 각각 0으로 놓고 푸는 것과 동일하고 이 내용은 최대가능도추정량의 b₀ 와 b₁ 은 최소제곱추정량과 동일함을 알 수 있습니다

이때 최대가능도추정량과 최소제곱추정량과의 차이는 최대가능도추정량은 오차항 εᵢ 의 분포를 정규분포 N(0, σ² )이라고 가정하고 얻어지는 값이고, 최소제곱추정량은 이러한 가정이 전제되어있지 않다는 점입니다.

적합된 회귀선의 성질

추정된 회귀선은 다음과 같은데

$$\hat y_i = \hat \beta_0 + \hat \beta_1x_i = b_0 + b_1x_i$$

여기서 xᵢ 에서 관찰된 yᵢ와 추정된 ŷ ᵢ 과의 차이는 다음과 같고

$$ e_i = y_i - \hat y_i $$

이를 잔차라고 합니다.

b₀ 와 b₁ 의 값이 최소제곱법을 통해 구해진 최소제곱추정값이면 다음의 성질을 성립합니다

(1) 잔차들의 합은 0이다.

$$ \sum e_i = 0 $$

이 성질은 다음과 같이 증명할 수 있습니다.

$$ \sum e_i = \sum (y_i - \hat y_i ) = \sum (y_i - b_0 - b_1 x_i) = \sum y_i - n b_0 - b_1 \sum x_i $$

이때의 이 부분의 식은

$$ \sum y_i - n b_0 - b_1 \sum x_i $$

정규방정식을 이용하여 증명을 하면

$$\sum_{i=1}^{n}y_i - b_0n -b_1\sum_{i=1}^{n}x_i = 0$$

$$\sum_{i=1}^{n}x_iy_i - b_0\sum_{i=1}^{n}x_i -b_1\sum_{i=1}^{n}x_i^2 = 0$$

정규방정식의 첫 번째 식에 의해
$$ \sum e_i = \sum y_i - n b_0 - b_1 \sum x_i = 0 $$

이와 같이 증명이 됩니다.

(2) 잔차들의 xᵢ 에 의한 가중합은 0이다.

$$ \sum x_i e_i = 0 $$

이 성질은 다음과 같이 증명할 수 있습니다.

식을 먼저 전개하면 다음과 같고

$$ \sum x_i e_i = \sum x_i (y_i - \hat y_i ) = \sum x_i (y_i - b_0 - b_1 x_i) = \sum x_i y_i - b_0 \sum x_i - b_1 \sum x_i ^2 $$

정규방정식을 이용하여 증명을 하면

$$\sum_{i=1}^{n}y_i - b_0n -b_1\sum_{i=1}^{n}x_i = 0$$

$$\sum_{i=1}^{n}x_iy_i - b_0\sum_{i=1}^{n}x_i -b_1\sum_{i=1}^{n}x_i^2 = 0$$

정규방정식의 두 번째 식에 의해

$$ \sum x_i e_i = \sum x_i y_i - b_0 \sum x_i - b_1 \sum x_i ^2 = 0 $$

이와 같이 증명이 됩니다.

(3) 잔차들의 ŷ에 의한 가중합은 0이다.

$$ \sum \hat y_i e_i = 0 $$

이 성질은 다음과 같이 증명할 수 있습니다.

$$ \sum \hat y_i e_i = \sum ( b_o + b_1 x_i ) e_i = b_0 \sum e_i + b_1 \sum x_i e_i $$

이때 위 2가지 성질에 의해서

$$ \sum e_i = 0 $$$$ \sum x_i e_i = 0 $$

위의 성질을 이용하면

$$ \sum \hat y_i e_i = b_0 \sum e_i + b_1 \sum x_i e_i =0 $$

이와 같이 증명이 됩니다.

따라서 다음의 성질을 만족하게 됩니다.

(1) 잔차들의 합은 0이다. $$\sum e_i = 0 $$
(2) 잔차들의 xᵢ 에 의한 가중합은 0이다. $$ \sum x_i e_i = 0 $$
(3) 잔차들의 ŷ에 의한 가중합은 0이다. $$ \sum \hat y_i e_i = 0 $$

정리하면

최소제곱법

오차를 최소화하여 회귀계수인 β₀, β₁를 추정하는 기법
최소제곱법을 이용하여 최소제곱추정량을 구하면 β₀, β₁의 추정량인 b₀ 와 b₁값을 구할 수 있다.

최대가능도추정법

최대가능도추정량은 오차항 εᵢ 의 분포를 정규분포 N(0, σ²)이라고 가정하고 얻어지는 값

적합된 회귀선의 성질

성질 ① : 잔차들의 합은 0이다.
성질 ② : 잔차들의 xᵢ 에 의한 가중합은 0이다.
성질 ③ : 잔차들의 ŷ에 의한 가중합은 0이다.

[단순회귀분석] 회귀분석의 기본개념

할거없는중 — Thu, 4 Jan 2024 01:56:26 +0900

산점도

두 변수 간의 함수 관계를 연구하는 첫 단계로 먼저 도표상에 관찰점들을 그려보는 일인데 이러한 도표를 산점도라고 합니다. 이러한 산점도로부터 두 변수 간의 관계를 대략적을 짐작할 수 있습니다.

<표본상점의 광고료와 총판매액>

상점 번호	광고료 (단위 : 10 만 원)	총 판매액 (단위 : 100 만 원)
1	4	9
2	8	20
3	9	22
4	8	15
5	8	17
6	12	30
7	6	18
8	10	25
9	6	10
10	9	20

예시로 광고료를 독립변수 x로 하고 총 판매액을 종속변수 y로 하여 산점도를 그려보면
x가 증가하면 일반적으로 y가 증가한다는 사실을 쉽게 알 수 있습니다.

기본 가정

변수 x 와 y 간에 직선회귀모형을 적합시킬 경우에는 일반적으로 다음과 같은 가정이 전제조건을 이루고 있습니다.

1. 변수 x 와 y 사이에 존재하는 관련성은 주어진 x의 값에서 y의 기댓값을 다음과 같이 선형식으로 표현할 수 있다.
$$ \mu_{y|x} = \beta_0 + \beta_1x $$
2. 주어진 x의 값에서 변수 y는 정규분포를 하며, 평균은 x에 따라서 변하나 분산은 x의 값에 관계없이 일정하다.

3. 독립변수 x는 오차 없이 측정할수 없는 변수이며, 종속변수 y는 측정오차를 수반하는 변수이다. 또한 y의 측정 오차들은 서로 독립이다.

위의 가정 아래 단순 회귀모형을 표현하면 다음과 같습니다.

$$ y_i = \beta_0 + \beta_1x_i + \epsilon_i $$

다음의 전제조건을 예시를 통해 이해하며 2가지 가정으로 나타내보겠습니다.

먼저 자료가 다음과 같이 있다고 한다면

x의 값이 30일 때 자료에 나타난 y값 이외에도 잠재적인 y값이 나타날 수 있습니다.

다른 x의 값에 대해서도 잠재적인 y값들의 분포가 나타날 수 있는데,

여기서 첫 번째 가정으로 이러한 y값들의 평균의 분포들은 모두 직선에 있어야 합니다.

$$\mu_{y|x} = \beta_0 + \beta_1x$$

x가 30이면

$$\mu_{y|x=30} = \beta_0 + 30\beta_1$$

개별 yᵢ값의 경우 평균에 대한 편차를 추가한 다음과 같은 형태입니다.

$$y_i = \mu_{y|x} + \epsilon_i $$

조건부 기댓값을 대입해 정리하면

$$y_i = \beta_0 + \beta_1x + \epsilon_i $$ (εᵢ 는 i번째 측정된 y의 오차항(Error) )

x가 30이면

$$y_i = \beta_0 + 30 \beta_1x + \epsilon_i $$

위의 내용을 그림으로 표현하면 아래와 같습니다.

이때 두번째로 오차에 대한 가정이 필요합니다.

1. 오차의 평균은 0이다.
2. 오차는 등분산(Constant Variance)이다.
3. 오차는 정규분포를 따른다.
4. 오차는 독립이다.

위의 4가지 내용을 정리해서 쓰면

$$\epsilon_i \: \overset{\underset{\mathrm{iid}}{}}{\tilde{}}\: N(0,\sigma^{2})$$
( 이때 iid는 독립(independent) + 동일(identically) 분포(distributed)이다. )

yᵢ|xᵢ의 분포는

$$y_i|x_i\sim N(\beta_0+\beta_1x_i, \sigma^2)$$

이때 평균이 바뀜으로 동일분포라 할 수 없어 iid라 할 수 없고 독립의 특성만 가집니다.

다시 한번 정리해서 2가지의 가정으로 나타내면

$$y_i = \beta_0 + \beta_1x_i +\epsilon_i $$$$\epsilon_i\: \overset{\underset{\mathrm{iid}}{}}{\tilde{}}\: N(0,\sigma^{2})$$

정리하면

산점도를 통해 두 변수간의 함수관계를 대략적으로 짐작 가능
변수 x 와 y 간에 직선회귀모형 적합시킬 경우 2가지 가정 필요
- 가정 ① : 주어진 x에 대한 y의 기댓값들의 분포들은 모두 직선상에 위치
- 가정 ② : 오차에 대한 가정

[머리말] 회귀분석이란

할거없는중 — Wed, 3 Jan 2024 23:38:38 +0900

회귀분석이란?

변수들 간의 함수관계를 추구하는 통계적 방법을 말합니다.

회귀라는 용어의 유래는?

19세기말에 유전학자인 프랜시스 골턴(Sir Francis Galton)이 부모와 자식 간의 키에 대한 연구에서 어떤 특성이 부모의 평균보다 높거나 낮을 경우, 그 특성이 다음 세대에서 다시 부모의 평균으로 '회귀(regression)' 한다는 개념을 도입합니다.

이는 특이한 특성이 나타났을 때 그 특성이 다음 세대에서는 더 일반적인 평균값으로 되돌아가는 경향을 의미합니다. 이러한 개념이 통계학에서 도입되어, 변수들 간의 관계를 설명하고 예측하는 분석 방법을 나타내는 '회귀분석'이라는 용어가 만들어지게 됩니다.

단순회귀분석

회귀분석은 여러 개의 변수들 간의 함수관계를 규명하는 데에도 많이 쓰이지만 간단한 경우에 해당하는 한 개의 독립 및 종속 변수 간의 선형관계에 관한 분석을 먼저 다뤄보려고 합니다. 이와 같은 분석을 단순회귀분석이라고 합니다.

참고내용

통계학과의 2학년 과목으로 수강하였던 회귀분석에 대하여 공부했던 내용과 함께

이번에 추가적으로 [회귀분석, 박성현 저자]의 책을 공부하며 글을 채워나가 보려고 합니다.

중회귀분석에서의 추론

할거없는중 — Thu, 2 Feb 2023 23:28:48 +0900

이번 글에서는 중회귀분석에 대한 추론에 대해 알아보고자 한다.

단순회석에서 추론을 하기 위해서 가정들이 필요했는데

중회귀에서도 마찬가지로 추론을 하기 위해서 2가지의 가정이 필요하다.

중회귀분석에서의 필요한 가정

이전글에서 단순회귀에 대하여 추론을 할 때

다음의 가정을 했었는데

이러한 가정을 확장하여 중회귀에서는

다음의 가정을 통해 추론을 할 수 있다.

신뢰구간은 다음과 같이 구할 수 있다.

+) 위의 식에서

단순회귀는 n-k-1 대신에 n-2를 했었는데

단순회귀에서는 독립변수(k)가 1 임으로 n-2였다.

bⱼ의 표준편차는

다음과 같고 이전의 글에서 봤던 SAS 결과창에서

다음의 부분에서 값이 나타난다.

중회귀분석에서의 검정

종속변수 y에 대한 xⱼ의 검정은 다음과 같다.

$$H_0:\; \beta_j = \beta^*_j$$

$$H_a:\; \beta_j \neq \beta^*_j$$

(이때 βⱼ*는 특정 값)

검정통계량(test statistic)은

$$t_0=\frac{\hat{\beta_j}-\beta_j^*}{S.E.(\hat{\beta}_j)}\; \; \overset{\underset{\mathrm{H_0}}{}}{\sim }\; \; t_{n-k-1}$$

여기서 βⱼ = 0 이면

$$t_0=\frac{\hat{\beta_j}}{S.E.(\hat{\beta}_j)}\; \; \overset{\underset{\mathrm{H_0}}{}}{\sim }\; \; t_{n-k-1}$$

SAS 결과창에서

다음의 부분에서 값이 나타난다.

예제를 통해 알아보기

이전에 SAS를 이용했던 자료를 보면

<데이터 파일>

<SAS코드>

<결과창>

양측검정에 대한 예시

변수 Adv에 대한 검정으로

Sales와 Adv이 유의미한 관계가 있는지 알아보기 위해

귀무가설을 "Sales와Adv 간에 유의미한 관계가 없다."라고 하면

가설검정은 다음과 같다.

다음으로 유의 수준 5%에서 검정한다고 했을 때

먼저 t분포표에서 유의 수준 0.025에 자유도 22(25-2-1)인 부분을 찾으면

(이때 양측검정이므로 α=0.025인 부분을 찾아야 한다.)

t₀.₀₂₅(22)는 2.074 임을 구할 수 있고

Dicision rule은

$$Reject\; H_0\; if\; t_0>2.074 \; or\; t_0<-2.074 $$

t₀는 8.98 임을 알 수 있다.

따라서 8.98 > 2.074 임으로

"Sales와 Adv 간에유의미한 관계가 있다."라고 할 수 있다.

단측검정에 대한 예시

변수 Bonus에 대한 단측검정에 대해 해 보면

Bonus가 증가함에 따라 Sales가 증가하는지 알아보기 위해

귀무가설을 "Bonus가 증가함에 따라 Sales은 영향이 없다.."라고 하면

가설검정은 다음과 같다.

다음으로 유의 수준 5%에서 검정한다고 했을 때

먼저 t분포표에서 유의 수준 0.05에 자유도 22(25-2-1)인 부분을 찾으면

(이때 단측검정이므로 α=0.05인 부분을 찾아야 한다.)

t₀.₀₅(22)는 1.717 임을 구할 수 있고

Dicision rule은

$$Reject\; H_0\; if\; t_0>1.717$$

t₀는 2.59 임을 알 수 있다.

따라서 2.59 > 1.717 임으로

"Bonus가 증가함에 따라 Sales가 증가한다."라고 할 수 있다.

구간추정에 대한 예시

변수 Adv에 대한 구간추정(interval effect)을 해보면

먼저 위의 식을 이용하기 위해 SAS결과창의 다음의 값과

t분포표에서 구한 값인

t₀.₀₂₅(22)는 2.074 임을 대입하여 구하면

따라서 매출액(Sales)은 1000$, 광고비(Adv)는 100$로 측정된다고 했을 때

95% 신뢰도에서 광고비에 100$를 소비하면 1899$에서 3047$의 매출액이 나온다.

중회귀분석

할거없는중 — Sat, 28 Jan 2023 23:00:43 +0900

지금까지 독립변수 1개에 대하여 종속변수의 변화를 보는 단순회귀를 보았는데

이번 글에서는 독립변수 2개 이상에 대한 종속변수의 변화에 대한 내용을 대해 알아보자

독립변수(예측변수)가 2개 이상을 가지는 회귀를

다중회귀(중회귀)(Multiple Regression)이라고 하고

식으로 표현하면 다음과 같다.

$$\hat{y} = b_0 + b_1x_1 + b_2x_2 + \cdots + b_kx_k$$

이전 단순회귀에서 최소제곱법을 이용해 추정량을 구한 값인

위의 식의 경우 독립변수가 1개일 때 구한 추정량임으로

다음과 같은 식을 중회귀에 적용할수 없다.

그래서 중회귀도 단순회귀와 마찬가지로

잔차제곱합에 대한 최소제곱법을 이용해 구해야 되는데

이때 계산을 용이하게 하기 위해서

행렬을 이용하면

중회귀의 회귀모형식인

$$y = \beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \cdots + \beta_kx_{ki}+\epsilon_i$$

$$i=1,2,\cdots ,n$$

위와 같은 식을 행렬로 표현하면

$$\begin{pmatrix}y_1
\\y_2
\\\vdots
\\y_n
\end{pmatrix}=\begin{pmatrix}
1 & x_{11} & x_{21} & \cdots & x_{k1} \\
1 & x_{12} & x_{22} & \cdots & x_{k2}\\
\vdots & \vdots & \vdots & \cdots & \vdots \\
1 & x_{1n} & x_{2n} & \cdots & x_{kn} \\
\end{pmatrix}\begin{pmatrix}\beta_0
\\\beta_1
\\\vdots
\\\beta_k
\end{pmatrix}+\begin{pmatrix}\epsilon_1
\\\epsilon_2
\\\vdots
\\\epsilon_n
\end{pmatrix}$$

$$y = X\beta + \epsilon $$

β의 최솟값을 구하기 위해 최소제곱법을 이용하면

잔차제곱합을 Q라고 했을 때

$$Minimize\; \; \; Q =\sum_{i=1}^{n}\epsilon_i^2=\epsilon^T\epsilon=(y-X\beta)^T(y-X\beta)$$

위의 값이 최소가 되는 값은

$$\frac{\partial Q}{\partial \beta}=0\; \to\; \frac{\partial Q}{\partial \beta}=-2X^T(y-X\beta)=0$$

전개하여 표현하면

$$X^TX\beta=X^Ty$$

다음의 식이 정규방정식(Normal Equation)이다.

정규방정식에서 양변에 (XᵀX)⁻¹을 곱하여 표현하면

(XᵀX 가 비특이 행렬일 경우에 가능)

$$\hat{\beta} = (X^TX)^{-1}X^Ty$$

위의 식을 이용하여 행렬의 형태로

제곱합 공식을 표현하면 다음과 같다.$$SST=\sum_{i=1}^{n}(y_i-\bar{y})^2=y^T(I_n-\frac{J_n}{n})y$$$$SSR=\sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2=y^T(P-\frac{J_n}{n})y$$$$SSE=\sum_{i=1}^{n}(y_i-\hat{y}_i)^2=y^T(I_n-P)y$$이때 Iₙ(항등행렬)과 Jₙ 는

$$I_n=\begin{pmatrix}
1 & 0 & 0 & \cdots  & 0 \\
0 & 1 & 0 & \cdots & 0 \\
\vdots & \vdots & \vdots & \ddots  & 0 \\
0 & 0 & 0 & \cdots & 1 \\
\end{pmatrix}_{n\times n} J_n=\begin{pmatrix}
1 & 1& 1& \cdots  & 1\\
1& 1 & 1& \cdots & 1\\
\vdots & \vdots & \vdots & \ddots  & \vdots\\
1& 1& 1& \cdots & 1 \\
\end{pmatrix}_{n\times n}$$

P는

$$P = X(X^TX)^{-1}X^T$$

ANOVA Table를 작성하면 다음과 같다.

다음으로 SAS를 통해

중회귀의 회귀식을 구해보자

다음과 같은 자료를 예시로 사용한다

***

SAS코드를 다음과 같이 입력하면

(독립변수로 adv bonus / 종속변수로 sales)

결과창은

따라서 회귀식은 다음과 같다.

sales_hat = -516.44428 + 2.47318 * adv + 1.85618 * bonus

신뢰 구간 vs 예측 구간

할거없는중 — Wed, 18 Jan 2023 23:52:33 +0900

구간에 대한 추정을
y에 대한 평균인 조건부기댓값에 대한 예측과
y의 각각의 값에 대한 예측으로 나누어질수 있는데
각각의 경우에 대해서 알아보자

조건부 기댓값에서의 추정

구간에 대한 추정을 구하기 위해서 표준편차가 필요하다.
이전 "단순회귀분석에서의 추론"라는 글에서 조건부기댓값의 분포를 구했었는데

이러한 분포에서의 표준편차를 다시 써보면
$$S_m=S_e\sqrt{\frac{1}{n}+\frac{(x_m-\bar{x})^2}{(n-1)S_x^2}}$$
(이때 Sₘ은 평균에 대한 표준편차(Standard Error of the Mean))
다른 형태로 다음과 같이 표현도 가능하다.

$$S_m=\sqrt{MSE(\frac{1}{n}+\frac{(x_m-\bar{x})^2}{S_{xx}})}$$

조건부 기댓값의 구간에 대한 추정을
$$\hat{y}_m \pm t_{\alpha/2}(n-2)\times S.E.(\hat{y}_m)$$
다음과 같은 신뢰구간(Confidence Interval)(CI)을 이용하여 구하면

$$\hat{y}_m \pm t_{\alpha/2}(n-2)\times \sqrt{MSE(\frac{1}{n}+\frac{(x_m-\bar{x})^2}{S_{xx}})}$$

다음과 같은 자료를 통해 보면

x=50인 지점에서의 신뢰구간은 다음과 같이 나타난다.

신뢰구간을 구하기 위해 먼저 표준편차를 구하면
$$S.E.(\hat{y}_m)=\sqrt{MSE(\frac{1}{n}+\frac{(50-\bar{x})^2}{S_{xx}})}$$
이러한 값을 이용해 신뢰구간은 다음과 같이 나온다.
$$\hat{y}_m \pm t_{\alpha/2}(n-2)\times \sqrt{MSE(\frac{1}{n}+\frac{(50-\bar{x})^2}{S_{xx}})}$$

y의 각각의 값에서의 구간에 대한 추정

예측표준오차(Prediction Standard Error)를 Sₚ라 하고
오차의 표준편차를 Sₑ라고 할때
수식으로 다음과 관계가 있다.
$$S_p^2=S_m^2+S_e^2 $$
이런 관계를 통해 예측표준오차는
다음과 같이 나타낼수 있다.
$$S_p=S_e\sqrt{1+\frac{1}{n}+\frac{(x_m-\bar{x})^2}{(n-1)S_x^2}}$$
다른 형태로 다음과 같이 표현도 가능하다.

$$S_p=\sqrt{MSE(1+\frac{1}{n}+\frac{(x_m-\bar{x})^2}{S_{xx}})}$$

y의 각각의 값에서의 구간을 예측구간(prediction interval)(PI)라고 하고
예측구간을 수식으로 표현하면
$$\hat{y}_m \pm t_{\alpha/2}(n-2)\times S_p(\hat{y}_m)$$
정리하면

$$\hat{y}_m \pm t_{\alpha/2}(n-2)\times \sqrt{MSE(1+\frac{1}{n}+\frac{(x_m-\bar{x})^2}{S_{xx}})})$$

그림을 통해 신뢰구간과 예측구간을 비교해보면
다음과 같이 나타낼 수 있다.

SAS코드를 이용한 예시

이전에 사용했던 부동산 자료를 이용해
SAS에서의 신뢰구간과 예측구간을 구하는 예시를 보이면

x(변수 value)가 10000인 지점에서의 신뢰구간과 예측구간을 구한다고 했을때
SAS코드를 다음과 같이 입력하여

결과값을 보면

***

x = 10000일때
신뢰구간(CI)는 914.35 to 1067.74
예측구간(PI)는 380.33 to 1601.75
이와 같이 나타남을 알 수 있다.

회귀적합도

할거없는중 — Sun, 15 Jan 2023 03:16:52 +0900

앞 내용에서 반응변수(y) 값의 좋은 예측변수(x)를 찾기 위해

최소제곱(Least Squares)을 이용하였는데

이때 최선의 적합(the best possible fit)이라 할 수 있지만

좋은 예측력(predictive power)이라 할 수 없다.

(예시로 x말고 z가 있는 다른 예측변수가 있는 경우)

이번 글에서는 적합도에 대해 알아보고자 한다.

먼저 평균에 대한 y의 변동을 식으로 표현하면

$$\sum_{i=1}^{n}(y_i-\bar{y})^{2}$$

이러한 식을 SST(Total Sum of Squares)(전체제곱합)이라고 한다.

평균으로부터 y값의 일탈(deviation)을

회귀선으로부터 y값의 일탈과 평균으로부터 회귀선의 일탈의 합으로 표현하면

$$y_i-\overline{y}=y_i-\hat{y}_i\; + \; \hat{y}_i-\bar{y}$$

그림으로 보면

위의 식을 양변 제곱하여 더한 값을 표현하면

$$\sum_{i=1}^{n}(y_i-\overline{y})^2=\sum_{i=1}^{n}(y_i-\hat{y}_i\; + \; \hat{y}_i-\bar{y})^2$$

$$=\sum_{i=1}^{n}(y_i-\hat{y}_i)^2\; + \; \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 + 2\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})$$

이때

$$2\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})=2\sum_{i=1}^{n}\hat{y}_i(y_i-\hat{y}_i)-2\bar{y}\sum_{i=1}^{n}(y_i-\hat{y}_i)$$

위의 식의 값을 구하기 위해 이전 최소제곱추정을 했던 식에서

다음을 이용하여

$$\frac{\partial Q}{\partial b_0}=(-2)\sum_{i=1}^{n}(y_i-\widehat{y}_i)=(-2)\sum_{i=1}^{n}\widehat{e}_i=0$$

$$\frac{\partial Q}{\partial b_1}=(-2)\sum_{i=1}^{n}(y_i-\widehat{y}_i)x_i=(-2)\sum_{i=1}^{n}\widehat{e}_ix_i=0$$

다음과 같이 나타낼 수 있고 두 식을 이용해

$$\sum_{i=1}^{n}\widehat{e}_i\; \widehat{y}_i=\sum_{i=1}^{n}\widehat{e}_i\; (b_0+b_1x_i)$$

$$=b_0\underbrace{\sum_{i=1}^{n}\widehat{e}_i}_{=0}+b_1\underbrace{\sum_{i=1}^{n}\widehat{e}_i\; x_i}_{=0}=0$$

다시 돌아가서 다음의 식에서

$$\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})=2\sum_{i=1}^{n}\hat{y}_i(\underbrace{y_i-\hat{y}_i}_{\hat{e}_i})-2\bar{y}\sum_{i=1}^{n}(\underbrace{y_i-\hat{y}_i}_{\hat{e}_i})$$

최소제곱추정을 통해 구한 값을 대입하면$$=2\underbrace{\sum_{i=1}^{n}\hat{y}_ie_i}_{=\, 0}-2\bar{y}\underbrace{\sum_{i=1}^{n}e_i}_{=\, 0}=0$$

따라서 위의 식을

$$\sum_{i=1}^{n}(y_i-\overline{y})^2=\sum_{i=1}^{n}(y_i-\hat{y}_i)^2\; + \; \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 + \underbrace{2\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})}_{=\, 0}$$

평균으로부터 회귀선의 일탈의 제곱합은
SSE(The Sum of Squares Error)(오차제곱합)라 하고

회귀선으로부터 y값의 일탈의 제곱합은
SSR(The Regression Sum of Squares)(회귀제곱합)라 하는데

이러한 내용을 식에서 보면

$$\underbrace{\sum_{i=1}^{n}(y_i-\overline{y})^2}_{SST}=\underbrace{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}_{SSE}\; + \; \underbrace{\sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2}_{SSR}$$

그림으로 표현하면

이러한 값을 이용하여 회귀식의 적합도 평가를 유용하게 하는 분산분석표를 작성할 수 있다.

분산분석표는 ANOVA Table(ANalysis Of VAriance table)로

표로 다음과 같이 작성한다.

SSR은 회귀선에 의해 설명되는 변동이고

SSE은 회귀선에 의해 설명되지 않는 변동으로

만약 x와 y 간에 정확한 관계(exact relationship)이면

SSE=0이 되므로 SST=SSR이 되는데 이러한 경우는 거의 없을 것이다.

그러기에 얼마나 정확한 관계에 근접하는지를 측정하기 위해

전체 변동에서 회귀선에 의해 설명되는 변동의 비율

즉 SST에서의 SSR의 비율인

R² (the coefficient of determination)(결정계수)을 이용한다.

R² (결정계수)
$$R^{2}=\frac{SSR}{SST}(=1-\frac{SSE}{SST})\; \; \; between\; 0\; and\; 1$$
R² 이 0에 가까울수록 회귀선의 의미가 떨어지고
R² 이 1에 가까울수록 회귀선의 의미가 높아진다.

R² (결정계수)를 이용하는 방법 말고 적합도에 대한 측정으로

F 통계량(F value)(F ratio)(F₀)을 이용하여 F Test 통해 측정할 수도 있다.$$F_{0}=\frac{MSR}{MSE}$$

가설이 아래와 같다 하면$$H_0:\beta_1=0$$$$H_a:\beta_1\neq 0 $$

이때 다음과 같으면

$$F_{0}> F_\alpha(1,n-2)$$

귀무가설을 기각해서 β₁ ≠ 0 라고 할 수 있다.

지난번 부동산 자료의 SAS output을 이용하여 적합도를 측정하면

① R² 이용한 적합도 측정

R² = 0.6647 or 66.47%

=> 회귀선이 자료의 66.47% 설명한다,

② F₀ 이용한 적합도 측정

가설이 다음과 같을때

F₀ = 194.25이고

F분포표를 통해

***

유의수준 5%에서

F₀.₀₅(1, 98)의 값은 약 (4.00+3.92)/2=3.96

194.25 > 3.96 임으로 귀무가설을 기각할수 있다.

따라서 β₁ ≠ 0

즉 "size(x)와 value(y)간에 유의미한 관계이다." 라고 할 수 있다.