[Statistical Machine Learning] Linear regression, Estimation of the parameters, residual, RSS

Linear regression, Estimation of the parameters, residual, RSS

포스트 난이도: HOO_Senior

---

# Linear regression(선형 회귀)

 

선형 회귀로 알려져 있는 Linear regression는 모델링 분석에서 상당히 많이 사용되는 방식이다. "회귀"에서 알 수 있듯이 Linear regression은 Dependence of Y(종속 변수 Y)와 다수의 선형 X값들을 추정해서 상관관계를 산출해 낸다. 여기서 선형 X값들을 독립적 변수 X라고도 부른다.

https://whoishoo.tistory.com/568

[Statistical Machine Learning] Parametric models: Linear model

앞선 Linear model 포스트에서도 이야기했듯이 선형 모델은 사실상 정답일 가능성이 매우 낮다. 당연히 True regression functions는 선형일 수가 없다. 그럼에도 불구하고 Linear regression를 사용하는 이유는 데이터를 비교 분석하고 결과를 도출해 내는데 실용적이기 때문이다.

예를 들어서 위와 같은 모델이 있다고 가정해 보자. 이때 베타 0과 베타 1의 경우에는 Unknown constants로써 intercept과 slope를 나타내고 이를 유추할 수 있다. 또한 베타를 통해서 우리는 coefficients와 parameters도 알 수 있다. 마지막으로 엡실론의 경우에는 이전 포스트에서 살펴보았듯이 에러 값을 나타내고 있다.

https://whoishoo.tistory.com/565

[Statistical Machine Learning] Regression Function: f(x), expected value, Mean-squared Prediction Error

---

# Estimation of the linear regression

 

위의 식을 활용해서 추정 값 또는 예측 값을 나타내는 방법은 아래와 같이 작성이 가능하다.

어렵게 생각할 필요없이 위의 식과 동일하고 에러 값이 없을 경우에는 엡실론을 생략할 수 있다. 예측된 값을 표현할 때 다른 표기법 하나가 바로 hat symbol이라고 불리는 기호인데 화살표 모양을 생긴 모자가 이에 해당한다. Hat symbol이 의미하는 바는 기존 식에서 추정치를 적용한 식이라는 표시이며 예측 값(Estimated values)을 나타낸다. 또한 위의 식에서 값이 여러 번 반복될 경우에는 i를 통해서 표현이 가능하다.

x값이 i번일 경우에 위와 같이 x와 y에 i를 표기해 주면 된다. 한마디로 i는 얼마만큼 반복되고 남았는지를 보여주는 녀석에 해당하며 이를 residual이라고도 부른다.

---

# Residual sum of squares(RSS)

 

residual까지 알아보았으니, residual를 계산하는 방법에 대해서 알아보도록 하자. 우리는 Residual sum of squares(줄여서 RSS)를 아래와 같이 정의하고 산출이 가능하다.

또한 위의 식을 풀어서 아래와 같이도 사용이 가능하다.

둘 다 같은 의미를 나타내는 식이지만 위의 식은 줄여서 표현을 한 것이고 아래의 식은 풀어서 표현이 되어있을 뿐이다. 아래의 식을 보면 RSS를 y값에서 linear regression 한 값을 빼줌으로써 결과를 산출해 낼 수 있다는 걸 알 수 있다. Linear regression에서 RSS 배우는 이유는 사실상 The least squares approach를 하기 위해서이다. 이로 인해 regression에서 least squares fit이 가능하며 결과적으로 본질적인 Y와 X의 상관관계를 회귀 분석할 수 있다는 것이다.

---