머신러닝 알고리즘 5. 선형 회귀 분석

선형성*이라는 기본 가정이 충족된 상태에서 독립변수과 종속변수의 관계를 설명하거나 예측하는 통계방법

회귀분석*에서 독립변수에 따라 종속변수의 값이 일정한 패턴으로 변해사는데, 이러한 변수간의 관계를 나타내는 회귀선이 직선에 가깝게 나타나는 경우

 

*선형성 : 시간의 흐름에 따라 데이터가 선으로 연결됨

*회귀 : 다시 돌아간다 / 영국의 우생학자 골턴(galton)이 처음 회귀분석을 사용, 부모자식간 키의 유전적 관계

---

단순 선형 회귀 분석 : 독립변수가 하나인 경우

H(x) = Wx + b

x : 독립변수

y : 종속변수

W : 직선의 기울기 (가중치 : weight)

b : y절편 (bias)

 

경사 하강법 : 기울기를 잘 이용해 함수의 최소값을 찾는것

 

> 손실함수(loss function) = 비용함수(cost function)

평균 제곱 오차 = (추정값 - 참값)^2 / 데이터 개수

추정값과 참값의 오차를 제곱하여 평균을 구함

 

 

 

---

다중 선형 회귀 분석 : 독립변수가 여러개인 경우

H(x1, x2, x3) = w1x1 + w2x2 + w3x3 + b

이론적으로는 Wx로 계산이 되는데 행렬로 계산하는 경우 XW로 계산하게 된다.