TIL - 실무에 쓰는 머신러닝 기초 1-3

회귀 분석이란?

종속변수(Y)와 하나 이상의 독립변수(X) 간의 관계를 추정하여, 연속형 종속변수를 예측하는 통계/머신러닝 기법

 

지도학습에서 분류와 회귀의 차이

• 분류: 결과값이 이산형
• 회귀: 결과값이 연속형

회귀 모델을 사용하는 이유

1. 미래 값 예측

2. 인과 관계 해석

3. 데이터 기반 의사결정

 

선형 회귀

가정: 독립변수와 종속변수가 선형적으로 관계를 맺고 있다고 가정

• β0: 절편
• βi: 각 독립변수의 회귀계수

 

[학습 과정]

1. 가중치 초기화

2. 손실함수 설정

3. 최적화

4. 학습완료 후 새로운 입력 값에 대한 예측 수행

 

[장단점]

장점: 해석이 간단, 구현이 쉬움

단점: 데이터가 선형성이 아닐 경우 예측력이 떨어짐

 

 

다항 회귀

비선형적인 관계를 다항식 형태로 모델링

 

 

주의점

• 고차항을 무작정 늘리면 훈련 데이터에는 과도하게 맞춰져 과적합 문제가 발생할 수 있음
• 모델 복잡도와 일반화 성능 간의 균형을 맞춰야 함

 

회귀 모델 평가 방법

 

MSE

• 예측값과 실제값의 차이를 제곱하여 평균
• 오차가 클수록 제곱에 의해 더 큰 벌점이 매겨지므로, 큰 오차에 특히 민감
• 평균 제곱 오차라고도 하며, 회귀 모델 평가에서 매우 자주 사용됨

MAE

• 예측값과 실제값의 차이를 절댓값으로 측정한 후 평균
• 예측이 평균적으로 실제값에서 얼마나 벗어났는지 직관적으로 표현

RMSE

• MAE와 달리 제곱을 통해 큰 오차에 가중치를 더 주는 특징
• 오차가 클수록 패널티가 커지므로, 큰 오차가 중요한 문제에서 자주 사용

R² 

• 1에 가까울수록 학습된 모델이 데이터를 잘 설명한다고 볼 수 있음
• 0이라면 모델이 종속변수를 전혀 설명하지 못한다는 의미

 

릿지 회귀

• 가중치 제곱합(L2 Norm)을 페널티로 추가
• 효과: 가중치가 너무 커지지 않도록 방지(가중치 값을 부드럽게 줄임)

 

라쏘 회귀

• 가중치 절댓값합(L1 Norm)을 페널티로 추가
• 효과: 가중치를 0으로 만들어 변수 선택(Feature Selection) 효과