손실함수

신경망 학습에서는 현재의 상태를 손실 함수(loss function) or 목적 함수라는 지표로 표현한다. 신경망의 성능이 '얼마나 나쁜가'를 나타내는 지표이다.

학습이란 과정은 그 지표를 가장 좋게 만들어주는 가중치 매개변수의 값을 탐색하는 것이다.

이 손실 함수로는 임의의 함수를 사용할 수 있지만 일반적으로 평균제곱오차(Mean Squared Error, MSE), 교차 엔트로피 오차(Cross-Entropy Loss)를 사용한다.

---

오차제곱합 (Sum of Squares for Error, SSE)

오차제곱합 (SSE 공식)

• \(y_{k}\) = 예측값, 신경망이 추정한 값
• \(t_{k}\) = 실제값, 정답 레이블
• \(k\) = 데이터의 차원 수 

오차란 알고리즘이 예측한 값과 실제 정답과의 차이를 의미한다.

 

평균제곱오차 (Mean Squared Error, MSE)

평균제곱오차 (MSE) 공식

• \(\widehat{y}\) = 예측값
• \(y\) = 실제값

이름에서 알 수 있듯이 오차(error)를 제곱한 값의 평균이다.

즉, 알고리즘이 정답을 잘 맞출수록 오차(error)와 MSE값은 작고 성능이 좋다.