(기초지식) 손실함수, Loss function

 

개념

• '비용함수(Cost Function)', '목적함수'라고도 부르며, 실제값과 예측값의 차이(loss, cost)를 수치화해주는 함수
• 손실 함수의 값을 최소화 혹은 최대화 하는 W(가중치), b(바이어스)를 찾아가는것이 학습 목표
• 손실함수를 줄여나가면서 학습하는 방법은 어떤 optimizer를 사용하느냐에 따라 달라짐 (=>최적화 방법)

 

종류

• 회귀에는 주로 평균제곱오차(MSE), 평균제곱근오차(RMSE), 평균절대오차(MAE)
• 분류에는 크로스 엔트로피 오차(CEE)를 사용한다. binary cross-entory(이진분류), catetorical cross-entory(다중분류)
• 이 외에도 Task에 따라 다양한 손실함수를 사용할 수 있다.

 

Keras에서 제공하는 손실함수 목록

 

크로스 엔트로피 손실함수 & 로지스틱 손실함수

 

교차 엔트로피 오차

Q(x)는 신경망의 출력값, P(x)는 정답 레이블, 정답 레이블은 정답만 1이고 나머지는 0인 원-핫 벡터

로지스틱 손실함수 오차

 다중분류모델은 크로스 엔트로피 손실함수를 사용한다. 크로스 엔트로피 손실함수는 로지스틱 손실함수와 아주 유사한데, 이는 로지스틱 손실함수가 크로스 엔트로피 손실함수의 이진분류 버전이기 때문