Motivation
- 학습이란, 각 뉴런(노드, 유닛)의 매개변수(가중치, 편향)에 의해 계산된 최종 출력을 토대로, 손실함수(데이터의 레이블과 실제 출력 간의 오차)를 구하고, 그 손실함수를 최소화하는 방향으로 각 뉴런의 매개변수(가중치, 편향)를 변화시켜나가는 것을 의미한다.
- 각 뉴런의 매개변수를 변화시키는데 있어, 수치 미분은 구현은 단순하지만 계산이 오래걸린다
- 신경망은 계산이 빨라야 한다.
- 따라서 가중치 매개변수의 기울기를 빠르고, 효율적으로 계산하는 방법이 필요 => 오차역전파 등판!!
개념
- 오차를 역방향으로 전파하면서 가중치를 업데이트 하는 것
- 연쇄법칙(체인룰)을 이용하여 가중치 혹은 바이이스(bias)가 결과값에 미치는 영향을 계산
- 수치미분을 사용하지 않고, 행렬로 표현할 수 있는 수학공식을 사용하기 때문에 빠른 연산이 가능함
- 가중치나 바이어스가 변할 때, 최종오차가 얼마나 변하는 지를 나타내는 편미분을, 체인룰을 사용하여 국소미분으로 분리한 후, 수학 공식으로 표현하여 계산
반응형
'머신러닝_딥러닝 > 머신러닝 & 딥러닝' 카테고리의 다른 글
| (기초지식) Dropout (0) | 2021.01.15 |
|---|---|
| (기초지식) Regularization (0) | 2021.01.15 |
| (기초지식) 오버피팅(과적합) & 언더피팅(과소적합) (0) | 2021.01.15 |
| (기초지식) 최적화 알고리즘 (0) | 2021.01.15 |
| (기초지식) 손실함수, Loss function (0) | 2021.01.15 |