(기초지식) 활성화 함수, Activation function

 

개념

• 입력된 데이터의 가중 합을 출력 신호로 변환하는 함수
• 노드에 입력으로 들어오는 값이 어떤 임계치를 넘어가면 활성화가 되고, 넘어가지 않으면 비활성화
• 활성화함수를 사용하면 입력값에 대한 출력값을 비선형적으로 만들 수 있다
• 만약, ReLU와 같은 활성화 함수가 없다면 Dense층은 선형적인 연산(아핀변환)만을 할 수 있다. 
• 선형 함수만을 사용하면 신경망의 층을 깊게 쌓는 것이 무의미해진다.
• 즉, 활성화 함수는 딥러닝 모델의 표현력을 위해 꼭 필요하다.

 

종류

<이미지 출처 : https://syj9700.tistory.com/37>