(기초지식) 신경망(NN, Neural Network) & 퍼셉트론

 

탄생 및 성장

• 인공 신경망(ANN, Aritificial Neural Networks)은 1943년 신경생리학자 Warren McCulloch과 수학자 Walter Pitts가 'A Logical Calculus of Ideas Immanent In Nervous Activity' 에서 처음 소개
• 1960년대까지, 사람들은 인공 신경망을 통해 지능을 가진 기계와 대화를 나눌 수 있을 것이라고 생각했다. 하지만 사람들의 기대와는 달리 인공 신경망으로 간단한 XOR문제 조차 해결할 수 없었다.
• 1990년 대, SVM과 성능이 좋은 다른 머신러닝 알고리즘들이 나오게 되면서 인공 신경망은 암흑기에 빠져있었다.
• 인공 신경망은 2012년 'ILSVRC2012 대회'에서 인공 신경망을 깊게 쌓은 모델인 AlexNet이 압도적인 성적으로 우승하면서 다시금 세상의 주목을 받기 시작했다.
  
  

개념

• 인공 신경망은 인간의 신경세포인 뉴런(Neuron)의 동작 원리에 기초해, 인공적으로 구축한 신경망을 의미
• 인공 신경망은  시냅스의 결합으로 네트워크를 형성한 인공 뉴런이, 학습을 통해 시냅스의 결합 세기를 변화시켜 문제해결능력을 가지는 비선형적 모델이라고 할 수 있다.
• 생물학적인 뉴런이 다른 여러개의 뉴런으로부터 입력값을 받아서 저장하고 있다가, 자신의 용량을 넘어서면 외부로 출력값을 내보내는 것처럼, 인공신경망 뉴런은 여러 입력값을 받아서 일정 수준이 넘어서면 활성화(활성화 함수)되어 출력값을 내보내게 된다. 
• 입력노드와 은닉노드, 출력노드들은 모두 가중치를 가지는 망으로 연결되어 있으며, 이 가중치들은 랜덤으로 초기화된 뒤, 학습을 진행하게 되면서, 예측 값을 가장 잘 맞추는 값으로 조정된다. (오차역전파)

[이미지 출처 : https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=ndb796&logNo=221280341708]

 

퍼셉트론(Perceptron)

• 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망
• 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘
• 활성화 함수 => 계단함수 (임계치를 넘으면 1을 출력하고, 그렇지 않을 경우에는 0을 출력)
  
  

  

  [이미지 출처 : https://excelsior-cjh.tistory.com/172]