Heap theory(헵 이론)

1949년 캐나다의 심리학자인 Donald Hebb 은 그의 저서인 'The Organization of Behavior' 에서 '헵의 시냅스'라고 알려진 시냅스의 연결강도 조정을 위한 생리학적 학습 규칙을 기술했는데 이 책은 1949년경의 신경심리학에 대해 폭넓고 깊이있게 기술하고 있다. 그는 이 책의 도입 부분에서 복잡한 두뇌 모델링에 대해 '커넥셔니즘(connectionism)'이란 말을 처음으로 사용하였다 .......... "우리는 어떻게 학습하는가?"에 대한 비교적 간단한 학습이론에 대하여 살펴보자. 중심적인 아이디어는 다음과 같다 .........  두 개의 뉴런 A, B 가 서로 반복적이고 지속적으로 점화(firing)하여 어느 한쪽 또는 양쪽 모두에 어떤 변화를 야기한다면 상호간의 점화의 효율 (weight) 은 점점 커지게 된다. ............ 헵의 학습 규칙은 나중에 개발된 다른 신경망 모델들의 학습 규칙의 토대가 된다 .

Hebb 학습법은 1949 년에 D. Hebb 이 처음 제안하였고, 1988 년 T. McClelland 와 D. Rumelhart 에 의해 확장된 학습 방법으로 순방향 신경망에만 적용될 수 있으며, 이진 또는 연속 활성화 함수가 사용될 수 있다. 초기 연결 강도는 모두 0 에 가까운 작은 값으로 하며, 학습 신호로서 출력을 사용하는 점이 특징이다...........

Hebb의 학습 가설에 근거한 Hebbian 학습 규칙은 가장 오래되고 단순한 형태의 학습 규칙이다. 이 규칙은 만약 연접(synapse) 양쪽의 뉴런이 동시에 또 반복적으로 활성화되었다면 그 두 뉴런 사이의 연결강도가 강화된다는 관찰에 근거한다. 수학적으로는 다음 식으로 나타낼 수 있다.

여기서 xi와 yj는 뉴런 i와 j의 출력이고, 이들은 연접 wij에 의해 연결된다. η는 학습률이다. 또 xi는 연접 wij의 입력도 된다. 연접의 변화가 인접한 두 뉴런의 상태에 의해서만 결정되기 때문에 학습은 국부적으로 일어난다.

출처 : http://www.aistudy.com/neural/hebbian_learning.htm