내리막 경사법(gradient descent method)

내리막 경사법 이란?

현재 위치에서 가장 경사가 급한 곳을 찾고, 그 방향으로 이동하여 새로운 위치를 잡는다. 이런 과정을 \

반복하여 가장 낮은 지점(최저점)을 찾아가는 방법이다. 반대 예의 경우를 오르막 경사법 이라고 한다.

                 

[그림 1] 최적해를 찾기 위한 반복 알고리즘 순서도

ρ는 학습률(learning rate)이라고 부르며 ρ의 값에 따라 이동하는 크기 변화가 달라진다.

          [그림 2] 내리막 경사법, 오르막 경사법