수알못의 머신러닝 공부 : 학습률(learning rate)을 적절히 설정하는 방법

경사하강법에서 학습률이란 한번 학습할때 얼만큼 변화를 주는지에대한 상수입니다.

 

예를들어 부산에서 서울까지 가는데에 순간이동을 한다고 합시다. 만약 서울방향으로 10km씩 순간이동을 하면 금방 갈것입니다. 하지만 만약 1m씩 순간이동을 하면 너무 오래걸리겠죠. 그리고 1000km씩 순간이동을 하면 서울을 지나 오히려 더 멀어질것입니다. 얼마큼씩 이동할때 이 거리가 바로 학습률입니다.

 

이 블로그에서 처음 학습률이 등장하는 포스트 : https://hyomyo.tistory.com/13?category=820909

수알못의 머신러닝 공부 : 경사하강법

 

위에 비유한것 처럼 학습률이 너무 작으면, 학습하는데 너무 오래걸릴것이고, 혹은 학습률이 너무크면, 오차함수(비용함수)가 발산해버릴수도 있습니다.

 

적당한 학습률

너무 낮은 학습률

너무 높은 학습률

 

학습률을 적절히 지정해주어야 학습을 빠르고 정확히할 수 있습니다.

 

그런데 문제는 학습률을 지정할 방법이 없습니다. 그냥 아무 값을 대입해보고 너무 크다싶으면 낮추고, 너무 작다싶으면 높히는 방법밖에 없답니다..

 

보통 3배를 증감시켜서 학습률을 맞추어 나간다고 합니다.