본문으로 건너뛰기

학습률 이해하기

학습률(Learning Rate) 이해하기

학습률(Learning Rate)은 모델이 학습하는 속도를 결정합니다.

학습률의 중요성 및 영향

  • 높은 학습률: 빠른 학습을 가능하게 하지만, 너무 높으면 학습 과정에서 발생하는 오차를 줄이지 못하고, 최적의 솔루션을 '넘어서서' 발산할 수 있습니다.

  • 낮은 학습률: 더 안정적인 학습을 제공하지만, 너무 낮으면 학습이 지나치게 느려지고, 최적화 과정에서 지역 최소값(local minima)에 갇힐 위험이 있습니다.

학습률 최적화 전략

  1. 적응적 학습률(Adaptive Learning Rate): 학습률을 학습 과정 중에 자동으로 조정합니다. 초기에는 높은 학습률로 시작하여 점차 낮춰가는 방식입니다.

  2. 학습률 스케줄링(Learning Rate Scheduling): 학습 과정을 통해 학습률을 단계적으로 조정하는 방법입니다. 에폭 수에 따라 학습률을 점차 감소시킵니다.

  3. 학습률 범위 테스트(Learning Rate Range Test): 다양한 학습률을 사용하여 짧은 실험을 수행하고, 각각의 학습률에서 모델의 성능을 평가하여 최적의 학습률을 찾는 방법입니다.

실습

오른쪽 실습 화면에서 서로 다른 학습률로 학습된 모델을 비교합니다.