모델의 과적합을 방지하는 L1 & L2 정규화

이전 수업에서 배운 것처럼, 정규화(Regularization)는 모델이 불필요한 정보를 너무 많이 외우는 것을 막, 더 일반적인 패턴을 학습하도록 돕습니다.

L1 정규화와 L2 정규화는 대표적인 정규화 방법으로, 이번 수업에서는 각 정규화 기법이 어떻게 작동하는지 알아보겠습니다.

L1 정규화 (Lasso 정규화)

L1 정규화는 불필요한 변수를 자동으로 제거하는 방식으로, 모델이 데이터를 학습할 때 중요하지 않은 특징의 가중치를 0으로 만들어 제거합니다.

이로 인해 모델이 보다 단순해지고 꼭 필요한 정보만 사용하게 됩니다.

특히 데이터에 특징이 너무 많은 경우, L1 정규화는 가장 중요한 특징만 남기고 나머지를 제거하여 모델의 성능을 개선하는 데 유용합니다.

L2 정규화는 모든 가중치를 적절한 크기로 유지하도록 조정하는 방식입니다.

모델이 학습할 때, 일부 특징이 지나치게 중요한 것으로 인식되어 가중치가 너무 커지면 특정 패턴에 과도하게 의존하는 문제가 발생할 수 있습니다.

이를 방지하기 위해 L2 정규화는 모든 가중치가 너무 크거나 작아지는 것을 막아 균형을 맞춥니다.

L2 정규화는 특정 특징을 완전히 제거하지 않고, 모든 특징을 조정하여 모델이 보다 일반적인 패턴을 학습할 수 있도록 합니다.

따라서 모든 특징이 중요하지만, 적절한 수준에서 조정해야 할 때 효과적입니다.

다음 수업에서는 기존에 학습된 모델을 활용하여 새로운 문제를 해결하는 전이 학습(Transfer Learning)을 알아보겠습니다.

코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!