파인튜닝 모델별 하이퍼파라미터 비교
앞서 배운 내용을 정리하고, 하이퍼파라미터 설정이 모델의 학습 및 성능에 어떻게 영향을 미치는지 확인해 보겠습니다.
하이퍼파라미터 정리
| 하이퍼파라미터 | 낮을 때 | 높을 때 |
|---|---|---|
| 학습률 | 장점: 안정적으로 학습 가능 단점: 학습이 천천히 진행됨 | 장점: 학습이 빠르게 진행됨 단점: 최적의 가중치를 지나칠 수 있음 |
| 배치 크기 | 장점: 모델이 자주 가중치를 업데이트, 컴퓨팅 자원 적게 사용 단점: 학습이 느리게 진행될 수 있음 | 장점: 학습이 빠르게 진행됨 단점: 과적합 가능성 증가, 컴퓨팅 자원 많이 사용 |
| 에폭 수 | 장점: 과적합 방지 가능 단점: 모델이 충분히 학습하지 못해 성능이 낮아질 수 있음 | 장점: 모델이 더 많이 학습하여 성능 향상 가능 단점: 과적합되어 새로운 데이터에 대한 성능이 떨어질 수 있음 |
실습환경 소개
두 모델은 전라도 사투리로 파인튜닝된 AI 모델입니다.
| 학습 데이터 | 배치 크기 | 학습률 | 에폭 수 | |
|---|---|---|---|---|
| 모델 A | 전라도 사투리 데이터 | 32 | 0.001 | 5 |
| 모델 B | 전라도 사투리 데이터 | 64 | 0.01 | 10 |
실습
- 복사하기: 아래 프롬프트를 복사합니다.
예시 프롬프트
전주 비빔밥은 어떻게 만드나요?
-
프롬프트 입력: 복사한 프롬프트를 입력창에 붙여 넣고
Enter키를 누릅니다. -
결과 비교: 두 AI 모델의 결과를 확인합니다.
다음 내용이 궁금하다면?
코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!