활성화 함수 비교 - 시그모이드, ReLU, 소프트맥스
활성화 함수는 인공 신경망에서 입력값을 변환해 다음 층으로 전달하는 역할을 합니다.
지금까지 학습한 시그모이드(Sigmoid), ReLU(Rectified Linear Unit), 소프트맥스(Softmax) 함수는 각각의 특성과 장단점이 있습니다.
활성화 함수 비교
| 함수 | 출력 범위 | 특징 및 장점 | 단점 및 한계 |
|---|---|---|---|
| 시그모이드 | (0, 1) | 확률적 해석 가능, 이진 분류에 적합 | 큰 값에서 기울기 소실 발생 |
| ReLU | (0, ∞) | 기울기 소실 문제 완화, 계산 간단 | 0 이하의 값에서 뉴런 비활성화 |
| 소프트맥스 | (0, 1) | 다중 클래스 분류에 적합, 확률 값 제공 | 한 클래스의 값이 다른 클래스에 영향을 줌 |
활성화 함수는 신경망 모델의 성능에 중요한 영향을 미칩니다.
문제의 특성에 따라 적절한 활성화 함수를 선택하는 것이 중요합니다.
다음 수업에서는 지금까지 배운 내용을 점검하는 간단한 퀴즈를 풀어보겠습니다.
다음 내용이 궁금하다면?
코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!