모든 뉴런이 연결된 완전 연결층
완전 연결층(Fully Connected Layer, FC Layer)은 신경망에서 모든 뉴런이 이전 층의 모든 뉴런과 연결된 층입니다.
이 층은 입력 데이터를 변환하여 다음 층으로 전달하며, 모델이 복잡한 패턴을 학습할 수 있도록 돕습니다.
완전 연결층은 주로 신경망의 마지막 출력층에서 사용되며, 이미지 분류, 자연어 처리, 회귀 문제 등 다양한 분야에서 활용됩니다.
입력: [0.2, 0.8, 0.5] (3개의 뉴런)
출력: [0.7, 0.3] (2개의 뉴런)
모든 입력 뉴런이 모든 출력 뉴런과 연결됨
완전 연결층의 장점
완전 연결층은 신경망의 중요한 구성 요소로, 다양한 패턴을 학습할 수 있습니다.
-
모든 뉴런이 연결되어 표현력 개선: 각 뉴런이 이전 층의 모든 정보를 활용할 수 있습니다.
-
다양한 문제에 적용 가능: 이미지 분류, 자연어 처리, 회귀 분석 등 다양한 모델에 사용됩니다.
-
간단한 구조로 빠르게 구현 가능: 행렬 연산을 통해 효율적으로 학습할 수 있습니다.
완전 연결층의 한계
모든 뉴런이 서로 연결되기 때문에 계산량이 많아지고, 불필요한 연결이 많을 경우 과적합(Overfitting) 가능성이 커질 수 있습니다.
완전 연결층은 뉴런 개수가 많아질수록 연산량이 급격히 증가하여 학습 속도가 느려질 수 있습니다.
또한, 중요한 특징을 효과적으로 추출하지 못하고 불필요한 정보까지 학습하는 경우가 많습니다.
이를 해결하기 위해 드롭아웃(Dropout) 기법을 사용하여 일부 연결을 무작위로 제거하거나, CNN(합성곱 신경망)과 같은 특화된 구조를 활용합니다.
완전 연결층은 언제 사용될까?
-
이미지 분류: CNN 모델에서 특징을 추출한 후, 최종 출력을 생성할 때 사용됩니다.
-
자연어 처리: RNN, Transformer와 같은 자연어 처리 모델에서 마지막 단계에서 결과를 출력할 때 활용됩니다.
-
회귀 문제: 숫자 값을 예측하는 모델에서 연속적인 출력값을 생성할 때 사용됩니다.
완전 연결층은 신경망에서 가장 기본적인 층으로, 다양한 문제에서 활용됩니다.
다음 수업에서는 입력층에서 특징을 추출하는 방법에 대해 알아보겠습니다.
다음 내용이 궁금하다면?
코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!