한 번에 학습하는 데이터의 규모, 배치 크기(Batch Size)

배치 크기(Batch Size)는 한 번의 학습에 사용되는 데이터의 양을 의미합니다. 예를 들어, 배치 크기가 32라면, 한 번에 32개의 데이터를 사용해 모델을 학습시킵니다.

각 배치는 모델의 가중치를 업데이트하는 데 사용되며, 배치 크기는 모델의 성능, 학습 시간, 메모리 사용량 등에 큰 영향을 미칩니다.

일반적으로 사용하는 배치 크기

일반적으로 사용하는 배치 크기는 16, 32, 64, 128, 256, 512입니다.

권장되는 배치 크기는 AI 모델의 종류, 데이터셋의 크기, 하드웨어 사양 등에 따라 달라질 수 있습니다.

GPU 메모리가 충분한 경우 더 큰 배치 크기를 사용할 수 있고, 메모리가 제한적인 경우에는 더 작은 배치 크기를 사용하게 됩니다.

예를 들어 4GB VRAM을 가진 GPU로 일반적인 AI를 학습시킬 경우, 배치 크기를 16-32로 설정하는 것이 적절합니다.

빠른 학습: 한 번에 많은 데이터를 처리하므로 학습 속도가 빨라집니다.
안정된 학습: 배치 크기가 크면 한 번에 많은 데이터를 사용하게 되어, 그 데이터들이 전체 데이터의 특성을 잘 대표할 확률이 높습니다. 따라서 모델의 성능이 예측 가능한 범위 내에서 조금씩 변하게 됩니다.

메모리 사용량 증가: 배치 크기가 크면 많은 데이터를 한 번에 처리해야 하므로, 더 많은 메모리가 필요합니다. 메모리가 부족하면 학습이 진행되지 않을 수 있습니다.
과적합 가능성: 너무 큰 배치 크기를 사용하면 모델이 훈련 데이터에 너무 맞춰져서, 새로운 데이터에 잘 대응하지 못하는 문제가 발생할 수 있습니다.

배치 크기가 작을 때는 이와 반대의 특성(학습 속도가 느리지만, 메모리 사용량이 적고 과적합 최소화)을 갖습니다.

오른쪽 실습 화면에서 서로 다른 배치 크기로 학습된 모델을 비교합니다.

코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!