GPT의 발전 역사

이번 수업에서는 GPT의 탄생 배경과 시리즈별 발전 과정을 살펴보겠습니다.

실습 화면의 슬라이드를 통해 GPT의 발전 과정을 확인해 보세요.

GPT 탄생 배경

2017년 트랜스포머 아키텍처 등장 전, AI는 주로 규칙(Rule) 기반 접근법과 딥러닝을 활용했습니다.

규칙 기반 접근법은 무엇인가요?

규칙 기반 접근법(Rule-based approach)은 사전 정의된 규칙을 사용하여 입력 데이터를 처리하는 방법입니다.

이 접근법은 초기 자연어 처리(NLP) 시스템에서 사용되었으며, 다음과 같이 특정 패턴이나 규칙을 기반으로 문장을 분석하고 이해합니다.

규칙 기반 접근법 예시

문장에서 주어(subject)와 동사(verb)를 식별하기

규칙:
- 영어에서는 문장의 첫 번째 단어가 주어일 가능성이 높다.
- 주어 다음에 등장하는 단어가 동사일 가능성이 높다.

입력 문장: "The cat sleeps."

적용된 규칙:
- 첫 번째 단어 "The cat"을 주어로 식별
- 두 번째 단어 "sleeps"를 동사로 식별

규칙 기반 접근법은 정해진 패턴 외의 입력에 대해 잘 작동하지 않아, 변화무쌍한 실제 언어 처리에 한계점이 있었습니다.

트랜스포머 모델의 등장

트랜스포머 모델은 데이터를 병렬적으로 처리하여 입출력에 소요되는 시간을 단축하고, 입력 데이터의 전후 관계를 고려하여 문맥을 이해할 수 있도록 설계되었습니다.

트랜스포머 모델에 대량의 데이터를 사전 학습시킨 GPT는 자연어 처리 분야에서 뛰어난 성능을 발휘하며 GPT-2, GPT-3, GPT-4 등 버전 업그레이드와 함께 빠르게 발전해왔습니다.

슬라이드에서 GPT 주요 모델의 발전 역사를 확인해 보세요!