본문으로 건너뛰기
실습하기

GPT의 뜻과 발전 역사

GPT는 Generative Pre-trained Transformer의 약자로, 2017년에 Google의 연구팀이 발표한 트랜스포머(Transformer) 모델을 기반으로 대규모 데이터셋을 활용해 사전 학습된 생성형 인공지능 모델을 의미합니다.

트랜스포머(Transformer): 문장의 모든 단어가 서로 얼마나 중요한지를 학습하여 가중치를 부여하며, 병렬 연산에 특화된 인공지능 아키텍처


GPT 이름은 어떤 의미를 갖나요?​

  • Generative: 인공지능 모델이 텍스트를 생성(Generate)할 수 있음

  • Pre-trained: 사전 학습을 통해 대량의 데이터를 미리 학습함

  • Transformer: 트랜스포머 아키텍처 기반의 인공지능 모델 활용


GPT 탄생 배경​

AI는 2017년 트랜스포머 아키텍처 등장 전에 주로 규칙(Rule) 기반 접근법 또는 딥러닝을 활용했습니다.


규칙 기반 접근법​

규칙 기반 접근법은 특정한 규칙을 사전에 정의하고 그 규칙에 따라 데이터를 처리하거나 결론을 도출하는 방법을 뜻합니다.

입력에 대해 예측 가능한 출력 결과를 생성합니다.

규칙 기반 접근법 예시
문장에서 주어(subject)와 동사(verb)를 식별하기

규칙:
- 영어에서는 문장의 첫 번째 단어가 주어일 가능성이 높다.
- 주어 다음에 등장하는 단어가 동사일 가능성이 높다.

입력 문장: "The cat sleeps."

적용된 규칙:
- 첫 번째 단어 "The cat"을 주어로 식별
- 두 번째 단어 "sleeps"를 동사로 식별

규칙 기반 접근법은 정해진 패턴 외의 입력에 대해 잘 작동하지 않아, 변화무쌍한 실제 언어 처리에 한계점이 있었습니다.


딥러닝​

딥러닝은 인공신경망을 활용해 데이터의 패턴을 학습하고, 이를 바탕으로 새로운 데이터에 대한 예측을 수행하는 방법을 뜻합니다.

딥러닝 관련 주요 용어는 다음과 같습니다.


인공신경망(Neural Networks)​

인공신경망은 사람의 뇌를 모방한 컴퓨터 모델로, 입력 데이터를 처리하고 결과를 출력하는 구조를 갖습니다.

이 신경망은 여러 개의 층(layer)으로 구성되어 있으며, 각 층은 입력 데이터를 처리하여 더 높은 수준의 정보를 추출합니다.

층을 구성하는 요소는 다음과 같습니다.

  • 입력층(Input Layer): 데이터를 받아들이는 층

  • 은닉층(Hidden Layers): 데이터를 처리하고 패턴을 학습하는 여러 개의 중간 층

  • 출력층(Output Layer): 최종 결과를 출력하는 층

학습(Training)​

학습은 인공신경망이 입력 데이터를 처리하고, 이를 바탕으로 패턴을 학습하는 과정을 뜻합니다.

예를 들어, 수많은 고양이와 개의 이미지를 보여주면 신경망은 이미지 속에서 고양이와 개를 구분하는 법을 배우게 됩니다.

주요 용어는 다음과 같습니다.

  • 데이터셋(Dataset): 학습에 사용되는 데이터의 집합 (예: 수천 장의 고양이와 개의 이미지)

  • 라벨(Label): 각 데이터가 무엇을 나타내는지 알려주는 정보 (예: 고양이 이미지는 '고양이', 개 이미지는 '개'라는 라벨 부여)

딥러닝 기술은 다양한 분야에 광범위하게 활용되고 있지만, 자연어 처리 분야에서 순차적 데이터 처리로 인한 비효율성 문제를 갖고 있었습니다.

예를 들어 딥러닝 모델은 책을 읽을 때 앞 부분의 내용을 뒤에서 잘 기억하지 못하는 것처럼, 긴 문장을 처리할 때 중요한 정보를 잊어버리는 경향이 있었습니다.


트랜스포머 모델의 등장​

트랜스포머 모델은 데이터를 병렬적으로 처리하여 입출력에 소요되는 시간을 단축하고, 입력 데이터의 전후 관계를 고려하여 문맥을 이해할 수 있도록 설계되었습니다.

트랜스포머 모델에 대량의 데이터를 사전 학습시킨 GPT는 자연어 처리 분야에서 뛰어난 성능을 발휘하며 GPT-2, GPT-3, GPT-4 등 버전 업그레이드와 함께 빠르게 발전해왔습니다.

슬라이드에서 GPT 주요 모델의 발전 역사를 확인해 보세요!