생성형 AI가 작동하는 원리 4단계: AI는 함수입니다

쉽게 말해 AI는 수많은 입력값과 다양한 출력 경우의 수를 가진 함수(Function)입니다.

수학 시간에 배운 함수와 AI의 차이점은 AI가 f(x) = x + 2와 같이 단순한 함수가 아니라는 것입니다.

AI는 수많은 데이터와 다양한 출력 경우의 수를 가진 매우 복잡한 함수로, 이러한 모델을 만들기 위해서는 엄청나게 많은 데이터와 연산이 필요합니다.

실제로 2020년에 공개된 GPT-3의 경우, 약 570GB의 텍스트 데이터를 활용해 훈련된 것으로 알려져 있습니다.

300페이지 수준의 책 1권은 일반적으로 약 1MB 정도의 용량을 차지하는데, 570GB는 약 58만권의 책에 해당하는 분량입니다.

책 1권을 읽는 데 평균 6시간이 소요된다고 가정하면, 이는 약 397년의 독서 시간이 소요되는 양입니다.

AI를 학습시킨다는 것은 무엇을 의미하나요?

AI를 학습시키는 것은 이 함수를 구성하는 매개변수(Parameter, AI의 정확한 예측을 돕는 숫자)를 최적화하는 과정입니다.

학습으로 최적화된 함수는 입력된 대상의 패턴을 인식하고

학습으로 얻은 매개변수를 활용해 새로운 입력된 데이터에 대한 결과를 예측합니다.

AI는 수많은 예측값을 생성하고, 이 중에서 가장 적합한 결과를 선택해 결과를 출력합니다.

여기서 사람이 일상적으로 사용하는 언어인 자연어(Natural Language)를 입력하고

이에 따라 적절한 응답을 생성하는 함수를 생성형 AI (Generative AI)라고 합니다.

생성형 AI는 학습한 방식에 따라 텍스트, 이미지, 음성 등 다양한 형태의 콘텐츠를 생성합니다.

생성형 AI 작동 원리는 크게 4가지 단계로 나눌 수 있습니다.

데이터 전처리 과정을 거쳐 대규모 데이터셋을 만들고, 이를 인공지능 모델에게 학습시킵니다.

데이터 전처리(Data Preprocessing): 데이터를 인공지능 학습에 적합한 상태로 준비하는 과정
데이터셋(Dataset): 특정 목적을 위해 수집된 데이터의 집합으로, 머신 러닝 모델을 훈련시키거나 평가하는 데 사용
인공지능 모델(AI Model): 주어진 데이터를 분석해 패턴과 규칙을 학습하고, 이를 바탕으로 새로운 데이터에 대한 예측 및 결정을 내리는 컴퓨터 프로그램

예를 들어 텍스트 생성 AI는 책, 기사, 웹페이지 등의 다양한 텍스트 기반의 문서를 학습하며, 이미지 생성 AI는 수많은 사진과 그림을 학습합니다.

학습이 완료된 컴퓨터 프로그램을 모델이라고 하며, 이 모델은 데이터를 입력받아 새로운 콘텐츠를 생성합니다.

AI는 학습된 데이터를 기반으로 입력된 데이터에서 패턴을 인식하고 특징을 추출합니다.

텍스트 입력: 입력된 텍스트를 토큰화하여 문장 구조, 어휘 패턴 등을 분석합니다. 토큰화는 문장을 단어, 구두점, 숫자 등의 단위로 나누는 과정을 말합니다.

텍스트 분석 예시
입력: "오늘은 날씨가 좋네요."

토큰화: ['오늘', '은', '날씨', '가', '좋', '네요', '.']

이미지 입력: 입력된 이미지의 모양과 색상, 핵심 대상 등을 분석해 이미지의 특징을 추출하고, 이를 벡터(Vector) 형태로 변환합니다. 벡터는 단어나 문장을 숫자로 표현한 형태를 뜻합니다.

이미지 분석 예시
입력: "사과 이미지"

특징 추출: 색상(빨간색), 모양(원형), 대상(사과)

벡터화: [0.9, 0.1, 0.0, ...]

주어진 입력 데이터를 바탕으로 적절한 출력을 생성하기 위해 입력 데이터의 각 요소가 서로 어떻게 관련되어 있는지를 파악합니다. 예를 들어 텍스트 입력에서 문장 내 각 단어들이 서로 어떤 관계를 가지고 있는지 이해합니다.

학습된 인공지능 모델을 바탕으로 새로운 데이터를 생성합니다. 텍스트 생성의 경우 다음에 나올 단어를 확률적으로 예측하고, 이를 기반으로 문장을 완성합니다. 이미지 생성의 경우 주어진 설명에 적합한 새로운 이미지를 만듭니다.

생성형 AI가 텍스트 입력을 처리하는 방식에 대한 보다 상세한 내용은 생성형 AI가 프롬프트를 이해하는 원리 수업에서 확인하실 수 있습니다.