Temperature와 Top-p의 개념
앞서 살펴본 것처럼, 텍스트 생성 AI는 문장을 만들 때마다 다음에 올 수 있는 여러 토큰 후보를 계산하고, 그중 하나를 선택하면서 한 글자씩 이어 붙입니다. 이때 어떤 후보를 얼마나 과감하게 선택할지를 조절하는 설정이 Temperature와 Top-p입니다.
같은 질문을 넣어도 답변의 분위기가 달라지는 이유는 대부분 이 선택 방식 때문입니다. 모델이 바뀐 것이 아니라, 어떤 후보를 어떻게 고르느냐가 달라진 것입니다.
Temperature: 다음 토큰 선택의 다양성을 얼마나 허용할 것인가
AI는 항상 "가장 가능성이 높은 후보"만 고르지 않습니다. 여러 후보를 확률적으로 계산해 두고, 그중 하나를 선택합니다. Temperature는 이 선택에서 얼마나 다양한 후보를 허용할지를 조절합니다.
예를 들어 이런 질문을 생각해 보겠습니다.
가을을 한 문장으로 표현해줘.
AI는 내부적으로 여러 후보를 계산합니다.
- 가을은 선선한 바람이 부는 계절입니다.
- 가을은 붉게 물든 단풍의 시간입니다.
- 가을은 여름과 겨울 사이의 전환기입니다.
- 가을은 고독이 깊어지는 계절입니다.
Temperature가 낮으면, 가장 일반적이고 교과서적인 표현이 선택될 가능성이 높습니다.
가을은 선선한 바람과 함께 시작되는 계절입니다.
Temperature가 높아지면, 비교적 덜 선택되던 표현도 등장할 수 있습니다.
가을은 햇빛이 천천히 식어 가는 시간입니다.
여기서 중요한 점은 Temperature가 "창의력 스위치"가 아니라는 것입니다. 모델이 계산해 두었던 후보는 이미 존재합니다. Temperature는 그 후보들 사이의 차이를 얼마나 강조할지를 조정하는 값입니다. 낮으면 상위 후보에 거의 고정되고, 높으면 하위 후보도 선택될 수 있습니다.
Temperature를 지나치게 높이면 논리 흐름이 흔들리거나, 문장이 불안정해질 수 있습니다. 반대로 지나치게 낮으면 답변이 지나치게 반복적이고 정형화됩니다.
Top-p: 다음 토큰 후보를 어디까지 포함할 것인가
Top-p는 Temperature와 다르게, 선택 대상이 될 후보의 범위 자체를 조절합니다. AI는 내부적으로 많은 후보를 계산하지만, 그중 일부는 가능성이 매우 낮습니다.
Top-p는 상위 후보들의 누적 가능성이 일정 비율에 도달할 때까지만 남기고, 나머지 후보는 아예 제외합니다. 쉽게 말해, 너무 가능성이 낮은 선택지는 애초에 고려하지 않도록 잘라내는 역할입니다.
예를 들어 "봄은"이라는 문장 뒤에 올 후보를 계산했을 때:
- 꽃이 피는 계절입니다.
- 새싹이 돋는 시간입니다.
- 여행을 떠나기 좋은 시기입니다.
- 주식 시장이 불안정해지는 시기입니다.
앞의 세 문장은 일반적인 표현이지만, 마지막 문장은 맥락상 확률이 낮을 수 있습니다. Top-p를 낮게 설정하면 이런 낮은 가능성 후보는 계산 대상에서 제외됩니다. Top-p를 높이면 더 다양한 표현이 후보군에 남습니다.
정리하면, Temperature는 남아 있는 후보들 사이에서 얼마나 과감하게 고를 것인가, Top-p는 애초에 어떤 후보까지 남겨둘 것인가를 결정합니다.
두 설정이 함께 작동할 때 결과는?
실제 모델에서는 Temperature와 Top-p가 동시에 적용됩니다.
- Temperature 낮음 + Top-p 낮음 → 안정적이고 예측 가능한 답변
- Temperature 낮음 + Top-p 높음 → 비교적 안정적이지만 표현은 약간 다양
- Temperature 높음 + Top-p 높음 → 창의적이지만 일관성이 흔들릴 수 있음
예를 들어 보고서 요약, 법률 문서 작성, 코드 생성처럼 정확성이 중요한 작업에서는 낮은 Temperature가 적합합니다. 반대로 스토리 작성, 광고 문구 제작, 아이디어 브레인스토밍처럼 다양한 표현이 필요한 경우에는 다소 높은 설정이 도움이 됩니다.
왜 같은 질문에 답이 달라질까요?
같은 질문을 여러 번 입력했을 때 답이 조금씩 달라지는 이유는, AI가 항상 여러 후보를 계산하고 그중 하나를 선택하기 때문입니다. Temperature와 Top-p는 이 선택의 폭과 범위를 조절합니다.
AI는 정답을 저장해 두었다가 꺼내는 시스템이 아닙니다. 매 순간 계산하고 선택합니다. 그 선택이 얼마나 보수적인지, 얼마나 다양성을 허용하는지가 바로 이 두 설정에 달려 있습니다.
Temperature와 Top-p를 이해하면, AI의 답변이 왜 때로는 교과서처럼 보이고, 때로는 창의적으로 느껴지는지 설명할 수 있습니다. 그리고 목적에 맞게 답변의 성격을 조절할 수도 있습니다.