AI는 질문을 어떻게 해석할까?
우리는 질문을 "의미"로 이해합니다. 하지만 AI는 질문을 사람처럼 읽지 않습니다. AI는 먼저 문장을 토큰 단위로 나누고, 그 토큰을 숫자로 바꾼 뒤 계산합니다. 즉, AI에게 질문은 "문장"이 아니라 숫자의 배열입니다.
이 차이를 이해하면 왜 같은 말을 조금 다르게 쓰면 답이 달라지는지, 왜 모호한 질문이 엉뚱한 결과로 이어지는지 자연스럽게 이해할 수 있습니다.
1. AI는 문장을 먼저 잘게 쪼갭니다
예를 들어 다음 질문을 보겠습니다.
프랑스의 수도는 어디인가요?
AI는 이 문장을 먼저 여러 조각(토큰)으로 나눕니다. 영어도, 한국어도 마찬가지입니다. 토큰은 단어와 정확히 일치하지 않습니다. 한 단어가 여러 조각으로 나뉠 수도 있고, 조사나 어미가 따로 떨어질 수도 있습니다.
이렇게 나뉜 토큰은 다시 각각 고유한 숫자로 변환됩니다. 결국 AI가 실제로 처리하는 것은 이런 형태에 가깝습니다.
[1543, 8921, 77, 5021, …]
이렇게 문장은 숫자의 배열로 바뀌고, AI는 이 숫자들을 기반으로 다음에 올 숫자 를 예측하는 방식으로 답변을 생성합니다.
2. 단어의 "순서"도 함께 계산합니다
AI는 단어 자체뿐 아니라 순서도 중요하게 다룹니다.
예를 들어 다음 두 문장을 비교해 보겠습니다.
- "고양이가 개를 쫓았다."
- "개가 고양이를 쫓았다."
단어는 거의 같지만, 의미는 완전히 다릅니다. AI는 이 차이를 "문법 규칙"으로 이해하는 것이 아니라, 학습 과정에서 본 수많은 문장 패턴을 바탕으로 확률적으로 구분합니다.
모델 내부에는 "어떤 단어 다음에 어떤 단어가 자주 나오는지"에 대한 거대한 통계 구조가 형성되어 있습니다. 그래서 단어 순서가 바뀌면, 뒤에 이어질 문장의 확률 구조도 달라집니다.
즉, AI는 문장의 뜻을 사전처럼 정의해서 이해하는 것이 아니라, 패턴과 관계를 수치로 계산해 이해합니다.
3. 모호한 질문은 왜 문제가 될까?
AI는 사람이 의도를 "눈치"로 보정해 줄 것이라고 기대하지 않습니다. 질문이 모호하면, 가능한 여러 해석 중에서 확률이 높은 방향 으로 답을 만듭니다.
예를 들어 이런 질문을 보겠습니다.
좋은 책 추천해줘.
이 질문에는 다음과 같은 정보가 빠져 있습니다.
- 어떤 분야의 책인지
- 어떤 언어인지
- 어떤 수준인지
- 몇 권을 원하는지
- 최근 책인지, 고전인지
AI는 학습 데이터에서 가장 흔한 패턴을 따라 답을 생성합니다. 그래서 베스트셀러 위주로 답하거나, 일반적인 자기계발서를 추천할 가능성이 높습니다. 하지만 사용자의 의도와 정확히 일치한다는 보장은 없습니다.
반면 아래처럼 질문을 바꾸면 해석 범위가 크게 줄어듭니다.
2023년에 출판된 국내 과학 교양서 중 고등학생이 읽기 좋은 책 3권을 추천해줘.
조건이 늘어나면 AI의 계산 공간이 줄어들고, 결과도 더 안정됩니다.
4. AI는 "의도"가 아니라 "패턴"을 따른다
AI는 질문자의 감정이나 숨은 의도를 직접 이해하지 못합니다. 대신 다음과 같은 방식으로 작동합니다.
- 지금까지 입력된 토큰을 본다.
- 그 뒤에 이어질 토큰의 확률을 계산한다.
- 가장 적절한 후보를 선택한다.
- 이 과정을 반복한다.
이 과정을 통해 긴 설명, 분석, 코드, 번역이 만들어집니다. 겉으로 보면 사고와 추론처럼 보이지만, 내부에서는 여전히 다음 토큰 예측의 반복입니다.
따라서 질문이 명확할수록, 모델은 더 정확한 패턴을 따라갈 수 있습니다.
5. 질문 구조가 답변 구조를 만든다
AI는 질문의 구조를 그대로 따라가는 경향이 있습니다. 예를 들어 질문이 표 형식이면, 답도 표 형식으로 나올 확률이 높습니다. 질문이 단계별 설명이면, 답도 단계별로 구성될 가능성이 큽니다.
예시를 비교해 보겠습니다.
이 정책의 문제점을 설명해줘.
vs
이 정책의 문제점을
- 경제적 측면
- 사회적 측면
- 장기적 영향 으로 나누어 설명해줘.
두 번째 질문은 이미 답의 틀을 제공합니다. AI는 이 틀을 따라 계산하기 때문에, 구조가 안정되고 누락이 줄어듭니다.
다음 내용이 궁금하다면?
코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!