AI가 발전하는데 왜 GPU가 금값이 되었을까?
생성형 AI가 빠르게 발전하면서 GPU는 단순한 그래픽 장치를 넘어 국가적 차원의 핵심 자원이 되었습니다. AI 모델을 학습시키거나 수많은 사용자의 질문에 동시에 답하려면 막대한 계산이 필요합니다. 이 계산을 빠르게 처리해 주는 장치가 바로 GPU입니다.
CPU도 계산을 할 수 있는데, 왜 GPU가 특별히 중요해졌을까요? 이를 이해하려면 먼저 AI가 실제로 무엇을 어떻게 계산하는지부터 살펴봐야 합니다.
AI는 실제로 무엇을 계산할까요?
AI는 대화하고, 번역하고, 그림을 그립니다. 하지만 내부에서는 거의 모든 작업이 숫자 계산입니다.
텍스트 AI를 예로 들어 보겠습니다. 문장을 생성할 때 내부에서는 다음과 같은 과정이 반복됩니다.
- 입력 문장을 숫자 배열로 바꿉니다.
- 이 숫자 배열을 모델 안에 저장된 거대한 숫자 표와 곱합니다.
- 새로운 숫자 배열이 만들어집니다.
- 이 과정을 여러 단계에 걸쳐 반복합니다.
- 마지막에 다음에 올 단어의 점수를 계산합니다.
이 "여러 단계"를 층(layer)이라고 부릅니다. 각 층은 입력된 숫자 배열을 받아 새로운 숫자 배열로 바꾸는 계산 단계입니다. 이런 층이 수십 개 이상 쌓여 있기 때문에 딥러닝(Deep Learning)이라는 이름이 붙었습니다. Deep은 "깊다"는 뜻이고, 층이 많이 쌓였다는 의미입니다.
즉, AI는 복잡한 생각을 하는 기계라기보다, 거대한 숫자 배열을 여러 단계에 걸쳐 반복 계산하는 시스템에 가깝습니다.
CPU는 어떤 역할을 할까요?
CPU는 컴퓨터의 중심 장치입니다. 프로그램을 실행하고, 조건을 판단하고, 여러 작업의 순서를 관리합니다.
CPU는 다음과 같은 특징을 가집니다.
- 다양한 종류의 작업을 처리할 수 있음
- 복잡한 조건 판단에 강함
- 하나의 작업을 정교하게 처리하는 데 적합
CPU는 "관리자"에 가깝습니다. 프로그램의 흐름을 조정하고, 여러 작업을 통제하는 데 뛰어납니다.
하지만 AI 계산은 성격이 다릅니다. AI는 같은 형태의 곱셈과 덧셈을 수백만 번 반복합니다. 이런 계산은 순서를 조정하는 능력보다, 같은 계산을 동시에 많이 처리하는 능력이 중요합니다.
GPU는 무엇이 다를까요?
GPU는 원래 그래픽을 그리기 위해 만들어졌습니다. 화면에는 수백만 개 의 픽셀이 있습니다. 이 픽셀을 동시에 계산해야 하기 때문에 GPU는 처음부터 "동시에 많이 계산하는 구조"로 설계되었습니다.
GPU의 특징은 다음과 같습니다.
- 같은 계산을 매우 많이 동시에 수행할 수 있음
- 대규모 숫자 계산에 특화됨
- 행렬 곱셈과 같은 반복 연산에 매우 강함
딥러닝에서 가장 많이 사용되는 연산이 바로 행렬 곱셈입니다. 행렬 곱셈은 작은 곱셈과 덧셈이 엄청난 개수로 나뉘어 동시에 계산될 수 있습니다. 이 구조는 GPU와 매우 잘 맞습니다.
비유로 이해하는 CPU와 GPU
한 교실에서 수학 시험을 본다고 가정해 보겠습니다.
교실에는 두 가지 방식이 있습니다.
첫 번째 방식은 아주 뛰어난 수학 교수 한 명이 모든 문제를 직접 푸는 것입니다. 문제 하나를 깊이 이해하고, 복잡한 조건을 따져 가며 정확하게 해결합니다. 대신 동시에 여러 문제를 풀 수는 없습니다.
두 번째 방식은 기본적인 계산은 할 줄 아는 학생 1,000명이 각자 문제 한 개씩을 맡아 동시에 푸는 것입니다. 한 명의 실력은 교수보다 부족하지만, 전체 속도는 압도적으로 빠를 수 있습니다.
CPU는 첫 번째 방식에 가깝습니다.
GPU는 두 번째 방식에 가깝습니다.
AI가 요구하는 계산은 대부분 "복잡한 사고"라기보다는, 같은 유형의 계산을 엄청난 규모로 반복하는 작업입니다. 그래서 GPU 구조가 훨씬 유리합니다.
AI 학습은 왜 특히 많은 GPU가 필요할까요?
AI에는 학습(Training)과 추론(Inference) 두 단계가 있습니다.
추론은 이미 만들어진 모델이 한 번 답을 계산하는 과정입니다. 반면 학습은 모델이 스스로를 계속 수정하는 과정입니다. 이 차이 때문에 학습이 훨씬 많은 계산을 필요로 합니다.
이전 장에서 배운 것처럼, 학습에서는 아래와 같은 과정이 반복됩니다.
- 입력을 받아 예측을 만듭니다.
- 실제 정답과 비교해 얼마나 틀렸는지 계산합니다.
- 그 오차를 줄이기 위해 내부 숫자(가중치)를 조금 수정합니다.
이 과정을 한 번만 하는 것이 아니라, 수많은 데이터에 대해 반복합니다. 예를 들어 수천만 개의 문장을 사용한다면, 이 계산이 수천만 번 이상 수행됩니다. 그리고 데이터 전체를 여러 번 반복해 학습하기도 합니다.
또한 대형 모델은 내부에 수십억 개 이상의 숫자를 가지고 있습니다. 학습할 때마다 이 거대한 숫자 구조가 조금씩 바뀝니다. 즉, "답을 한 번 계산하는 것"보다 훨씬 많은 연산이 필요합니다.
그래서 일반적으로 학습은 추론보다 훨씬 무겁습니다. 이 방대한 계산을 현실적인 시간 안에 끝내려면, 같은 계산을 동시에 많이 처리할 수 있어야 합니다. GPU는 이런 반복적이고 대규모인 숫자 계산에 강하기 때문에, AI 학습에는 특히 많은 GPU가 필요합니다.
추론 단계에서도 GPU가 필요한 이유
과거에는 GPU가 주로 학습(Training)에 필요했습니다. 학습은 모델의 가중치를 계속 바꾸면서 오차를 줄여야 하기 때문에 계산량이 매우 크고, 그만큼 GPU가 필수였습니다. 하지만 생성형 AI가 대중화되면서 상황이 달라졌습니다. 이제는 학습뿐 아니라 추론(Inference), 즉 사용자가 질문을 던졌을 때 답을 만들어내는 단계에서도 GPU 수요가 크게 늘었습니다.
가장 큰 이유는 사용량 자체가 폭발적으로 증가했기 때문입니다. 예전에는 AI 모델을 사용하는 사람이 제한적이었지만, 지금은 검색, 글쓰기, 번역, 코딩, 고객센터 등 다양한 서비스에서 동시에 AI를 호출합니다. 사용자가 많아지면 "한 번의 답변"이 아니라 "동시에 수천 번의 답변"을 만들어야 하는 상황이 됩니다. 이때 서버는 각 요청마다 거대한 행렬 연산을 수행해야 하므로, 병렬 계산 능력이 매우 중요해집니다.
또한 최근에는 사용자가 요구하는 대화 길이가 길어졌습니다. 짧은 질문 한 줄에 답하는 수준을 넘어, 긴 문서나 프로젝트 맥락을 포함한 상태에서 답변을 생성해야 하는 경우가 늘었습니다. 컨텍스트(문맥)가 길어질수록 모델이 한 번 답할 때 참고해야 할 정보가 많아지고, 그만큼 계산량도 커집니다. 즉 "한 번의 추론"이 점점 더 무거워지고 있습니다.
여기에 AI가 텍스트만 처리하는 것이 아니라 이미지, 음성, 영상까지 함께 다루는 멀티모 달(Multimodal) 방향으로 발전하며 더 많은 계산이 필요해졌습니다. 예를 들어 이미지를 분석해 설명하거나, 음성 입력을 받아 텍스트로 바꾸고, 다시 답변을 음성으로 합성하는 작업은 텍스트만 처리할 때보다 계산이 더 큽니다. 영상처럼 시간축까지 포함되면 필요한 연산은 더욱 증가합니다. 결국 추론 단계에서 요구되는 GPU 연산량이 이전보다 훨씬 커졌습니다.
마지막으로, 대부분의 서비스는 실시간 반응을 요구합니다. 사용자는 AI가 "몇 분 뒤에 답"하는 것을 기대하지 않습니다. 몇 초 안에 결과가 나와야 하고, 동시에 많은 사용자가 몰려도 응답 속도가 유지되어야 합니다. 이 조건을 만족하려면 한 번의 추론을 빠르게 수행하는 것뿐 아니라, 여러 요청을 동시에 처리하는 능력이 필요합니다. GPU는 바로 이 병렬 처리에 강하기 때문에 추론 단계에서도 핵심 인프라가 되었습니다.
정리하면, 추론 단계에서도 GPU가 중요한 이유는 "추론이 가벼워서"가 아니라, "추론이 많아지고, 길어지고, 복잡해지고, 더 빨라져야 하기 때문"입니다.
GPU가 금값이 된 이유
GPU 가격이 급등한 이유는 단순히 "좋은 부품이라서"가 아닙니다. 생성형 AI가 폭발적으로 성장하면서 GPU 수요가 급격히 늘었고, 동시에 공급은 그 속도를 따라가지 못했습니다. 이 불균형이 GPU를 금값으로 만들었습니다.
먼저, 생성형 AI의 확산 자체가 GPU 수요를 폭발시켰습니다. 대형 모델을 새로 학습하려는 기업도 많아졌고, 이미 학습된 모델을 서비스로 운영하려는 기업도 늘었습니다. 학습과 추론 모두 GPU를 필요로 하기 때문에, 시장 전체의 GPU 요구량이 동시에 커졌습니다.
또한 모델이 커질수록 필요한 GPU 수는 단순히 조금 늘어나는 수준이 아닙니다. 모델 파라미터(가중치)가 늘고, 처리해야 하는 문맥 길이가 길어지면, 필요한 연산량과 메모리 요구가 함께 증가합니다. 그 결과 같은 서비스를 운영하더라도 더 많은 GPU가 필요해집니다. "더 똑똑한 모델을 만들고 운영한다"는 말이 곧 "더 많은 GPU를 필요로 한다"는 말로 연결되는 구조가 만들어졌습니다.
반대로 고성능 GPU는 빠르게 생산하기 어려운 자원입니다. 고성능 칩은 제조 공정이 매우 복잡하고, 생산 설비를 늘리는 데도 시간이 오래 걸립니다. 게다가 AI에 적합한 고성능 GPU는 특정 세대, 특정 제품군에 수요가 집중되는 경향이 있어 공급 병목이 더 심해집니다. 수요가 폭발해도 공급을 단기간에 크게 늘리기 어렵기 때문에 가격이 더 민감하게 반응합니다.
여기서 끝이 아닙니다. GPU를 많이 산다고 바로 끝나는 것이 아니라, 이를 수용할 데이터센터 인프라까지 함께 갖춰야 합니다. GPU는 전력을 많이 사용하고 열도 많이 발생시킵니다. 따라서 전력 공급, 냉각 설비, 랙 공간, 네트워크 연결 등 데이터센터 전체가 함께 확장되어야 합니다. GPU 한 장의 가격뿐 아니라 "운영 비용"까지 포함해 부담이 커지면서, GPU는 단순 부품이 아니라 인프라 전체의 병목이 됩니다.
결국 GPU가 금값이 된 이유는 명확합니다. AI 산업이 요구하는 계산량이 급격히 증가했는데, 그 계산을 담당할 핵심 자원인 GPU의 생산과 인프라 확장은 제한적이었기 때문입니다. 그래서 GPU는 단 순한 하드웨어가 아니라, AI 산업의 속도와 경쟁력을 결정하는 핵심 자원이 되었습니다.
정리
AI는 거대한 숫자 배열을 여러 층에 걸쳐 반복 계산하는 시스템입니다. 이 계산은 동일한 연산을 대규모로 수행하는 구조이며, GPU는 이런 병렬 계산에 최적화되어 있습니다.
CPU는 다양한 작업을 조정하고 관리하는 데 강하고, GPU는 대규모 숫자 계산을 동시에 처리하는 데 강합니다. 생성형 AI 시대에 GPU가 핵심 인프라가 된 이유는 바로 이 계산 구조 때문입니다.