앞선 #20에서는 AI 모델을 개발하려면 데이터와 전문인력뿐 아니라 GPU와 같은 연산 자원, 서버, 네트워크, 전력, 냉각 등 다양한 자원이 필요하다는 것을 살펴봤습니다.
그중에서도 AI 시대를 설명할 때 가장 자주 등장하는 장비가 GPU(Graphics Processing Unit)입니다.
대규모 AI 모델을 개발할 때 수많은 GPU가 사용되고, AI 인프라를 이야기할 때도 GPU 확보가 중요한 문제로 등장합니다.
그런데 GPU는 이름 그대로 그래픽 처리 장치입니다.
처음부터 AI를 만들기 위해 개발된 반도체가 아닙니다.
게임 화면을 처리하기 위해 발전한 GPU가 어떻게 AI 발전의 핵심 연산 자원이 되었을까요?
1. 게임 그래픽의 발전이 GPU를 발전시켰다
컴퓨터가 모니터에 화면을 보여주려면 화면을 구성하는 픽셀에 어떤 색과 밝기를 표시할지 결정해야 합니다.
1920×1080 해상도의 화면만 해도 2,073,600개, 약 207만 개의 픽셀로 이루어져 있습니다.
한 장의 화면을 만든다는 것은 최종적으로 이 약 207만 개의 픽셀에 무엇을 보여줄 것인지 결정해야 한다는 뜻입니다.
예를 들어 화면에 파란 하늘이 있다고 생각해보겠습니다.
하늘이라고 해서 모든 픽셀이 완전히 똑같은 파란색인 것은 아닙니다.
빛을 더 많이 받는 곳은 조금 밝은 파란색이 될 수 있고, 다른 부분은 조금 어두울 수 있습니다. 물체의 위치와 질감, 조명과 그림자에 따라서도 각 위치에 표시되는 색과 밝기가 달라집니다.
실제 그래픽에서는 정점, 삼각형, 텍스처, 조명 등 여러 단계의 계산을 거칩니다.
하지만 화면에 표시되는 최종 결과를 기준으로 보면 각 위치에 어떤 색과 밝기를 보여줄 것인지 계산하는 과정이라고 이해할 수 있습니다.
게임에서는 이 작업이 한 번으로 끝나지 않습니다.
캐릭터가 움직이고, 사용자의 시점이 바뀌고, 물체의 위치와 조명도 계속 변합니다.
그때마다 화면을 다시 계산해야 합니다.
여기서 중요한 것은 단순히 화면을 여러 장 만들어야 한다는 점만이 아닙니다.
한 장의 화면 자체가 이미 수많은 계산으로 이루어져 있고, 그 계산 가운데 많은 부분을 동시에 처리할 수 있다는 점입니다.
그래픽은 한 픽셀의 계산이 모두 끝나야 반드시 다음 픽셀을 계산할 수 있는 구조가 아닙니다.
많은 위치와 그래픽 요소에 비슷한 계산을 나누어 수행할 수 있습니다.
따라서 하나의 연산 장치가 모든 계산을 빠르게 순차적으로 처리하는 것보다 많은 계산을 동시에 처리하는 구조가 그래픽 작업에 매우 잘 맞았습니다.
게임의 해상도가 높아지고 3D 그래픽이 복잡해지면서 처리해야 하는 계산은 계속 증가했습니다.
더 많은 물체, 더 정교한 질감, 빛과 그림자, 높은 해상도와 부드러운 화면을 짧은 시간 안에 계산해야 했습니다.
그 요구에 맞춰 GPU도 대규모 병렬 연산을 빠르게 처리하는 방향으로 발전했습니다.
NVIDIA도 게임과 그래픽의 연산이 높은 병렬성을 가지고 있었기 때문에 GPU가 많은 연산을 동시에 처리하는 프로세서로 발전했다고 설명합니다.
2. 그래픽용 GPU를 다른 계산에도 사용하기 시작했다
GPU의 병렬 처리 성능이 높아지자 그래픽 이외의 분야에서도 이 계산 능력을 활용하려는 시도가 시작됐습니다.
게임 화면을 계산할 때만 사용하기에는 GPU가 가진 연산 능력이 매우 컸기 때문입니다.
그래서 과학 계산, 의료 영상, 시뮬레이션처럼 많은 계산을 동시에 수행할 수 있는 분야에서도 GPU가 활용되기 시작했습니다.
이를 GPGPU(General-Purpose Computing on Graphics Processing Units)라고 합니다.
즉 그래픽을 위해 만들어진 GPU를 일반적인 계산에도 사용하는 것입니다.
이후 CUDA와 같은 개발 환경이 등장하면서 개발자가 GPU의 병렬 연산 능력을 그래픽 이외의 프로그램에도 활용하기 쉬워졌습니다.
그리고 GPU의 병렬 처리 구조와 매우 잘 맞는 또 하나의 분야가 있었습니다.
바로 AI였습니다.
3. GPU를 AI에 적용하자 연산 병목이 크게 완화되었다
신경망은 GPU가 등장하기 전에도 존재했습니다.
GPU가 없어서 AI 모델을 계산할 수 없었던 것은 아닙니다.
CPU를 이용해서도 신경망을 학습시키고 결과를 확인할 수 있었습니다.
문제는 시간이었습니다.
AI 모델을 학습할 때는 모델 내부의 수많은 숫자를 반복해서 계산해야 합니다.
모델의 규모가 커지고 학습할 데이터가 많아지면 계산량도 함께 증가합니다.
연구자는 모델을 한 번 만들어 끝내는 것이 아닙니다.
모델을 설계하고 학습한 뒤 결과를 확인합니다.
결과가 만족스럽지 않으면 구조나 설정을 변경하고 다시 학습합니다.
그리고 다시 결과를 비교합니다.
즉 AI 연구에서는
모델 설계 → 학습 → 결과 확인 → 수정 → 다시 학습
이라는 과정이 반복됩니다.
그런데 모델을 한 번 학습시키는 데 오랜 시간이 걸린다면 연구자는 새로운 아이디어가 생겨도 결과를 확인하기 위해 오래 기다려야 합니다.
한 번의 실험이 느리면 전체 연구 속도도 느려집니다.
GPU의 병렬 연산 능력을 신경망 학습에 적용하면서 이 문제가 크게 완화됐습니다.
그래픽에서는 많은 픽셀과 그래픽 요소를 대상으로 비슷한 계산을 반복했고, 신경망에서는 많은 숫자를 대상으로 비슷한 연산을 반복했습니다.
그래픽과 AI가 같은 계산을 하는 것은 아니지만, 대량의 계산을 병렬로 처리하면 유리하다는 공통점이 있었던 것입니다.
GPU를 활용하면서 AI 모델의 학습 시간을 크게 줄일 수 있었고, 연구자는 같은 기간 동안 더 많은 모델을 만들고 더 많은 실험을 반복할 수 있게 됐습니다.
GPU가 AI 발전에 끼친 중요한 영향은 단순히 계산 하나를 빠르게 만든 것에 그치지 않습니다.
AI 연구의 실험과 검증 주기를 빠르게 만든 것입니다.
4. AlexNet은 GPU가 AI 연구를 어떻게 바꿀 수 있는지 보여줬다
GPU가 AI 발전에 미친 영향을 보여주는 대표적인 사례가 2012년 발표된 AlexNet입니다.
당시에도 합성곱 신경망(CNN)은 이미 존재했습니다.
하지만 대규모 고해상도 이미지에 큰 신경망을 적용하려면 매우 많은 계산이 필요했습니다.
AlexNet 연구진은 약 120만 장의 학습 이미지를 이용해 대규모 신경망을 학습하면서 GPU에 최적화된 연산을 적극적으로 활용했습니다.
논문에서도 대규모 CNN을 고해상도 이미지에 적용하는 것은 계산 비용이 매우 컸지만, 당시 GPU와 최적화된 합성곱 연산을 이용해 규모가 큰 CNN을 학습했다고 설명합니다.
그렇다고 학습이 금방 끝난 것은 아닙니다.
AlexNet은 NVIDIA GTX 580 3GB GPU 두 개를 사용하고도 약 5~6일 동안 학습해야 했습니다.
여기서 당시 GPU의 의미를 볼 수 있습니다.
GPU 이전에도 신경망을 계산할 수는 있었습니다.
하지만 모델의 규모가 커질수록 연구자가 감당해야 하는 계산 시간이 너무 길어졌습니다.
GPU는 이 시간을 크게 줄이면서 모델을 학습하고, 결과를 확인하고, 다시 수정해서 실험하는 과정을 더 빠르게 반복할 수 있도록 했습니다.
AI 연구에서 계산 시간이 줄어든다는 것은 단순한 편의의 문제가 아닙니다.
예를 들어 한 번의 실험 결과를 확인하는 데 매우 오랜 시간이 필요하다면 한 달 동안 시도할 수 있는 아이디어의 수도 제한됩니다.
반대로 학습 시간이 크게 줄어들면 같은 기간에 더 많은 가설을 시험하고 더 많은 모델을 비교할 수 있습니다.
연산 속도가 연구 속도로 연결되는 것입니다.
GPU 하나가 AI의 오랜 침체기를 끝냈다고 볼 수는 없습니다.
데이터의 증가, 신경망 학습 방법과 알고리즘의 발전, 연구 환경의 변화 등 여러 요소가 함께 작용했습니다.
하지만 GPU가 대규모 신경망의 계산 부담을 크게 줄이면서 딥러닝 연구가 빠르게 발전할 수 있는 중요한 연산 기반을 제공한 것은 분명합니다.
5. CPU와 GPU는 무엇이 다를까?
GPU가 AI에 중요한 장비가 됐다고 해서 CPU보다 무조건 좋은 프로세서라는 뜻은 아닙니다.
두 장치는 잘하도록 설계된 일이 다릅니다.
게임을 예로 들어보겠습니다.
사용자가 캐릭터를 특정 위치로 이동시키기 위해 화면을 클릭했습니다.
컴퓨터는 먼저
- 사용자가 어디를 클릭했는지 확인하고
- 캐릭터가 그 위치로 이동할 수 있는지 판단하고
- 이동 경로나 게임의 상태를 계산하고
- 그 결과에 따라 다음 작업을 실행해야 합니다.
이처럼 앞선 결과에 따라 다음 작업이 달라지고 여러 종류의 명령을 처리해야 하는 작업에서는 CPU가 중요한 역할을 합니다.
반면 캐릭터의 새로운 위치가 결정된 뒤 화면을 다시 그릴 때는 많은 그래픽 요소를 한꺼번에 계산해야 합니다.
이런 작업에서는 GPU의 높은 병렬 처리 능력이 유리합니다.
물론 CPU도 병렬 처리를 할 수 있고 GPU도 모든 작업을 동시에 처리하는 것은 아닙니다.
차이는 어떤 종류의 작업에 더 많은 자원을 배치하도록 설계됐는가에 있습니다.
CPU는 개별 작업을 빠르게 처리하고 복잡한 제어와 다양한 명령을 수행하는 데 강하고, GPU는 많은 연산을 동시에 처리해 전체 계산량을 빠르게 처리하는 데 강합니다.
그래서 실제 컴퓨터에서는 CPU와 GPU가 경쟁하기보다 각자 잘하는 작업을 나누어 처리하는 경우가 많습니다.
6. AI에서는 GPU로 무엇을 계산할까?
AI 모델 안에는 매우 많은 숫자가 들어 있습니다.
입력된 데이터를 처리할 때 이 숫자들을 서로 곱하고 더하는 계산이 반복됩니다.
이때 중요한 연산 가운데 하나가 행렬 연산(Matrix Operation)입니다.
여기서 행렬 계산 방법 자체를 알 필요는 없습니다.
많은 숫자를 하나의 묶음으로 두고 대량의 곱셈과 덧셈을 반복한다고 생각하면 됩니다.
AI 모델을 학습할 때는 데이터를 모델에 넣어 계산하고 결과를 확인한 뒤 모델 내부의 값을 조정합니다.
그리고 다른 데이터를 이용해 같은 과정을 계속 반복합니다.
모델의 규모와 데이터가 커질수록 처리해야 하는 숫자와 계산량도 증가합니다.
이러한 계산은 GPU가 오랫동안 발전시켜온 병렬 처리 구조와 잘 맞았습니다.
그래픽에서는 수많은 화면 요소를 계산하던 병렬 연산 능력이 AI에서는 수많은 숫자를 계산하는 데 사용되기 시작한 것입니다.
7. GPU 한 개가 빨라지면 대규모 AI도 계속 커질 수 있을까?
AI 모델의 규모가 커지면서 GPU 한 개만으로 모든 계산을 처리하기 어려워졌습니다.
연산 능력에도 한계가 있지만 GPU가 사용할 수 있는 메모리에도 한계가 있기 때문입니다.
AlexNet 역시 당시 GPU 한 개의 메모리만으로 모델을 처리하기 어려워 신경망을 두 개의 GPU에 나누어 학습했습니다.
모델이 더 커지면 여러 GPU가 계산을 나누어 처리해야 합니다.
그러면 GPU 성능만으로는 전체 속도를 결정할 수 없게 됩니다.
여러 GPU가 계산을 아무리 빠르게 하더라도 필요한 데이터를 제때 전달받지 못하거나 서로 결과를 주고받는 데 시간이 오래 걸리면 전체 학습 속도가 느려질 수 있습니다.
그래서 대규모 AI에서는 GPU뿐 아니라
- GPU가 사용할 메모리
- GPU 사이의 데이터 전송
- 서버
- 고속 네트워크
- 전력
- 냉각
등이 함께 중요해집니다.
앞선 #20에서 AI 모델 개발 비용을 GPU 가격 하나만으로 계산할 수 없었던 이유도 여기에 있습니다.
GPU가 중심적인 연산 자원이라고 해도 GPU가 제대로 작동할 수 있도록 주변 인프라가 함께 구성되어야 하기 때문입니다.
8. GPU는 AI 모델을 학습할 때만 사용할까?
GPU는 AI 모델을 만드는 학습(Training) 과정에서 중요한 역할을 합니다.
하지만 모델을 다 만든 뒤에도 계산은 계속 필요합니다.
사용자가 AI 서비스에 질문이나 데이터를 입력하면 이미 학습된 모델이 그 입력을 바탕으로 결과를 계산해야 합니다.
이 과정을 추론(Inference)이라고 합니다.
따라서 AI 서비스에서는 모델을 개발할 때뿐 아니라 실제 서비스를 운영하면서 사용자의 요청을 처리할 때도 GPU와 같은 연산 자원이 사용될 수 있습니다.
다만 학습과 추론은 필요한 연산의 규모와 처리 방식이 다르기 때문에 같은 AI 모델이라도 필요한 하드웨어 구성은 달라질 수 있습니다.
추론이 구체적으로 어떤 과정인지에 대해서는 AI 교양 30 초급편에서 자세히 살펴보겠습니다.
9. GPU의 성공은 AI 전용 가속기로 이어졌다
GPU는 AI 전용으로 만들어진 반도체가 아니었습니다.
그런데 GPU를 AI에 적용해보니 대규모 병렬 연산이 신경망 계산에서 매우 효과적이라는 사실이 분명해졌습니다.
그러면 자연스럽게 다음 질문이 생깁니다.
그래픽까지 처리할 수 있도록 설계된 GPU를 사용하는 대신, 처음부터 AI가 많이 사용하는 계산에 맞춰 반도체를 만들면 더 효율적이지 않을까?
이런 방향에서 AI 연산에 특화된 가속기가 발전하기 시작했습니다.
대표적인 사례가 Google의 TPU(Tensor Processing Unit)입니다.
Google은 신경망 연산을 가속하기 위해 TPU라는 전용 ASIC을 개발했고, 1세대 TPU는 신경망 추론을 빠르고 효율적으로 처리하도록 설계됐습니다.
이후에는 데이터센터뿐 아니라 스마트폰과 PC처럼 전력과 공간이 제한된 장치에서도 AI를 직접 실행하려는 수요가 커졌습니다.
이런 환경에서는 NPU(Neural Processing Unit)처럼 신경망과 머신러닝 연산에 특화된 프로세서도 활용됩니다.
TPU나 NPU가 GPU를 그대로 복사해서 만들어졌다는 뜻은 아닙니다.
중요한 것은 GPU를 AI에 활용하면서 AI 연산을 하드웨어에서 가속했을 때 얻을 수 있는 효과가 명확하게 확인됐다는 점입니다.
그래픽용 하드웨어의 병렬 처리 능력을 AI에 활용하는 단계에서 한 걸음 더 나아가, 이제는 AI가 자주 사용하는 연산에 맞춰 하드웨어 자체를 설계하는 방향으로 발전한 것입니다.
GPU가 AI 시대의 핵심이 된 이유
AI가 발전하면서 GPU의 역할도 더 커졌습니다.
디지털 환경이 확대되면서 생성되는 데이터의 양과 속도도 크게 증가했습니다. 기업과 서비스에서는 이렇게 대량으로 생성되는 데이터를 더 빠르게 처리하고 분석하는 능력이 중요해졌습니다.
AI 역시 더 많은 데이터를 활용하고 더 복잡한 모델을 처리하는 방향으로 발전하면서 필요한 연산량이 빠르게 증가했습니다.
모델을 개발할 때는 대규모 데이터를 반복해서 학습해야 하고, 실제 서비스를 운영할 때는 많은 사용자의 요청을 빠르게 처리해야 합니다.
AI가 연구실의 모델을 넘어 실제 서비스와 업무에 널리 사용될수록 한 번의 계산 성능뿐 아니라 많은 계산을 얼마나 빠르게 처리할 수 있는지가 더욱 중요해진 것입니다.
이러한 환경에서 대규모 연산을 병렬로 처리할 수 있는 GPU의 가치는 더욱 커졌습니다.
또한 AI의 규모가 커지면서 GPU 한 개의 성능만으로는 부족해졌습니다. 여러 GPU를 연결하고 대규모 연산 환경을 구성하는 방식이 확산되면서 GPU는 개별 컴퓨터의 그래픽 부품을 넘어 AI 데이터센터와 AI 인프라를 구성하는 핵심 연산 자원으로 자리 잡았습니다.
게임과 그래픽 산업에서 발전한 GPU가 AI 연구의 속도를 높였다면, 이제는 AI 자체가 다시 더 높은 GPU 성능과 더 많은 연산 자원을 요구하고 있습니다.
GPU의 발전과 AI의 발전이 서로 영향을 주며 함께 가속되는 구조가 만들어진 것입니다.
DANA NOTES 한 줄 정리
GPU는 게임 그래픽을 처리하기 위해 대규모 병렬 연산에 강한 구조로 발전했고, 이 능력이 AI의 학습 시간을 크게 줄여 연구와 개발 속도를 높이면서 AI 시대의 핵심 연산 자원으로 자리 잡았습니다.
