CPU vs GPU 구조 및 직렬 처리와 대규모 병렬 처리 아키텍처의 원리와 차이점

컴퓨터 연산의 양대 축인 CPU와 GPU의 핵심 아키텍처 차이를 알려드리겠습니다. 소수 정예 코어의 복잡한 직렬 처리와 분기 예측 메커니즘부터 수천 개 코어가 동시에 연산하는 GPU의 대규모 병렬 처리 및 AI 활용성을 확인해 보세요.

소수 정예 고성능 코어로 복잡한 논리를 해결하는 CPU의 직렬(Serial) 처리

컴퓨터의 본체 안에서 모든 연산과 장치 제어를 총괄하는 가장 대표적인 핵심 부품은 중앙처리장치, 즉 시피유(CPU)입니다. 시피유는 컴퓨터 시스템 전체의 사령관으로서 운영체제를 구동하고 사용자의 마우스 클릭과 키보드 입력을 처리하며 다양한 응용 프로그램을 질서정연하게 실행하는 역할을 도맡아 합니다.

소수 정예 고성능 코어로 복잡한 논리를 해결하는 CPU의 직렬(Serial) 처리

이러한 다양한 임무를 막힘없이 수행하기 위해 시피유가 채택한 설계 철학은 바로 한 번에 하나의 복잡한 명령어를 눈 깜짝할 사이에 끝장내는 직렬(Serial) 처리 방식입니다. 시피유를 사람에 비유하자면 미적분과 철학, 논리학 등 모든 분야에 능통한 최고 수준의 천재 수학자 서너 명이 모여 있는 소수 정예 집단과 같습니다. 시피유 내부의 실리콘 다이 구조를 현미경으로 들여다보면 실제로 계산을 수행하는 연산 코어(ALU)가 차지하는 면적은 생각보다 넓지 않습니다. 그 대신 칩 면적의 상당 부분을 방대한 양의 초고속 캐시 메모리와 복잡한 제어 장치(Control Unit)가 차지하고 있습니다. 시피유가 이처럼 제어 장치와 캐시 메모리에 많은 면적을 할애하는 이유는, 세상에 존재하는 수많은 소프트웨어 명령어들이 순차적으로 앞뒤 인과관계를 가지며 실행되기 때문입니다. 첫 번째 계산 결과가 나와야만 그 값을 받아서 두 번째 계산을 진행할 수 있는 작업들이 끝없이 이어지므로, 시피유는 명령어 하나하나를 처리할 때 걸리는 지연 시간(Latency)을 나노초 단위로 극단적으로 줄이는 데 모든 공학적 역량을 집중합니다. 이를 위해 시피유는 상상을 초월할 정도로 고도화된 하드웨어 최적화 기술들을 쉼 없이 가동합니다. 대표적인 기술이 바로 프로그램이 다음에 실행할 조건문과 명령어의 결과를 미리 짐작하여 계산해 두는 분기 예측(Branch Prediction) 기술입니다. 시피유는 프로그램의 흐름을 지켜보며 사용자가 다음에 어떤 선택을 할지 확률적으로 계산하고, 실제 명령이 떨어지기도 전에 결과를 미리 연산해 두었다가 예측이 맞으면 즉시 결과를 내놓아 연산 지연을 0으로 만듭니다. 또한 명령어들의 순서가 조금 꼬여 있더라도 데이터가 준비된 계산부터 순서를 바꾸어 먼저 처리하는 비순차적 명령어 실행(Out-of-Order Execution) 기술과, 여러 단계의 계산을 파이프라인으로 엮어 동시에 밀어 넣는 깊은 명령어 파이프라이닝 기술을 적극 활용합니다. 여기에 더해 칩 내부에는 속도가 매우 빠른 엘1(L1), 엘2(L2), 엘3(L3) 캐시 메모리를 겹겹이 배치하여, 느린 외부 메인 메모리까지 데이터를 가지러 가는 시간 낭비를 원천적으로 차단합니다. 이러한 복잡한 제어 로직 덕분에 시피유는 아무리 논리가 꼬여 있고 복잡한 조건문이 얽힌 프로그램이라 하더라도 4기가헤르츠나 5기가헤르츠 이상의 초고속 클럭 주파수를 바탕으로 단 하나의 코어가 1초에 수십억 번의 단일 연산을 막힘없이 번개처럼 해치울 수 있습니다. 하지만 이러한 시피유의 소수 정예 구조는 단순하고 반복적인 계산이 수만 개, 수억 개씩 한꺼번에 쏟아지는 작업 환경에서는 명확한 한계를 드러냅니다. 천재 수학자에게 두 자릿수 덧셈 수억 개를 주고 하나씩 차례대로 풀라고 시키는 것과 같아서, 코어의 숫자가 8개나 16개 안팎에 불과한 시피유는 아무리 코어 하나하나의 연산 속도가 빠르다 할지라도 순서대로 줄을 세워 하나씩 처리하느라 전체 작업을 끝내는 데 오랜 시간이 걸릴 수밖에 없습니다. 시피유의 직렬 처리 아키텍처는 고도의 논리적 추론과 정교한 분기 제어, 그리고 단일 작업의 반응 속도를 극대화하기 위해 탄생한 컴퓨터 공학의 정점이며, 시스템 전체의 명령 체계를 흔들림 없이 조율하고 통제하는 가장 본질적이고 필수적인 두뇌 역할을 수행합니다.

수천 개의 소형 코어로 단순 연산을 동시 폭격하는 GPU의 대규모 병렬(Parallel) 처리

시피유가 복잡한 문제를 혼자서 순식간에 풀어내는 천재 수학자라면, 그래픽처리장치인 지피유(GPU)는 단순한 사칙연산만을 할 줄 아는 초등학생 수천 명이 거대한 운동장에 모여 한날한시에 일제히 계산을 시작하는 대규모 노동 집단과 같습니다. 지피유는 본래 모니터 화면에 화려한 3차원 입체 그래픽 게임 화면을 실시간으로 그려내기 위해 탄생한 특수 목적 반도체입니다.

수천 개의 소형 코어로 단순 연산을 동시 폭격하는 GPU의 대규모 병렬(Parallel) 처리

초고화질 화면 하나는 수백만 개에서 수천만 개에 달하는 작은 점인 픽셀들로 이루어져 있습니다. 화면을 한 번 깜빡이며 새로 고칠 때마다 이 수천만 개의 픽셀에 어떤 색깔의 빛을 칠해야 하는지를 계산해야 하는데, 각 픽셀의 색깔을 정하는 계산 공식은 덧셈과 곱셈 위주의 아주 단순한 수식들로 채워져 있습니다. 더욱이 왼쪽 위 구석에 있는 픽셀의 색깔을 칠하는 작업은 오른쪽 아래 구석에 있는 픽셀의 색깔 계산 결과와 아무런 상관이 없이 서로 완벽하게 독립되어 있습니다. 즉 앞의 계산 결과를 기다릴 필요 없이 수백만 개의 점을 동시에 한꺼번에 계산해도 아무런 문제가 없는 완벽한 병렬 작업 환경이 형성되는 것입니다. 따라서 지피유 아키텍처는 시피유처럼 복잡한 분기 예측기나 거대한 캐시 메모리를 칩 안에 넣는 것을 과감하게 포기했습니다. 어려운 제어 로직을 과감히 덜어내어 절약한 실리콘 다이 면적 위에 오직 단순한 사칙연산만을 전문으로 수행하는 초소형 연산 코어(ALU)를 꽉꽉 채워 넣는 설계를 취했습니다. 그 결과 최신 고성능 지피유 하나에는 무려 수천 개에서 1만 개가 넘는 방대한 수의 연산 코어들이 빽빽하게 탑재되게 되었습니다. 지피유의 대규모 병렬(Parallel) 처리 메커니즘은 단일 명령어 다중 데이터(SIMD, Single Instruction Multiple Data) 또는 단일 명령어 다중 스레드(SIMT)라는 독특한 구조를 바탕으로 작동합니다. 중앙 제어 장치가 수천 명의 코어들에게 똑같은 계산 명령을 단 한 번만 외치면, 수천 개의 코어들이 각자 자신에게 배정된 서로 다른 데이터 덩어리를 쥐고 일제히 똑같은 계산을 동시에 쾅 수행해 냅니다. 개별 코어 하나가 동작하는 클럭 주파수는 시피유에 비해 절반 이하로 낮고 코어 각각의 계산 능력은 매우 소박하지만, 1만 개의 코어가 단 1초의 지체도 없이 동시에 주먹을 휘두르듯 연산을 쏟아붓기 때문에 1초 동안 처리할 수 있는 전체 데이터의 총량, 즉 처리량(Throughput) 관점에서는 시피유를 수십 배에서 수백 배 이상 가볍게 압도하는 가공할 화력을 뿜어냅니다. 이러한 지피유의 대규모 병렬 처리 아키텍처는 최근 인공지능(AI)과 딥러닝 기술의 폭발적인 발전과 맞물리며 현대 슈퍼컴퓨팅의 절대적인 심장으로 완전히 환골탈태하였습니다. 거대 언어 모델(LLM)과 딥러닝 신경망 알고리즘의 내부를 뜯어보면 결국 수억 개에서 수조 개에 달하는 인공 신경망 가중치 숫자들을 서로 곱하고 더하는 방대한 행렬(Matrix) 곱셈 연산이 전체 계산의 90퍼센트 이상을 차지합니다. 앞뒤 논리가 복잡하지 않고 그저 수조 번의 단순 곱셈을 빠르게 끝마쳐야 하는 인공지능 연산의 특성은 수천 개의 코어가 동시에 행렬을 쪼개어 계산하는 지피유의 병렬 아키텍처와 물리적으로 100퍼센트 완벽하게 맞아떨어졌습니다. 이에 따라 지피유 제조사들은 단순 그래픽 렌더링을 넘어 행렬 곱셈을 나노초 단위로 초고속 처리하는 전용 텐서 코어(Tensor Core)와 광대역 고대역폭 메모리(HBM)를 결합하여 지피유를 명실상부한 인공지능 전용 슈퍼 연산기로 진화시켰습니다. 결국 시피유와 지피유는 어느 한쪽이 우월한 것이 아니라 서로 전혀 다른 연산 패러다임을 추구하는 완벽한 상호보완적 동반자입니다. 시피유는 직렬 처리 아키텍처를 바탕으로 전체 시스템의 지휘봉을 잡고 복잡한 분기 판단과 운영체제 제어를 전담하며, 지피유는 대규모 병렬 처리 아키텍처를 앞세워 방대한 양의 인공지능 데이터와 3차원 그래픽 행렬을 순식간에 집단 처리합니다. 두 프로세서의 아키텍처 구조와 처리 방식의 근본적인 차이를 이해하는 것은 컴퓨터 하드웨어의 동작 원리를 꿰뚫고 차세대 인공지능 기술의 발전 방향을 명확하게 파악하는 데 가장 핵심적인 공학적 기초 지식입니다.