인공지능 딥러닝 연산에 특화된 차세대 AI 가속기 TPU와 LPU의 핵심 기술을 알기 쉽게 설명합니다. 거대 행렬 곱셈을 초고속으로 처리하는 시스톨릭 어레이(Systolic Array) 메커니즘부터 대규모 학습용 TPU와 초저지연 추론용 LPU의 구조적 차이를 확인해 보세요.
딥러닝 행렬 곱셈의 병목을 해결하는 시스톨릭 어레이
인공지능 딥러닝과 거대 언어 모델이 수행하는 연산의 본질을 파고들면, 그 속에는 복잡한 수학 공식이나 논리 판단이 아니라 수만 개에서 수십억 개에 달하는 거대한 숫자 격자판을 서로 곱하고 더하는 2차원 행렬(Matrix) 곱셈이 전체 작업의 대부분을 차지하고 있습니다. 신경망의 각 계층을 통과할 때마다 입력 데이터와 학습된 가중치 숫자들이 끝없이 곱해지고 누적되어 더해지는 행렬 곱셈 누적(MAC) 과정이 반복됩니다. 하지만 전통적인 컴퓨터 연산 구조에서는 계산기 하나가 메모리에서 숫자 두 개를 읽어와 곱셈을 한 뒤 그 결과를 다시 메모리에 저장하고, 다음 계산을 위해 또다시 메모리를 오가는 번거로운 과정을 거쳐야 했습니다. 이로 인해 메모리와 연산기 사이의 도로가 꽉 막히는 심각한 데이터 전송 지연과 엄청난 전력 낭비가 발생하는 폰 노이만 병목 현상에 부딪히게 되었습니다.
 |
| 딥러닝 행렬 곱셈의 병목을 해결하는 시스톨릭 어레이 |
이러한 메모리 왕복 병목을 단번에 허물어뜨리고 대규모 행렬 곱셈을 빛의 속도로 해치우기 위해 탄생한 핵심 하드웨어 구조가 바로 심장의 박동에서 이름을 딴 시스톨릭 어레이(Systolic Array) 아키텍처입니다. 시스톨릭 어레이의 핵심 개념은 수백 개에서 수만 개에 달하는 초소형 곱셈 누적 연산기들을 바둑판 모양의 거대한 2차원 격자망 형태로 촘촘하게 엮어놓은 데서 출발합니다. 기존 방식처럼 연산기가 계산할 때마다 외부 메모리를 들락거리는 것이 아니라, 바둑판의 왼쪽 가장자리에서는 입력 데이터들을 밀어 넣고 바둑판의 위쪽 가장자리에서는 인공신경망의 가중치 데이터들을 규칙적인 박자에 맞추어 쏟아붓습니다. 격자망 내부로 데이터가 들어서는 순간부터 경이로운 2차원 파이프라인 파도타기가 시작됩니다. 격자망 내부의 연산기 하나는 위에서 떨어진 가중치와 왼쪽에서 건너온 입력값을 단 1클럭의 박자에 맞추어 곱한 뒤, 그 결과물을 메모리로 돌려보내지 않고 바로 아래쪽과 오른쪽으로 맞붙어 있는 이웃 연산기에게 즉시 손으로 건네듯 직접 넘겨줍니다. 연산기끼리 사방으로 손을 잡고 데이터를 직접 패스하기 때문에, 데이터는 격자판 내부를 대각선 방향으로 부드럽게 흐르며 쉼 없이 곱해지고 차곡차곡 누적 합산됩니다. 수십억 개의 숫자가 메모리 통로를 막지 않고도 바둑판 내부를 단 한 번 스쳐 지나가는 동안 수천만 번의 행렬 곱셈과 덧셈이 단번에 완결되는 것입니다. 이 시스톨릭 어레이 구조는 외부 메모리 접근 횟수를 수백 분의 1 이하로 극단적으로 줄여주므로 칩 전체의 발열과 전력 소모를 혁신적으로 낮추어 줍니다. 또한 연산 코어가 복잡한 캐시 메모리나 분기 예측기를 거느릴 필요가 없어 실리콘 면적을 매우 작게 설계할 수 있으며, 남는 면적에 순수한 곱셈기들을 수만 개 이상 빽빽하게 깔아둘 수 있어 동일한 면적 대비 연산 처리 밀도를 기하급수적으로 극대화합니다.
대규모 학습과 클라우드 확장에 특화된 구글 TPU vs 초고속 SRAM 기반 실시간 추론을 혁신한 그록 LPU
시스톨릭 어레이라는 강력한 행렬 가속 엔진을 심장에 품고, 범용 그래픽 반도체인 GPU의 아성을 뛰어넘기 위해 등장한 대표적인 맞춤형 AI 가속기들이 바로 구글의 TPU(Tensor Processing Unit)와 최근 초고속 언어 모델 추론으로 전 세계를 놀라게 한 그록의 LPU(Language Processing Unit)입니다. 두 가속기는 모두 인공지능 연산의 극대화를 목표로 태어났지만, 주력으로 삼는 전장과 하드웨어 설계 전략에서 매우 흥미롭고 뚜렷한 구조적 차이를 보여줍니다.
 |
| 대규모 학습과 클라우드 확장에 특화된 구글 TPU vs 초고속 SRAM 기반 실시간 추론을 혁신한 그록 LPU |
먼저 구글이 독자 개발한 TPU(텐서 처리 장치)는 대규모 인공지능 모델의 학습(Training)과 거대 클라우드 인프라 확장에 최적화된 대표적인 AI 가속기입니다. TPU는 칩의 중심부에 거대한 시스톨릭 어레이 행렬 연산 장치(MXU)를 탑재하고 있으며, 천문학적인 크기의 인공지능 매개변수 데이터들을 빠르게 실어나르기 위해 초광대역 고대역폭 메모리인 HBM(High Bandwidth Memory)을 칩 바로 옆에 수직 적층 형태로 강력하게 결합했습니다. 이를 통해 초당 수 테라바이트에 달하는 방대한 데이터를 시스톨릭 어레이로 끊임없이 쏟아붓습니다. 더욱이 TPU의 진정한 위력은 수천 개의 칩을 거미줄처럼 하나로 묶어 거대한 단일 슈퍼컴퓨터로 동작하게 만드는 광학 서킷 스위칭(OCS) 기반의 초고속 인터커넥트 통신망(ICI)에 있습니다. 일반적인 네트워크 장비를 거치지 않고 빛 신호를 거울로 반사하여 칩과 칩 사이를 직접 연결함으로써, 수만 대의 TPU 팟(Pod)이 거대한 신경망 모델을 수천 개로 쪼개어 동시에 학습할 때 발생하는 통신 병목을 완벽하게 없앴습니다. 구글의 최첨단 제미나이(Gemini)와 같은 초거대 모델들이 바로 이 거대한 TPU 클러스터 위에서 24시간 쉬지 않고 탄생하고 있습니다. 반면에 최근 생성형 인공지능 시장에서 돌풍을 일으키고 있는 그록(Groq)의 LPU(언어 처리 장치)는 학습이 아니라 이미 완성된 모델을 사용자에게 실시간으로 답변해 주는 추론(Inference) 단계의 초저지연 속도 극대화에 모든 사활을 건 특화 가속기입니다. 우리가 챗봇과 대화할 때 글자가 한 글자씩 더디게 타이핑되듯 나오는 이유는, GPU나 TPU가 거대한 외부 DRAM이나 HBM 메모리에서 가중치 데이터를 한 토큰마다 매번 새로 꺼내와야 하는 메모리 대역폭 한계 때문입니다. LPU는 이 지긋지긋한 메모리 병목을 부수기 위해 가혹할 정도로 급진적인 설계를 단행했습니다. 바로 칩 외부에 HBM이나 DRAM을 전혀 두지 않고, 칩 내부 전체를 속도가 가장 빠른 초고속 정적 메모리인 온칩 SRAM(Static RAM)으로 모조리 도배해 버린 것입니다. SRAM의 데이터 읽기 쓰기 속도는 일반 DRAM이나 HBM에 비해 수십 배 이상 압도적으로 빠르며 지연 시간이 사실상 0에 수렴합니다. 인공지능 모델의 가중치 전체를 칩 내부의 SRAM 안에 통째로 올려두고 연산하기 때문에, 메모리 통로를 기다릴 필요가 전혀 없이 연산기가 100퍼센트 풀가동됩니다. 그 결과 초당 수백 개 이상의 단어를 1초의 지체도 없이 폭포수처럼 쏟아내는 압도적인 텍스트 생성 반응 속도를 달성했습니다. 또한 하드웨어 내부에 복잡한 제어 장치를 없애고 컴파일러 소프트웨어가 데이터가 흐르는 시간을 1사이클 단위로 정확하게 통제하는 결정론적(Deterministic) 아키텍처를 채택하여, 연산의 지연 시간을 완벽하게 예측하고 보장합니다. 결과적으로 구글의 TPU가 거대한 HBM 메모리와 광학 네트워크를 앞세워 수조 단위의 인공지능 모델을 집단으로 학습시키는 묵직한 거인이라면, 그록의 LPU는 초고속 온칩 SRAM과 시스톨릭 파이프라인을 앞세워 번개 같은 속도로 사용자의 질문에 답을 뱉어내는 날렵한 전문 검객과 같습니다. 이처럼 시스톨릭 어레이라는 공통된 행렬 가속 기반 위에서 각자의 목적에 맞게 메모리 구조와 통신망을 최적화해 나가는 TPU와 LPU의 구조적 차이를 이해하는 것은, 폭발적으로 세분화되는 미래 인공지능 반도체 생태계의 기술 패권을 조망하는 데 가장 본질적이고 필수적인 공학 지식입니다.
 원리){kind=link}
0 댓글