왜 지금 메모리인가

넘쳐흐르는 데이터, 되돌릴 데 없는 메모리 계단

AI 추론이 만든 데이터는 가장 빠른 층에서 넘쳐 아래로만 흐릅니다. 위로 되돌아갈 길이 없어, 계단 전체가 동시에 타이트해집니다.

1 메모리 계단 — 위는 빠르고 좁고 비쌈, 아래는 느리고 넓고 쌈

사무실에 빗대면, 위 칸일수록 손에 가깝고 아래 칸일수록 옆방 캐비닛입니다.

가장 빠름ns 단위 최상층 · HBM

작업대 위 메모지

GPU 바로 옆. 가장 빠르지만 가장 좁고 가장 비쌉니다.

빠름ns 단위 중간층 · DRAM

책상 서랍

자주 쓰는 데이터의 자리. HBM보다 넓지만 여전히 유한합니다.

느림μs 단위 하단 · NAND SSD

옆방 캐비닛

훨씬 넓고 쌉니다. 넘친 컨텍스트를 밀어 넣어 보존합니다.

가장 느림ms 단위 최하단 · HDD

지하 창고

가장 넓고 가장 쌈. 콜드 데이터의 마지막 종착지입니다.

↑ 빠름 · 좁음 · 비쌈 ↓ 느림 · 넓음 · 쌈

각 층은 대체재가 아니라 계층입니다. 아래층이 위층을 대신하지 못하고, 위층이 넘치면 아래로만 밀립니다.

2 KV캐시가 흘러넘친다
넘치는 회의록의 크기
KV캐시 = 문맥 길이 × 레이어 수 × 동시 사용자
대화가 길어지고, 모델이 깊어지고, 쓰는 사람이 늘수록 회의록은 기하급수로 불어납니다. 세 항이 동시에 커지는 게 이번 사이클입니다.

한 층이 차면 다음 층으로 넘칩니다 — 위로 되돌아가지 않습니다.

HBM
넘침 ↓
▼
DRAM
넘침 ↓
▼
NAND
넘침 ↓
▼
SSD·HDD
한계
3 한 방향 도미노 — 되돌릴 데가 없다
01
HBM 수요 ↑
AI 가속기가 HBM을 빨아들입니다.
02
GPU가 DRAM 웨이퍼 흡수
같은 웨이퍼가 HBM으로 전환됩니다.
03
DRAM 부족
범용 DRAM 공급이 줄어듭니다.
04
NAND 전환
캐파가 NAND 쪽으로도 쏠립니다.
05
NAND 부족
NAND마저 타이트해집니다.
06
QLC SSD로 이동
니어라인 수요가 QLC eSSD로 옮겨갑니다.
07
HDD 매진
마지막 창고까지 채워집니다.
↻⃠ 한 방향으로만 넘어집니다. 아래로 밀린 수요가 위로 되돌아오지 않아, 계단 전체가 동시에 타이트해집니다.
4 새 수요층은 계속 쌓이고, 공급은 감산 중

▲ 쌓이는 새 수요층

추론 KV캐시 오프로드신규
NVIDIA ICMS·BlueField-4신규
엔터프라이즈 SSD (HDD 대체)최대 세그먼트
학습 체크포인트·데이터셋누적

▼ 조여지는 공급

3사 NAND 웨이퍼 감산진행
CapEx = 증설 아닌 공정 전환비트 증가 제한
의미 있는 신규 팹2027말~2028
수요는 층마다 쌓이는데 공급은 2027년 말~2028년까지 크게 늘지 않습니다.

뉴머니무브스 · 왜 지금 메모리인가 개요 인포그래픽 · 개념 설명용 (매수·매도 권유 아님)