GPU 발전 둔화 이후의 승부처: AI 데이터센터는 왜 ‘메모리 팩토리’가 되는가
이번 글에서 꼭 봐야 할 핵심은 딱 5가지입니다.
첫째, 삼성전자가 FMS 2026에서 공개한 zHBM, 또는 GHBM 구조가 왜 기존 HBM보다 빠른지 정리합니다.
둘째, SK하이닉스와 샌디스크, 구글이 밀고 있는 HBF가 왜 HBM 다음 세대 메모리로 주목받는지 설명합니다.
셋째, 엔비디아가 HBF를 바로 받아들이기보다 광통신 기반 외부 메모리 구조를 고민하는 이유를 짚어봅니다.
넷째, 김정호 카이스트 교수가 처음 언급한 tHBM 구조가 왜 zHBM의 열 문제를 뒤집는 아이디어인지 정리합니다.
다섯째, AI 반도체 경쟁이 GPU에서 메모리 중심 컴퓨팅, AI 인프라, 데이터센터 전력, 반도체 패키징 경쟁으로 어떻게 이동하는지 경제적 관점에서 풀어봅니다.
1. FMS 2026의 핵심 메시지: HBM 전쟁은 끝이 아니라 이제 시작입니다
지난 8월 4일 미국 캘리포니아 산타클라라에서 FMS 2026, 즉 Future of Memory and Storage 행사가 열렸습니다.
이번 행사의 핵심 주제는 단순히 “HBM이 얼마나 더 빨라질까?”가 아니었습니다.
진짜 메시지는 “AI 시대의 병목이 GPU 연산에서 메모리 용량과 대역폭으로 넘어갔다”는 점이었습니다.
그동안 AI 반도체 시장은 엔비디아 GPU가 중심이었습니다.
하지만 생성형 AI가 고도화되고, 기업들이 AI를 단순 도입하는 단계를 넘어 실제 ROI를 따지는 단계로 들어가면서 상황이 바뀌고 있습니다.
이제 중요한 질문은 “GPU를 얼마나 많이 샀느냐”가 아닙니다.
“AI가 더 긴 문맥을 기억하고, 더 정확하게 답하고, 더 낮은 비용으로 추론할 수 있느냐”가 핵심입니다.
이 문제의 중심에 HBM, HBF, zHBM, tHBM 같은 차세대 메모리 기술이 있습니다.
2. 왜 갑자기 HBF가 필요해졌나: AI 추론 시대의 진짜 병목은 KV 캐시입니다
요즘 AI는 예전처럼 짧은 질문 하나에 답하는 수준이 아닙니다.
문서 수백 페이지를 읽고, 유튜브 내용을 참고하고, 검색 결과를 종합하고, 이전 대화까지 기억해야 합니다.
이때 AI가 처리하는 입력 단위를 토큰이라고 부릅니다.
과거에는 수천 토큰만 처리해도 충분했지만, 이제는 수십만 토큰, 많게는 100만 토큰 이상의 긴 컨텍스트가 중요해지고 있습니다.
문제는 토큰 수가 늘어나면 GPU가 계산해야 할 양만 늘어나는 게 아니라는 점입니다.
AI가 중간에 저장해야 하는 KV 캐시도 폭발적으로 증가합니다.
KV 캐시는 쉽게 말해 AI가 긴 문맥을 이해하고 기억하기 위해 임시로 저장하는 내부 메모리입니다.
지금까지는 이 KV 캐시를 주로 HBM에 저장했습니다.
하지만 컨텍스트 길이가 1,000배 늘어나면, 메모리 용량과 속도도 그에 맞춰 크게 증가해야 합니다.
HBM은 빠르지만 용량에는 한계가 있습니다.
GPU 옆에 HBM을 8개, 16개 붙여도 장기적으로는 부족할 수밖에 없습니다.
그래서 등장한 개념이 HBF입니다.
3. HBF란 무엇인가: HBM보다 훨씬 큰 용량을 노리는 고대역폭 플래시
HBM은 DRAM을 수직으로 쌓아 높은 대역폭을 구현한 메모리입니다.
반면 HBF는 NAND 플래시를 기반으로 더 큰 용량을 확보하려는 접근입니다.
DRAM보다 NAND 플래시는 일반적으로 용량 측면에서 훨씬 유리합니다.
김정호 교수의 설명처럼, DRAM을 쌓은 것이 HBM이라면, NAND 플래시를 고대역폭 구조로 쌓자는 것이 HBF의 핵심입니다.
AI 추론에서 KV 캐시와 장기 기억 저장 수요가 급증하면서 HBF의 필요성이 커지고 있습니다.
특히 SK하이닉스는 샌디스크, 구글과 함께 HBF 표준화와 생태계 구축을 추진하는 흐름입니다.
여기서 중요한 포인트는 HBF가 HBM을 당장 완전히 대체하는 기술은 아니라는 점입니다.
HBM은 초고속 연산에 필요한 근거리 메모리 역할을 계속 맡을 가능성이 큽니다.
HBF는 HBM만으로 감당하기 어려운 대용량 KV 캐시, 장기 메모리, AI 추론 데이터 저장 영역을 보완하는 방향으로 자리 잡을 가능성이 높습니다.
결국 AI 데이터센터 구조는 GPU와 HBM만으로 구성되는 단순한 형태에서, HBM과 HBF, SSD, 광통신, 전력 인프라가 결합된 복합 구조로 바뀌고 있습니다.
4. 삼성전자의 zHBM 또는 GHBM: GPU 위에 메모리를 쌓는다는 발상
삼성전자가 FMS 2026에서 강조한 기술은 zHBM 또는 GHBM으로 설명됩니다.
표현은 다소 혼용되지만, 핵심은 GPU와 HBM을 수직 방향으로 더 가깝게 붙이는 구조입니다.
기존 HBM 구조에서는 GPU 옆에 HBM이 붙어 있습니다.
데이터가 HBM에서 GPU로 이동하려면 수직으로 내려온 뒤, 다시 옆으로 이동해야 합니다.
김정호 교수는 이를 “엘리베이터를 타고 1층으로 내려와 옆 건물로 이동하는 구조”에 비유했습니다.
이 방식은 이미 1024차선, 2048차선 수준의 초고속 도로를 만든 것과 비슷합니다.
하지만 도로 차선을 무한정 넓힐 수는 없습니다.
그래서 나온 아이디어가 GPU 위에 HBM을 직접 쌓는 구조입니다.
이렇게 하면 데이터가 옆으로 이동하지 않고 수직 방향으로 바로 이동할 수 있습니다.
메모리 대역폭을 크게 높일 수 있는 장점이 있습니다.
하지만 여기에는 치명적인 문제가 있습니다.
GPU는 매우 뜨겁습니다.
GPU 위에 HBM을 올리면 열 때문에 메모리가 안정적으로 동작하기 어려울 수 있습니다.
김정호 교수는 이 구조가 범용 고성능 GPU보다는 상대적으로 발열이 낮은 NPU, LPU 같은 특정 목적형 AI 가속기에 더 적합할 수 있다고 봤습니다.
5. 김정호 교수가 공개한 tHBM: 삼성 zHBM을 뒤집은 구조
이번 인터뷰에서 가장 흥미로운 부분은 tHBM입니다.
김정호 교수는 연구실에서 tHBM을 연구 중이라고 처음 공개했습니다.
tHBM의 핵심은 단순하지만 강력합니다.
GPU 위에 HBM을 쌓는 대신, HBM 위에 GPU를 올리자는 것입니다.
즉, 구조를 뒤집는 방식입니다.
왜 이런 발상이 중요할까요?
데이터센터 냉각 구조를 생각하면 답이 나옵니다.
뜨거운 칩은 냉각 장치와 직접 맞닿는 쪽에 있어야 유리합니다.
GPU가 맨 위에 있으면 냉각팬, 수랭, 액침 냉각 등 열 관리 솔루션을 적용하기가 상대적으로 쉽습니다.
반대로 뜨거운 GPU가 아래에 있고 그 위에 메모리가 있으면, 열이 메모리 쪽으로 전달될 위험이 큽니다.
tHBM은 발열의 중심인 GPU를 위로 올려 냉각 효율을 높이려는 구조입니다.
이 아이디어는 단순한 패키징 기술이 아니라 AI 반도체의 열 설계 방향을 바꿀 수 있는 접근입니다.
앞으로 반도체 패키징, 첨단 냉각, 데이터센터 전력 효율 경쟁에서 중요한 힌트가 될 수 있습니다.
6. 엔비디아는 왜 HBF에 복잡한 표정을 지을까
HBF가 기술적으로 필요해진다고 해서 엔비디아가 곧바로 받아들일지는 별개의 문제입니다.
엔비디아 입장에서는 이미 HBM에서 SK하이닉스와 삼성전자 의존도가 높습니다.
여기에 HBF까지 한국 메모리 기업과 샌디스크 생태계가 주도하게 되면, 엔비디아의 전략적 부담은 더 커질 수 있습니다.
그래서 엔비디아는 HBF를 그대로 채택하기보다는 다른 대안을 고민할 가능성이 있습니다.
대표적으로 거론되는 방향이 외부 대용량 스토리지와 GPU를 광통신으로 연결하는 방식입니다.
쉽게 말하면 HBM처럼 GPU 바로 옆에 초고층 아파트를 짓는 대신, 외부에 대형 창고를 두고 초고속 광통신 도로로 연결하는 접근입니다.
이 구조는 메모리 기업 의존도를 낮출 수 있다는 장점이 있습니다.
하지만 데이터가 멀리 이동해야 하므로 지연시간과 대역폭에서 한계가 생길 수 있습니다.
김정호 교수는 GPU 성능을 제대로 살리려면 메모리를 최대한 GPU 가까이에 붙여야 한다고 봅니다.
이 관점에서 보면 엔비디아의 광통신 전략은 메모리 의존도를 줄이기 위한 우회로에 가깝습니다.
다만 AI 데이터센터가 랙 단위, 클러스터 단위로 커질수록 광통신과 외부 확장형 메모리 구조도 함께 발전할 가능성이 큽니다.
7. cHBM의 의미: 메모리가 더 이상 범용 상품이 아니게 됩니다
김정호 교수가 언급한 또 하나의 중요한 개념은 cHBM입니다.
cHBM은 Custom HBM, 즉 고객 맞춤형 HBM을 뜻합니다.
기존 메모리 반도체는 표준 제품에 가까웠습니다.
누구나 같은 규격의 메모리를 만들고, 고객은 그중 가격이 싼 제품을 선택하는 구조였습니다.
이런 시장에서는 가격이 오르고 내리는 반도체 사이클이 반복됩니다.
하지만 HBM의 베이스 다이에 연산 기능, CPU 기능, 데이터 이동 제어 기능이 들어가면 이야기가 달라집니다.
메모리가 단순 부품이 아니라 GPU와 함께 설계되는 시스템 반도체 성격을 갖게 됩니다.
이 경우 고객사와 초기 설계 단계부터 생산량, 가격, 성능, 패키징 구조를 맞춰야 합니다.
그러면 범용 메모리처럼 가격이 급락하는 구조에서 벗어날 수 있습니다.
이 점이 투자 관점에서 매우 중요합니다.
HBM과 cHBM이 확산되면 메모리 기업의 실적은 기존 DRAM 가격 사이클보다 AI 인프라 투자와 장기 공급계약에 더 크게 연동될 수 있습니다.
즉, 메모리 반도체 기업의 밸류에이션을 볼 때 과거 방식만으로 판단하면 놓치는 부분이 생길 수 있습니다.
8. GPU에서 메모리 중심 컴퓨팅으로: AI 반도체의 권력 이동
김정호 교수는 GPU 발전이 거의 멈췄다고 표현했습니다.
물론 GPU 성능 개선이 완전히 중단됐다는 의미는 아닙니다.
정확히는 GPU 연산 성능만 높이는 방식으로는 AI 인프라 병목을 해결하기 어려워졌다는 뜻입니다.
AI 모델은 대부분 트랜스포머 구조를 기반으로 하고 있습니다.
모델 자체의 차별화는 점점 줄어들고 있습니다.
오픈소스 모델이 빠르게 발전하면서 미국, 중국, 한국의 모델 격차도 예전보다 좁아지고 있습니다.
이제 부가가치는 모델 자체보다 추론 인프라, 메모리, 전력, 데이터센터 운영 효율에서 더 많이 발생합니다.
AI 서비스를 운영하는 기업은 매출이 늘어도 인프라 비용이 너무 크면 수익을 내기 어렵습니다.
원문에서는 AI 기업이 100만 원을 벌어도 70만 원이 인프라 비용으로 들어갈 수 있다고 설명합니다.
그 비용의 핵심은 메모리와 전력입니다.
그래서 미래의 AI 데이터센터는 단순한 서버 농장이 아니라 메모리 팩토리에 가까워집니다.
젠슨 황이 말하는 AI 팩토리의 내부를 열어보면, 결국 고성능 메모리와 전력 시스템이 핵심이라는 뜻입니다.
9. 경제 관점에서 보는 핵심 변화: AI 인프라는 자본 싸움이 됐습니다
AI 반도체 경쟁은 이제 기술 경쟁이면서 동시에 자본 경쟁입니다.
최첨단 GPU, HBM, HBF, 첨단 패키징, 액체 냉각, 전력망, 데이터센터 부지까지 모두 막대한 투자가 필요합니다.
이 싸움을 국가 단위로 버틸 수 있는 곳은 현실적으로 미국과 중국이 중심입니다.
미국은 빅테크와 자본시장, 클라우드 인프라를 가지고 있습니다.
중국은 국가 주도 투자와 거대한 내수 시장을 가지고 있습니다.
한국은 자본 규모만 보면 미국과 중국을 정면으로 따라가기 어렵습니다.
하지만 한국에는 결정적인 초크포인트가 있습니다.
바로 HBM과 고성능 메모리 반도체 생산 능력입니다.
AI 데이터센터가 메모리 팩토리로 바뀔수록, 한국의 SK하이닉스와 삼성전자는 글로벌 공급망에서 더 중요한 위치를 차지할 수 있습니다.
특히 글로벌 경제전망이 불확실하고 금리 전망, 환율, 주식시장 변동성이 큰 상황에서도 AI 인프라 투자는 장기 성장 축으로 남을 가능성이 큽니다.
다만 반도체 사이클이 완전히 사라지는 것은 아닙니다.
범용 DRAM과 NAND는 여전히 가격 변동을 겪을 수 있습니다.
하지만 HBM, HBF, cHBM처럼 고객 맞춤형 고부가 제품 비중이 커질수록 메모리 기업의 실적 구조는 과거보다 안정적으로 바뀔 수 있습니다.
10. 한국이 잡아야 할 전략: 메모리만 팔면 부족하고 풀스택을 일부라도 가져야 합니다
김정호 교수는 한국이 메모리에서 대체 불가능한 위치를 만들어야 한다고 봅니다.
전 세계 어떤 국가도 AI를 하려면 한국 메모리 기업과 협력할 수밖에 없는 구조를 만들어야 한다는 뜻입니다.
하지만 여기서 멈추면 아쉽습니다.
한국은 메모리뿐 아니라 전력 인프라, AI 모델, 서비스 수익모델까지 일부 풀스택을 가져가야 합니다.
삼성은 스마트폰과 TV를 가지고 있습니다.
현대차는 자동차 플랫폼을 가지고 있습니다.
LG는 가전과 디스플레이 생태계를 가지고 있습니다.
이 기기들에 들어가는 AI 서비스까지 해외 플랫폼에만 의존하면, 한국은 결국 하드웨어 공급자에 머무를 수 있습니다.
반대로 한국 기업이 디바이스 기반 AI 서비스, 온디바이스 AI, 차량용 AI, 가전 AI, 산업용 AI 솔루션까지 연결하면 이야기가 달라집니다.
메모리에서 시작해 AI 인프라와 서비스로 확장하는 구조를 만들 수 있습니다.
이것이 한국이 미국, 중국에 이어 AI 3대 강국을 노려볼 수 있는 현실적인 경로입니다.
11. 다른 뉴스에서 잘 말하지 않는 진짜 핵심
첫째, HBF는 단순히 HBM 다음 제품이 아니라 NAND 산업의 재평가 포인트입니다.
지금까지 AI 수혜는 HBM 중심으로 해석됐습니다.
하지만 HBF가 본격화되면 NAND 플래시도 AI 추론 인프라의 핵심 부품으로 재평가될 수 있습니다.
이는 샌디스크, 키옥시아, 삼성전자 NAND 사업, SK하이닉스의 솔리다임 전략까지 연결되는 이슈입니다.
둘째, zHBM과 tHBM의 승부는 속도보다 열 관리에서 갈릴 수 있습니다.
메모리를 GPU 위에 올리면 데이터 이동 거리는 짧아집니다.
하지만 열을 잡지 못하면 상용화가 어렵습니다.
앞으로 AI 반도체 경쟁은 단순 나노 공정이 아니라 패키징, 냉각, 전력 효율, 소재 기술이 함께 결정할 가능성이 큽니다.
셋째, cHBM은 메모리 산업의 비즈니스 모델을 바꿀 수 있습니다.
고객 맞춤형 HBM이 확대되면 메모리는 더 이상 싸게 많이 파는 상품이 아닙니다.
GPU, AI 가속기, 클라우드 데이터센터와 함께 설계되는 전략 부품이 됩니다.
이 변화는 삼성전자와 SK하이닉스의 장기 수익성에 매우 중요한 변수입니다.
넷째, 엔비디아의 광통신 전략은 기술 전략이면서 협상 전략입니다.
엔비디아가 광통신과 외부 메모리 구조를 강조하는 이유는 성능 때문만은 아닙니다.
한국 메모리 기업에 대한 의존도를 낮추려는 전략적 목적도 있습니다.
따라서 HBF 표준화 경쟁은 기술 표준 경쟁인 동시에 공급망 주도권 경쟁입니다.
다섯째, AI 투자 사이클의 다음 병목은 전력입니다.
메모리가 늘어나면 전력도 같이 늘어납니다.
AI 데이터센터는 고성능 반도체만 있다고 돌아가지 않습니다.
전력망, 냉각수, 변압기, 에너지 저장장치, 데이터센터 부지 확보까지 모두 필요합니다.
그래서 AI 인프라 투자는 반도체 기업뿐 아니라 전력기기, 냉각, 에너지 인프라 기업까지 연결됩니다.
12. 투자자와 기업이 봐야 할 체크포인트
1) HBM 수요가 HBF 수요로 확장되는지 확인해야 합니다.
AI 추론 시장이 커질수록 HBF의 필요성은 더 커질 수 있습니다.
특히 장문 컨텍스트, AI 에이전트, 기업용 검색형 AI가 확산될수록 대용량 메모리 수요가 늘어납니다.
2) SK하이닉스, 샌디스크, 구글의 HBF 표준화 속도가 중요합니다.
표준을 먼저 잡는 기업은 생태계 주도권을 가져갈 수 있습니다.
반대로 고객 채택이 늦어지면 기술은 있어도 시장 개화가 지연될 수 있습니다.
3) 삼성전자의 zHBM, GHBM 전략은 열 관리 기술과 함께 봐야 합니다.
수직 적층 구조는 매력적이지만 발열 문제가 핵심입니다.
삼성이 첨단 패키징과 냉각 솔루션을 어떻게 결합하는지가 관전 포인트입니다.
4) 엔비디아의 선택이 시장 방향을 크게 흔들 수 있습니다.
엔비디아가 HBF를 채택하면 시장 개화 속도는 빨라집니다.
반대로 광통신 기반 외부 메모리 구조를 밀면 HBF 생태계는 구글, AMD, 자체 AI 가속기 기업 중심으로 성장할 수 있습니다.
5) AI 반도체 밸류체인은 GPU에서 메모리, 패키징, 전력으로 넓어지고 있습니다.
이제 AI 수혜주를 볼 때 GPU 하나만 보면 부족합니다.
HBM, NAND, HBF, 인터포저, 기판, 냉각, 전력기기, 데이터센터 운영 효율까지 함께 봐야 합니다.
< Summary >
AI 반도체 경쟁의 중심이 GPU에서 메모리로 이동하고 있습니다.
HBM은 빠르지만 AI 추론 시대의 긴 컨텍스트와 KV 캐시를 감당하기에는 용량 한계가 있습니다.
그래서 SK하이닉스, 샌디스크, 구글이 HBF를 새로운 대용량 고대역폭 메모리로 추진하고 있습니다.
삼성전자는 GPU와 메모리를 수직으로 쌓는 zHBM, GHBM 구조를 제시했지만, 발열 문제가 핵심 변수입니다.
김정호 교수의 tHBM은 이 구조를 뒤집어 HBM 위에 GPU를 올리고 냉각 효율을 높이려는 접근입니다.
cHBM은 메모리를 범용 상품이 아니라 고객 맞춤형 시스템 반도체로 바꾸는 중요한 흐름입니다.
앞으로 AI 데이터센터는 GPU 팩토리가 아니라 메모리와 전력이 중심이 되는 메모리 팩토리에 가까워질 가능성이 큽니다.
한국은 HBM과 HBF를 기반으로 글로벌 AI 인프라 공급망의 초크포인트를 잡고, 디바이스 기반 AI 서비스까지 확장해야 합니다.
