HBM, 삼성의 심장을 겨누는 잃어버린 10년

■ 못해서 안한게 아닙니다

HBM은 메모리다. 그러나 삼성이 잘하는 메모리는 아니다. SK하이닉스가 잘한다. 2024년 현재 HBM은 SK하이닉스가 만들어서 TSMC의 타이완 공장으로 간 뒤 NVIDIA 상표를 달고 나온다. 그 GPU의 핵심 부품이 되는 특별한 메모리의 고유명사에 가깝다.

삼성은 여전히 NVIDIA의 테스트를 통과하지 못하고 있는 상황으로 알려져 있다. 여기에 대해 삼성 내부에 물어보면, 서로 다른 사람에게 물어보아도 대답은 한결같다. '못해서 안 한 게 아닙니다.'

조금 자세히 풀어 이야기하면 이렇다.

'HBM이 기술적으로 어려운 것은 전혀 아닙니다. 신기술도 아닙니다. 10년 전부터 연구하던 기술입니다. 다만 삼성이 하지 않은 이유는 우선, '누가 살 것이냐'의 문제 때문입니다. 특수 기능 메모리이기 때문에 만들었는데 사간다는 사람이 없으면 그대로 재고가 쌓입니다. 최근, AI 산업이 주목을 받은 2~3년이 되고서야 수요가 생겼지, 그 전엔 아니었습니다. 동시에 기회비용의 문제도 있습니다. HBM은 만드는 공정이 (어려운 건 아니고) 복잡한 편입니다. 그걸 만들려면 메모리 라인을 하나 세우고 그것만 만들어야 하죠. 그 비용을 생각하면 무턱대고 만든다고 할 수는 없습니다. 이제 수요가 확인되었으니 만들면 됩니다. 삼성이 만들기 시작하면 훨씬 더 잘할 겁니다. HBM 말고 다른 방식으로도 수많은 특수 메모리가 있습니다. 삼성은 그 모든 길목을 잘 알고 연구했고 개발할 역량도 있습니다.'

혹시 '그런 면이 있구나' 여겨진다면, 지금부터 더 주의를 기울여 읽어볼 필요가 있다. 삼성의 이러한 반응은 기업 흥망성쇠의 역사 속에서 잘 나가던 기업이 어떻게 쇠퇴하는지를 보여주는 전형적인 사례이기 때문이다.

■ HBM은 메모리 진화의 한 방법론

IBM이 컴퓨터를 대중화한 그 순간부터 컴퓨터는 크게 두 가지 구분된 기능을 중심으로 발전했다. 필요한 계산을 하는 두뇌와 그 두뇌에 계산할꺼리를 가져다주는 손과 발. 두뇌는 CPU이고 손과 발은 D램이라고 불리는 메모리다. 컴퓨터가 어떤 형태로 변화하든, 서버가 되든, 스마트폰이 되든, 이 공식에는 변화가 없었다. 그래서 '두뇌'에서 혁신이 일어나면 '손발'인 메모리도 함께 성장했다. 삼성 성장의 근원에는 이런 메모리 수요 급증이 있다.

그런데 AI 시대가 오면서 우선 '두뇌'에 대한 정의에 지각균열이 오기 시작했다. GPU의 중요성이 급격히 부각됐다. 오픈 AI가 주도하는 챗GPT 라는 종류의 거대언어모델(LLM) AI의 특징은 엄청난 동시 병렬 연산이기 때문이다.

'복잡하지는 않지만, 수적으로 어마어마하게 많은 양'의 동시 계산을 해야 한다. 전통적 CPU는 반대로 복잡한 계산을 잘하지만 동시 수행에는 한계가 있다. 4코어는 4개 작업, 8코어는 8개 작업을 동시에 할 뿐이다. NVIDIA의 GPU는 바로 이 점에서 근본적으로 다른 종류의 두뇌다.

아래 그림의 묘사처럼 CPU가 훌륭한 대학 교수님 한두 분이라면 GPU는 산수를 잘하는 초등학생 수십(혹은 수백) 명이다. GPU의 톱니바퀴(칩) 하나의 크기는 아주 작고, 연산 능력 또한 볼품없다. 중요한 건 그 모든 계산을 한꺼번에 한다는 점이다. 그래서 그래픽을 빨리 구현해야 하는, 거대한 정보를 처리하는 단순 반복작업을 수없이 많이 해야 하는 '지금 각광 받는 AI' 모델에 특화된 칩이다.

<시사기획 창> 삼성, 잃어버린 10년 중에서, https://youtu.be/W-rzA6GXkwk?si=w0TsV-1K82hxv-hK

GPU 자체는 이렇게 특화됐다. 두뇌가 이렇게 변했다. 문제는 손발이다. 두뇌에 계산할꺼리를 가져다주는 손발은 CPU 시대에 갇혀있다. 똑똑한 교수님께 '순차적으로' 정보를 제공하던 메모리 시대에 머물러 있다. 그러니 단순 계산을 수없이 반복해서 엄청나게 많은 정보를 '동시에' 제공해야 하는 GPU에게는 너무도 못마땅하다.

그래서 칩 설계 전문가들은 이구동성으로 "AI시대 최대 병목은 메모리"라고 입을 모은다. 두뇌를 따라갈 만큼 빠르고 신속하게 대량의 정보를 동시에 나를 수 있는 메모리가 필요하다는 것이다. 엔비디아가 채택한 그 방법론이 바로 HBM이다. 메모리를 우선 여러 단으로 수직으로 포개어 쌓은 뒤 그사이를 통하는 구멍을 낸다. 그 구멍을 통해 정보 처리를 동시에 많이 한다. 그리고 이 메모리를 GPU 근처에 가장 가까운 곳에 배열한다. 그리하여 메모리로 인해 생기는 병목을 해소한다.

이 길은 엔비디아의 길이다. 그래서 이후 모두가 이 길을 간다고 말할 수는 없다.

다만, 본질은 새로운 시대에 맞춰 전통적 컴퓨팅 시스템 자체가 변화한단 사실이다. 그에 맞춰 메모리가 진화하고 있다. 그 길목에서 메모리를 석권한 삼성이 지금 무엇을 하고 있는지 물어야 한다.

■ 수익성 생각을 했다

수익성을 생각하면 어떤 일이 일어나는지를 가장 잘 보여주는 사례가 인텔이다. 인텔은 CPU 시대의 핵심 회사였고, 과거의 제왕이지만 지금은 볼품없어졌다. 삼성보다 시가 총액이 적다.

왜 그렇게 이른바 '엣지Edge' 없는 회사가 되었는지 의견은 분분하지만, 모두가 동의하는 이유가 하나 있다. '모바일 시대'로 전환하는 길목에서 완전히 길을 잃어버렸다.

크리스 밀러의 <칩워>에는 이렇게 묘사되어 있다.

"모바일 기기가 등장했다. (그러나) 인텔은 작은 시장에 신경조차 쓰지 않고 있었다. 인텔은 컴퓨터 프로세서 시장을 과점하면서 엄청난 이윤을 누리고 있던 터라 틈새 시장 따위는 거들떠보지 않아도 된다고 생각했다. 인텔이 스스로 패착을 깨달았을 때는 이미 너무 늦었다. 그저 또 다른 휴대용 컴퓨팅 기기일 뿐이고 틈새시장에 불과하다고 보았던 모바일 폰 시장을 빼앗기고 만 것이다. ...(중략)... (반면) 애플의 잡스는 암의 아키텍처에 주목했다. 모바일에 최적화되어 있었고 전력을 효율적으로 소비했다. 아이폰은 틈새 상품이 아닌 핵심 시장을 장악하는 상품이 되었다. 오텔리니(인텔 CEO)는, 인텔은 스마트폰 산업에서 지분을 가져가기 위해 발버둥을 쳤다. 하지만 수십억 달러를 투입하고도 그에 걸맞은 성과를 낼 수 없었다. 인텔이 사태를 파악하기 전, 애플은 깊숙한 해자를 파고 거대한 이윤의 성채를 쌓아 버린 것이다. 인텔은 오늘날 판매되는 칩 중 3분의 1을 차지하는 모바일 기기 분야에 발을 들일 방법을 찾지 못했고, 그 상황은 지금껏 계속되고 있다. "인텔에는 기술이 있고 사람도 있었습니다. 하지만 이윤율이 떨어질 짓을 하고 싶어 하지 않았죠."

■ 삼성에는 기술이 있고 사람도 있었습니다. 하지만 이윤율이 떨어질 짓을 하고 싶어 하지 않았죠

인텔에서 삼성으로 주어를 바꾸어도 이야기는 똑같다. 삼성은 '본진'이고 반드시 사수해야 할 D램에서 수익성을 생각했다. 기술적 혁신, 기술의 미래를 꿈꾸고 과감하게 투자하기보다는 '당장 지금 이익이 얼마 떨어지지 않을까?' 걱정했다.

HBM에서 뒤쳐진 삼성에는 인텔의 그림자가 짙게 드리워져 있다. HBM이 아직 절대규모에서는 일반적인 상품인 메모리만 못한 것은 사실이나, 기술 변화의 길목에서 일어난 가장 중요한 '변종' 인 것도 사실이다.

지금 새롭게 탄생하는 두뇌(GPU와 기타 AI 반도체)는 새로운 손발(메모리)을 필요로 한다. 아예 스스로 계산할 수 있는 메모리 (PIM)을 원할지도 모른다. 중요한 것은 손발이 점점 더 두뇌에 가까워지고, 같은 칩 위에서 작동하고, 아예 두뇌와 상호작용하면서 마치 한 몸처럼 붙어가고 있다는 점이다.

설계 방식을 달리하는 기업마다 서로 다른 방식을 시도하기 때문에 무엇이 최종 승리자가 될지는 알 수 없다. 무수히 많은 경우의 수가 발생할 것이다. 어쩌면 메모리 비즈니스 자체가 팹리스가 설계하고 위탁생산하는 파운드리 모델로 전이하게 될지도 모른다. 그렇게 된다면 거대한 변화다.

사실 삼성은 과거 거대한 변화의 시기마다 그 변화를 주도하면서 시장 장악력을 높여왔다. 플래시 메모리로의 변화도, 모바일로의 변화도, 또 대형 디스플레이로의 변화도 '남들이 아니다'고 할 때 오히려 '이게 맞다' 면서 드라이브를 걸었고 승리했다.

그런 삼성이 '확실치 않아서' 하지 않았다고 하고 있다. '수익성' 걱정 때문에 쉽게 할 수 있는 결정이 아니라고도 한다. 못해서 안한게 아니니 지금부터 하면 금방 따라간다고 말한다. 인텔처럼.

■ 사실은 파운드리에서 뒤쳐진 것도 같은 이유다

지금 삼성의 조직구조에서 모든 인센티브는 메모리, 중에서도 D램, 중에서도 전공정 중심으로 돌아간다. 가장 많은 이익이 나니 가장 많은 인재가 몰려있고, 인센티브도 가장 많이 지급한다.

문제는 혁신이 더뎌지고 있단 점이다. HBM처럼 후공정이 중요하고 불확실성이 큰 사업에 집중할 유인이 부족하다. 파운드리 역시 '투자는 많이 하지만 성과가 나지 않아 성과급이 적은 부문'일 뿐이다. LSI(시스템설계부문:엑시노스를 설계한다)가 대접받지 못한다는 건 어제오늘 일도 아니다. 조직 구조 자체가 혁신을 멀리한다.

TSMC가 주도하는 파운드리 모델이 등장하고 성장할 때 파운드리를 대하는 태도와 HBM을 대하던 태도는 본질에서 같다. 그 때도 삼성이 파운드리의 가치를 몰라봤던 건 아니다. 수익성이 문제였을 뿐이다.

'똑같은 웨이퍼 한 장으로 메모리 칩을 만들면 그게 얼마에 팔리는 줄 아니냐, 그걸로 파운드리 칩을 하면 웨이퍼 장당 매출이 얼마로 뚝 떨어지는 줄 아느냐, 그러니 삼성이 구태여 파운드리를 힘써 할 필요가 있느냐'

■ 파괴적 혁신에 미래가 있다

기업에는 흥망성쇠가 있다. 어느 기업이나 혁신하고 성장하고 발전하다가 정점에 이르고 사그라지다가 사라진다. 100년 가는 기업은 거의 없다. 특히 새로운 산업 지형, 파괴적 혁신에 따른 새로운 비즈니스 모델이 등장했을 때, 이를 선도하거나 여기에 적응하지 못한 기업에 미래는 없다.

문제는 대한민국에 삼성전자는 그냥 기업 하나가 아니라는 점에 있다. 우리 GDP의 10% 이상(2023년 기준 11%)을 담당한다. 수출 중심 경제의 근간인 반도체를 담당한다. 십만 단위의 직접 고용을 창출하고, 간접 고용은 그 몇 배에 달한다. 그냥 성장하다가 정점에 이르고 사그라져도 되는 기업이 아니다.

그런 삼성이 중대한 갈림길에 서 있다. 2013년 시작된 잃어버린 10년을 보냈다. 신성장 동력도, 그동안 잘하던 부문도 지켜내지 못했다. 그리고 지금, 파괴적 혁신의 바람이 삼성전자의 심장, D램 메모리 사업 앞에까지 불어닥치고 있다. HBM은 그 한 상징이다.

☞시사기획창
"삼성, 잃어버린 10년"
유튜브 다시보기
https://youtu.be/W-rzA6GXkwk?si=w0TsV-1K82hxv-hK