[9층시사국] AI반도체, 골드 러시

[9층시사국 27회 II] AI반도체, 골드 러시

PC의 시대는 빌 게이츠를 세계 최고의 부자로 만들었습니다. 스마트폰 시대, 제일 큰 과실은 애플에게 돌아갔습니다.

인공지능의 시대엔 누굴까요?

KBS뉴스(5월31일)
”세계적인 인공지능 개발 열풍 속에 미 엔비디아가 뉴욕 증시에서 시가총액 1조 달러를 돌파했습니다.“

바로 이 사람, 젠슨 황입니다.

젠슨 황/엔비디아 CEO

젠슨 황/엔비디아 CEO
”이게 세계에서 가장 비싼 컴퓨터입니다. 그런데요, 더 많이 살수록 이득입니다. (하하하)“

엔비디아의 시가총액 1조 달러는 삼성전자 시가총액의 3배를 훌쩍 넘어섰습니다. 우리 스타트업들에게도 이런 대박의 길이 열릴 수 있을까요?

박성현/리벨리온 대표
”2년 후, 3년 후면 가슴 뛰는 경쟁도 곧 온다, 이렇게 생각하고 있습니다.“

서울대학교 공학관, 대한민국의 두뇌들이 인공지능을 연구하고 있습니다. 자리에 앉으면 제일 먼저, 인공지능을 돌릴 반도체의 용량이 충분한지부터 확인합니다.

이혁재/서울대 전기정보공학부 교수
“첫 번째 거는 누가 쓰고 있고 두 번째 거는 비어있는 거예요. 두 번째 거 이제 할 수 있는 거죠.
(아, 그러니까 첫 번째 거는 지금 98%가 사용 중이라는 얘기군요.)
네.”

이 대학원의 다른 연구실엔 기다리는 연구원들이 훨씬 많습니다.

전지예/서울대 전기정보공학부 대학원생
“그래서 share 1(공용서버)을 기준으로 하면 총 18대가 있고 16대가 지금 사용되고 있고요. 그래서 기다리는 사람이 지금 하나, 둘, 셋, 넷, 다섯, 여섯, 일곱 개가 지금 기다리고 있는 상황입니다. ”

어떻게 생긴 반도체길래 이렇게 귀하신 몸이 됐을까? 돈이 있다고 해서 살 수 있는 반도체가 아니었습니다.

김종겸/서울대 전기정보공학부 직원
“최근 코로나 기간이랑 그 겹쳐서 반도체 수급 이슈가 있었는데요. 그때는 최소 서버를 구매하려고 해도 6개월 정도, 주문을, 발주를 하고 저희가 받기까지 6개월 정도 소요가 됐고요.”

‘엔비디아 A100’, 원래는 그래픽을 처리하는 그래픽처리장치, GPU로 개발된 반도체입니다.

CPU와 GPU 차이

이혁재/서울대 교수
“하나의 코어의 기능은, 성능은 CPU(중앙처리장치)보다는 떨어집니다. 성능이 떨어지지만 많은 수백 개, 수천 개의 프로세스가 동시에 돌아갈 수 있는 그런 기능을 하고 있는 게 GPU(그래픽처리장치)고 그런 병렬 처리 기능이 인간의 두뇌를 모방하는데 훨씬 더 유리한 면이 있거든요.”

이 반도체가 없었더라면, 인공지능 자체가 불가능했을 거라고 합니다.

이혁재/서울대 교수
“80년대에 이론이 정립된 그런 알고리즘입니다. 그런데 그 당시에 계산이 너무 복잡해서 그 당시 컴퓨터로는 이걸 도저히 할 수가 없었거든요. 그래서 /인공지능이 90년대 들어와서 좀 암흑기가 됐거든요. 연구를 많이 안 하게 됐는데 /엔비디아라는 회사의 GPU(그래픽처리장치)라는 게 그 이후로 나와서 /실제로 구현할 수 있게 된 게 2000년대 들어와서 구현할 수 있게 된 거거든요.”

광주에 있는 인공지능대학원. 4년 전 설립된 후 가장 주력했던 건, 인공지능 반도체를 확보하는 일이었습니다.

김종원/광주과학기술원 인공지능대학원장
“GPU 없는 상태에서 인공지능을 원하는 사이즈로 할 수가 없습니다. 불가능해요. 저희가 공부를 하는데 인공지능이 공부를 많이 해야 되거든요. 많이 하려면 그만큼 자원이 필요하다 이렇게 생각하시면 돼요.”

지난 4월부터 운영을 시작한 슈퍼 컴퓨팅 센터. 서버실로 들어서자, 좌우로 인공지능 반도체들이 줄지어 늘어서 있습니다. 역시 모두 엔비디아 제품들입니다.

A100 반도체 320장, 구축 비용만 200억 원에 육박합니다. 반도체 하나에 수천만 원, 말 그대로 금값입니다.

남현종/9층시사국 MC 반도체 하나에 수천만 원이라니 놀라운데요. 그런데 요즘 인공지능하면, 챗GPT잖아요. 거기에는 인공지능 반도체가 몇 장이나 들어가나요? 이승종/9층시사국 기자 현재 인공지능 연구에 가장 많이 사용되는 반도체는, 엔비디아 A100 반도체인데요. 시세가 한 장에 2천만 원이 넘습니다. 그런데, 챗GPT를 만드는 데는 A100 반도체가 1만 장 사용된 것으로 알려졌습니다. 현재 시세로, 반도체 가격만 2천억 원이 넘는 거죠. 남현종/9층시사국 MC 엔비디아 반도체가 없으면, 관련 연구가 불가능한 수준이라고 했는데 어떻게 그렇게 될 수 있었던 건가요, 뭔가 비장의 무기가 있을 것 같아요. 이승종/9층시사국 기자 네 인공지능 반도체 시장에서 엔비디아의 점유율은, 90%가 넘는 수준입니다. 사실상 독점인데요. 엔비디아를 시가총액 1조 달러로 만든 원동력, 바로 소프트웨어가 꼽힙니다. ‘쿠다’라고 하는 소프트웨어인데요. 취재현장에서 만난 연구현장에서는 이 쿠다가 없으면 인공지능 연구가 불가능하다는 얘기들이 많았습니다.

‘쿠다’라는 소프트웨어.

인공지능 연구자가 입력한 명령어를, 반도체가 알아듣는 기계 언어로 바꿔주는, 일종의 번역기입니다. 현재 인공지능 연구에선 필수적인데, 엔비디아 반도체에서만 돌아갑니다.

박태형/서울대 전기정보공학부 대학원생
“그런 소프트웨어 스택(환경)을 굉장히 잘 만들어놔서 우리가 사실 유저가 사용할 때는 하드웨어에 대한 지식을, 지식 없이도 코딩할 수 있는 게 굉장한 편익이거든요.”

전지예/서울대 전기정보공학부 대학원생
“(그럼 만약에 이제 ‘쿠다’가 없다. 그러면 선생님의 연구에는 어느 정도 영향이 있는 건가요?)
아마 실험이 잘 안 될 것 같습니다.”

세계적인 베스트셀러 ‘칩워’를 쓴 크리스 밀러 교수도, 쿠다 소프트웨어가 없었으면 현재 엔비디아의 성공도 없었을 거라고 말합니다.

크리스 밀러 / 미 터프츠대 교수(칩워 저자)
“엔비디아가 1조 달러 규모의 반도체 회사로 성장할 수 있었던 건, GPU라는 고유한 유형의 칩과 방대한 소프트웨어 도구 세트를 결합해, AI 어플리케이션을 개발하려는 사람에게 최고의 선택이 될 수 있도록 했기 때문입니다. ”

엔비디아 GPU와 소프트웨어 쿠다를 만든 젠슨 황. 타이완에서 태어나 어려서 미국으로 이민을 갔습니다. 국립타이완대학에서 졸업연설 연사로 초청됐습니다.

젠슨 황/ 엔비디아 CEO
“2007년, 우리는 쿠다 GPU 가속 컴퓨팅을 발표했습니다. 저희는 쿠다가 과학 컴퓨팅 및 물리 시뮬레이션에서 이미지 처리에 이르는 다양한 애플리케이션을 향상시키는 프로그래밍 모델이 되고 싶었습니다.”

시장의 반응은 냉담했습니다. 이듬해 글로벌 금융위기가 터지며 엎친 데 덮친 격으로 위기를 맞습니다.

젠슨 황/ 엔비디아 CEO
“쿠다의 추가 비용은 매우 높았습니다. 엔비디아의 수익은 큰 타격을 입었습니다. 수년 동안 시가총액은 10억 달러를 약간 상회했습니다. 수년간 실적 부진에 시달렸습니다. 주주들은 쿠다에 회의적이었고 수익성 개선에 집중하는 것을 선호했습니다.
하지만 우리는 인내했습니다. 가속 컴퓨팅의 시대가 올 것이라고 믿었기 때문입니다.”

인내의 시간을 견뎌내자, 정말로 젠슨 황이 그리던 시대가 왔습니다.

2012년 인공지능 이미지 경연대회에서 쿠다를 활용한 참가팀이 우수한 성적을 거두면서 반전의 기회를 잡았고, 이후 인공지능 반도체 시장을 사실상 독점하게 됐습니다.

젠슨 황/ 엔비디아 CEO
“우리는 쿠다를 발명하고 가속 컴퓨팅과 AI를 개척했습니다. 하지만 그 여정은 비전을 실현하기 위해 항상 필요한 고통과 아픔을 견뎌낼 수 있는 기업 정신을 길러줬습니다. ”

남현종/9층시사국 MC 네, 인상적인 성공스토리인데요. 보면서 우리나라 젊은 스타트업들도 못할 건 없겠다, 이런 생각이 들었거든요. 이승종/9층시사국 기자 예 사실 우리나라가 반도체 환경이 굉장히 좋습니다. 메모리 반도체는 사실상 독점하고 있고요. 제조를 하는 파운드리 시장에서도 세계 2위 규모이기 때문입니다. 젠슨 황처럼 미래를 예측하고 준비하는 스타트업이 있다면, 기회의 문이 얼마든지 열릴 수 있습니다. 크리스 밀러 / 미 터프츠대 교수(칩워 저자) “지금 엔비디아가 매우 강력한 위치를 차지하고 있지만, 새로운 회사들이 새로운 반도체를 들고 나오면서, 앞으로 상황이 바뀔 수 있다는 건 분명합니다.” 남현종/9층시사국 MC 그러니까, 엔비디아와 다른 특화된 인공지능 반도체들이 등장할 거다, 이런 얘기 같습니다. 이승종/9층시사국 기자 그렇죠. 엔비디아의 GPU 반도체는 지금 인공지능에 쓰고 있지만, 원래는 그래픽용으로 만든 겁니다. 그래서 인공지능에 특화된 전문 반도체를 만들어서 엔비디아에 맞서려는 회사들이 나오고 있습니다. 이 차세대 반도체의 이름은 신경망처리장치, NPU라는 하는데요. 이 시장에서 우리나라 업체들이 주목할 만한 성과를 내고 있어서 찾아가 봤습니다.

인공지능 반도체의 성능을 매년 측정해 결과를 발표하는 비영리 단쳅니다.

인공지능 원년이라 불리는 올해는 더 관심을 모았는데요, 깜작 놀랄 만한 소식이 전해졌습니다. 국내 한 스타트업이 일부 항목에서 퀄컴이나 엔비디아 같은 글로벌 대기업보다 많게는 3배 이상 빠른 처리속도를 보여준 겁니다.

박성현/리벨리온 대표
“가장 대표적인 언어 모델로 쓰여 왔던 버트, 버트라는 데서 입증을 했고 국내에서는 최초로 언어 모델을 저희가 MLPerf(대회 주관사)에 제출해서 세계적인 성과를 거뒀다 거기에 굉장히 큰 프라이드를 갖고 있습니다.”

놀라운 성과는, 이 회사가 만드는, 차세대 인공지능 반도체, NPU 덕분에 가능했습니다. 신경망처리장치, NPU는 엔비디아 GPU보다 인공지능에 특화된 반도쳅니다.

박성현/리벨리온 대표
"AI 시대로 넘어가는 이들이 인텔 CPU에서 엔비디아 GPU로 넘어가듯이 이제 엔비디아 GPU가 챗 GPT 같은 생성 AI를 만나면서 새로운 종류의 반도체, AI 반도체, NPU라고 하는 그런 시대로 넘어가고 있습니다."

엔비디아의 아성에 도전하려면 쿠다와 경쟁할 수 있는 소프트웨어를 강화해야 합니다.

박성현/리벨리온 대표
"인적 구성을 보면 이미 절반 이상이 소프트웨어 엔지니어, 소프트웨어 개발자분들이십니다. 이게 많은 걸 말해주고 있죠. 정말로 소프트웨어가 중요하고 소프트웨어에 진심인 팀이다.
저희 100명에 육박하고 있습니다. 그중에 거의 90% 정도가 개발자로 이해해주시면 좋을 것 같고 개발자의 절반 이상이 소프트웨어 엔지니어다 그렇게 이해해주시면 좋을 것 같습니다. 앞으로도 소프트웨어 엔지니어가 계속 늘어날 예정입니다."

지난해 이종호 과학기술부 장관이, 취임 직후 방문해 화제를 모았던 인공지능 반도체 설계업체. 2016년부터 NPU 반도체를 만들어왔습니다.

백준호/퓨리오사AI 대표
“(NPU) AI 반도체는 결국 지금 현재 GPU 설계의 패러다임에 비해서 AI 연산에 특화돼 있는 거죠. 그러니까 AI 연산에 가장 딱 최적화 돼서 그런 불필요한 AI 연산이 아닌 다른.. 어플리케이션에 필요한 영역들은 다 제거해 버리고 딱 AI 연산에만 포커스해서 거기에 대해서 최적화된 설계를 하고 있고 그게 이제 GPU 설계.. GPU 솔루션 대비해서 훨씬 더 높은 에너지 효율을 달성할 수 있는 건데요.“

엔비디아의 쿠다 소프트웨어와 비슷한 수준의 소프트웨어 성능도 갖췄다고 말합니다.

백준호/퓨리오사AI 대표
“저희도 그 사용자들이 사용하는 그런 주요 소프트웨어 스텍들을 지금 지원을 하고 있거든요. 그래서 지금 이 워보이는 그런 솔루션, 완전한 솔루션으로 지금 현재 어쨌든 1세대 칩은 지금 나왔고 실제 그래서 데이터 센터에 지금 적용이 돼서 실제로 지금 상용 서비스를 하고 있고 또 칩 자체도 지금 파운드리에서 지금 볼륨 생산 단계에 와 있는 그런 제품이라고 말씀드리겠습니다.”

내년에는 챗GPT 같은 초거대 언어모델을 돌릴 수 있는 제품을 출시합니다.

백준호/퓨리오사AI 대표
“엔비디아 대비해서 저희가 최소한 지금.. 아까 2세대 칩의 초거대 언어모델에서는 최소한 2배 이상, 많게는 5배까지의 그런 효율을 갖다가 달성하는 것을 목표로 하고 있습니다.”

인공지능 반도체 시장은 2030년, 1100억 달러에 달할 것으로 전망됩니다.

노근창/현대차증권 센터장
“고속 성장하는 반도체는 현재로서 제일 눈앞에 보이는 거는 인공지능 반도체라고 보고 있고 그 시장은 매년 2~30%씩 성장하지 않을까, 저희는 그렇게 예상하고 있습니다.”

앞으로 몇 년이 골든 타임으로 꼽힙니다.

이혁재/서울대 교수
“앞으로 향후 몇 년 안에 AI 반도체 시장에 굉장히 치열한 경쟁이 벌어질 거 같고요. 우리나라 AI 반도체 벤처 회사들도 상당한 경쟁력을 가지고 있는 것으로 그렇게 생각하고 있습니다.”

결코 쉽지 않은 길.

백준호/퓨리오사AI 대표
“많은 사람들은 엔비디아 저 거대 기업이 있는데 뭐 AI 반도체 이게 될 일이냐. 이렇게 생각하실 수 있는데 그렇지 않다. 우리가 로지컬하게 생각해 보면 시간의 문제일 뿐이지 전환은 반드시 좀 일어난다.”

젊은 스타트업들의 가슴은 뛰고 있습니다.

박성현/리벨리온 대표
“2년 정도, 2년, 3년 후면 정말로 의미 있는 포션을 NPU 회사들이 가져오지 않을까. 지금은 GPU랑 NPU의 경쟁이지만 2년 후, 3년 후면 NPU 회사들끼리의 경쟁도 그걸 가슴 뛰는 경쟁도 곧 온다 이렇게 생각하고 있습니다.“

취재기자 : 이승종
외부촬영 : 조선기 설태훈
영상편집: 이기승
자료조사:이정훈
조연출: 유화영 정현주