폭발하는 토큰 수요와 다가올 '반도체 쇼티지'의 진짜 의미

"Invest Like The Best" 채널에서 진행된 딜런 파텔(Dylan Patel)과의 인터뷰로,

AI 토큰의 폭발적인 수요와 공급망의 한계, 그리고 이것이 세계 경제에 미치는 영향을 다루고 있습니다.

https://youtu.be/LF3aUIM57uw?si=na8RbhxnqUQtHWyP

[1부] AI 사용량의 폭발적 증가와 업무 혁신

진행자: 과거에는 아이디어는 흔했고, 그것을 '실행(Execution)'에 옮기는 것이 정말 [비속어] 어려웠죠. 하지만 이제는 아이디어도 넘쳐나고 실행마저 너무 쉬워졌습니다. 그래서 이제는 엄청나게 저렴해진 실행 비용을 정당화할 수 있는 '진짜 좋은 아이디어'만이 살아남는 시대가 되었습니다. 올해 귀사(SemiAnalysis) 팀의 AI 토큰 사용량이 극적으로 변했다는 놀라운 이야기를 해주셨는데요. 그 이야기와 함께, 지금 세상에 어떤 일이 벌어지고 있는지 말씀해 주시죠.

딜런 파텔(Dylan Patel): 작년에 저희는 스스로가 AI를 꽤 많이 쓰는 헤비 유저라고 생각했습니다. 회사 전체가 ChatGPT나 Claude를 썼고, 직원들이 원하는 구독 서비스는 다 제공했으니까요. 그때 회사 차원의 지출이 수만 달러(수천만 원) 수준이었습니다. 그런데 올해 들어 그 지출이 말 그대로 '폭발'했습니다.

12월 말 Claude의 'Opus' 모델이 나오면서 시작됐죠. 사장인 더그(Doug O'Laughlin)가 앞장섰는데, 기술직이 아닌 일반 직원들이 AI를 코딩에 활용하도록 이끌었습니다. 엔지니어들이야 원래 썼지만, 1월이 되자 전체 지출이 말도 안 되게 치솟기 시작했습니다. Anthropic(앤스로픽)과 기업용(Enterprise) 계약을 맺었는데, 지난주 기준으로 연간 환산 지출액이 700만 달러(약 95억 원)에 달합니다.

이건 순전히 '사용량' 때문입니다. 코딩을 한 번도 해본 적 없는 사람들이 Claude로 코드를 짜면서 하루에 수천 달러씩 쓰고 있는 겁니다. 현재 저희 회사 전체 급여 지출이 2,500만 달러 정도인데, AI 코딩 비용으로만 급여의 25% 이상을 쓰고 있는 셈이죠. 이 추세라면 연말에는 AI 지출이 인건비를 넘어설 수도 있습니다. 조금 무서울 정도죠.

다행히 저희 회사는 매우 빠르게 성장하고 있어서 '사람이냐 AI냐'를 두고 해고를 고민할 필요는 없습니다. 그저 "채용을 덜 해도 AI에 돈을 더 쓰면 회사가 더 빨리 성장하네"라고 생각하면 되니까요. 하지만 다른 기업들은 곧 깨닫게 될 겁니다. "이 직원 한 명이 AI를 써서 5명~15명 몫의 일을 해낸다면, 사람을 줄여야겠구나" 하고요.

적용 분야도 엄청나게 넓습니다. 예를 들어, 저희가 오리건주에 1년 반 동안 칩 리버스 엔지니어링 랩을 구축했습니다. 최첨단 전자현미경으로 칩을 뜯어보고 아키텍처와 제조 소재를 분석해서 데이터를 파는 일이죠. 원래 이 데이터를 분석하는 건 아주 느리고 고된 작업입니다. 그런데 팀원 한 명이 몇 천 달러어치 토큰을 써서 GPU 가속 애플리케이션을 만들어버렸습니다. 이제 칩 사진만 올리면 AI가 "여긴 구리, 게이트의 이 부분은 탄탈룸, 여긴 게르마늄..." 이런 식으로 모든 소재를 덧씌워 보여줍니다. 순식간에 전체 칩 스택의 유한요소해석(FEA)이 끝나버리죠. 인텔 출신인 그 팀원 말로는 "예전 같으면 팀 하나가 통째로 매달려 만들고 유지 보수해야 할 일"이었다고 합니다.

또 다른 재밌는 사례도 있습니다. 대형 은행 경제학자 출신인 말콤의 이야기입니다. 예전 직장엔 경제학자만 100~200명이 있었대요. 그가 AI로 만든 건 정말 엄청납니다. FRED(연방준비제도 경제 데이터)나 고용 보고서 등 온갖 API 데이터를 끌어와서 회귀 분석을 돌리고, 인플레이션/디플레이션 관점에서 다양한 경제 혁신이 미치는 영향을 분석했습니다.

미국 노동통계국(BLS)에 약 2,000개의 직무 태스크가 있는데, 그는 AI를 이용해 "어떤 태스크를 AI가 대체할 수 있는지" 채점했습니다. (현재 약 3%가 가능하다고 하네요.) 이걸 바탕으로 AI 도입에 따른 비용 하락과 디플레이션 효과를 측정하는 지표를 만들었습니다. 산출량은 늘어나는데 비용은 크게 떨어지니 GDP가 축소되는 현상을 일컬어 '유령 GDP(Phantom GDP)'라고 부르더군요. 200명의 경제학자가 1년 동안 매달려야 할 이 방대한 언어 모델 벤치마크 분석을, 그가 Claude에 완전히 미쳐서 혼자 다 해낸 겁니다.