LLM이 해결해야 할 문제들 (05.2025)

핵심 요약 매출 성장: 아모데이는 앤트로픽의 매출이 기하급수적으로 성장하고 있음을 언급했습니다. (2023년 $100M → 2024년 $1B → 2025년 $8B~$10B 전망) -> 성장은 의심하지 마라. We went from zero to $100 million in 2023, we went from $100 million to $1 billion in 2024... YOLO 발언 : 아모데이는 일부 경쟁사들의 과도한 지출을 지적하며 다음과 같이 말했습니다. -> GPU 과잉투자와 과소투자 모두 위험함, 감가상각과 시장 성장을 모두 고려한 투자 필요 "I think there are some players who are 'YOLO-ing', who pull the risk dial too far." (일부 플레이어들은 '욜로'식으로 행동하며 위험 수위를 너무 높이고 있습니다.) 칩 감가상각과 경제적 불확실성 (원문 맥락): 그는 AI 모델의 경제적 가치가 언제 실현될지 모르는 '불확실성의 영역(cone of uncertainty)'을 언급하며, 칩 수명(3년 vs 5년)과 감가상각 계산에 따라 투자의 성패가 갈린다는 점을 강조했습니다. 이는 그가 노르웨이 국부펀드(Norges Bank) CEO 니콜라이 탕겐과의 팟캐스트('In Good Company') 등에서도 꾸준히 강조해 온 '앤트로픽의 보수적 셈법'과 일치하는 내용입니다. -> Neo-Cloud 업체의 존재 이유는 GPU 감가상각 리스크의 위임 기업용(B2B) 시장 집중: 구글이나 OpenAI가 소비자(B2C) 시장에서 'Code Red' 상황을 겪는 것과 달리, 앤트로픽은 기업 고객에게 집중하여 더 높은 마진과 안정성을 확보하겠다는 전략을 설명했습니다. -> 구글이나 OpenAI에이전트 빌더 경쟁 역시 시장의 중심이 B2C에서 B2B로 전환됨을 보여줌, 모두가 아는 사실 전문 [진행자: 앤드류 로스 소킨] 여러분, 안녕하십니까. 점심 식사는 맛있게 하셨는지요. 오늘 오후는 다리오 아모데이와 함께 아주 성대하게 시작해보려 합니다. 그는 현재 인공지능(AI) 분야에서 전 세계적으로 가장 중요한 인물 중 한 분입니다. 물론 '클로드(Claude)' 모델로 유명한 앤트로픽의 공동 창업자이자 CEO이기도 하죠. 앤트로픽은 역사상 가장 빠르게 성장하는 기술 기업 중 하나이며, 현재 아마존, 마이크로소프트, 구글이라는 거대 테크 기업 세 곳 모두의 투자를 받는 유일한 기업입니다. 참고로 그는 이 분야에서 대부분의 사람들보다 훨씬 오랫동안 일해왔습니다. 그는 연구원 시절을 거쳐 구글에서 일했고, OpenAI의 초기 멤버로서 챗GPT-2와 3의 개발을 주도했습니다. 특히 우리가 올해 그 어떤 해보다 그와 이야기를 나누고 싶었던 이유는, 그가 일자리 문제, 일자리 감소, 중국에 대한 칩 판매, 그리고 우리 정치가 나아갈 방향 등 AI와 관련된 민감한 주제들에 대해 가장 거침없고 솔직하게 발언해 온 인물이기 때문입니다. 나와주셔서 감사합니다. 환영합니다. [다리오 아모데이] 초대해 주셔서 감사합니다. [소킨] 이야기할 주제가 아주 많습니다. 우리가 'AI 버블' 속에 있는가 하는 질문도 포함해서요. 하지만 그 질문은 나중에 하기로 하고, 약속드린 대로 여기서부터 시작해 보겠습니다. 당신은 2014년경 연구 과학자로 일하고 계셨죠. 만약 제가 그때 당신 옆에 앉아서 "우리가 2025년에 같이 앉아서 AI에 대해 이야기하게 될 겁니다"라고 말했다면, 당신은 지금 우리가 겪고 있는 일들에 대해 어떻게 예상했을 것 같습니까? [아모데이] 제가 놀란 점과 놀라지 않은 점을 말씀드리겠습니다. 이 기술이 가져온 경제적 영향이나 가치 창출에 대해서는 놀랍지 않습니다. 뉴욕의 광고판을 지나가다 보면 어디에나 AI가 있죠. 2014년 당시에도 저는 이 기술이 어떤 형태로든 실현될 것이고, 경제의 중심, 국가 안보의 중심, 과학 연구의 중심이 될 것이라고 생각했습니다. 하지만 제가 이 분야의 기업 중 하나를 이끌고 있을 거라고는 상상도 못 했습니다. 그건 제게 매우 놀라운 일이었을 겁니다. 당시에는 그런 역할을 제 몫이라고 생각하지 않았으니까요. 그리고 상황이 전개된 구체적인 방식들, 예를 들어 언어 모델(LLM)을 둘러싼 이상한 용어들이나 기술의 금융화 같은 것들은 예상 밖이었습니다. 하지만 모델들이 지금처럼 똑똑해지고 강력해지며 스케일링(확장)되는 방식은, 저와 제 동료들이 예측했던 대로이고 기본 원칙에서 도출되는 결과라 이해가 됩니다. 다만 처음부터 모든 걸 완벽하게 그려내진 못했을 겁니다. [소킨] 좋습니다. 그럼 아까 처음에 하겠다고 했던 질문으로 바로 넘어가죠. 왜냐하면 당신조차 2025년에 우리가 이 정도 위치에 와 있을 거라고는 생각 못 했을 수 있으니까요. 당시 사람들은 훨씬 더 긴 시간이 걸릴 거라고 생각했으니까요. 하지만 당신의 예상이 맞다고 치더라도, 지금 이 산업에 투입되고 있는 막대한 경제적 자원을 보면 어떻습니까? 현재 미국 GDP 성장의 거의 전부가 이 분야에서 나오고 있다고 해도 과언이 아닙니다. 말 그대로요. 우리는 어떤 형태의 버블에 있는 걸까요? 우리가 과잉 지출을 하고 있는 건가요? 이 모든 수지타산이 맞는 겁니까? [아모데이] 이건 정말 복잡한 문제입니다. 기술적인 측면과 경제적인 측면을 분리해서 말씀드리고 싶습니다. 기술적인 측면에서 저는 매우 확고합니다. 저는 누구보다 낙관적인 사람 중 하나이고, 기술적으로는 계산이 딱 떨어집니다. 하지만 경제적인 측면에서는 우려가 있습니다. 기술이 정말 강력하고 모든 약속을 이행한다 하더라도, 생태계 내의 일부 플레이어들이 타이밍을 조금만 잘못 맞추면 나쁜 일이 벌어질 수 있다고 봅니다. 하나씩 짚어보죠. 기술적인 면에서 제가 (순수 기술만 놓고 봤을 때) 크게 놀라지 않는 이유는, 저와 나중에 공동 창업자가 된 동료들이 AI의 '스케일링 법칙(Scaling Laws)'을 처음으로 문서화했기 때문입니다. 컴퓨팅 파워를 늘리고 데이터를 더 많이 넣으면 성능이 좋아진다는 법칙이죠. 최근의 추론(reasoning) 모델이나 테스트 타임 컴퓨팅 같은 것도 결국 작은 수정들에 불과합니다. 저는 이 트렌드를 지난 12년 동안 지켜봐 왔습니다. 가장 놀라운 점은 아주 단순한 방식으로 모델을 훈련시키는데도, 몇 가지 수정만 거치면 세상의 모든 작업 능력이 향상된다는 겁니다. 코딩도 잘하고, 과학도 잘하고, 생물의학, 법률, 금융, 제조까지 다 잘하게 됩니다. 이건 우리 경제 가치의 모든 원천을 나열한 것이나 다름없습니다. 엔트로픽의 경우를 예로 들자면, 우리는 기업(B2B) 시장에 집중하고 있어서 소비자 습관에 영향을 받는 다른 기업들보다 더 정확한 지표가 될 수 있습니다. 우리 매출은 지난 3년간 매년 10배씩 성장했습니다. 2023년에 0에서 1억 달러, 2024년에 1억에서 10억 달러가 되었고, 올해 말에는 80억에서 100억 달러 사이가 될 것으로 보입니다. 이 추세가 계속될까요? 그건 모릅니다. 하지만 기술이 그 방향으로 가고 있고 경제적 가치도 따라오고 있습니다. 물론 성장세는 둔화되겠지만 여전히 매우 빠를 겁니다. 그래서 저는 경제적 가치가 결국에는 따라올 거라는 확신이 있습니다. [소킨] 하지만 이 부분으로 넘어가 보죠. 1년에 1,000억 달러를 쓰겠다는 회사들이 있고, 당신도 500억 달러를 쓰게 될 겁니다. 작년에 여기 왔던 샘 알트먼의 계획을 보면 정말 천문학적인 숫자입니다. 이건 이 방식대로 스케일링이 될 거라는 거대한 베팅인데요, 이게 진짜 계산이 서는 겁니까, 아니면 현시점에서는 '감(gut feeling)'에 의존하는 겁니까? [아모데이] 네, 그게 바로 제가 말하려던 두 번째 부분입니다. 최대한 투명하게 말씀드리겠습니다. 경제적 가치가 얼마나 빨리 성장할지에 대한 불확실성과, 이를 뒷받침할 데이터센터를 짓는데 걸리는 긴 시간(리드 타임) 사이에서 오는 진짜 딜레마가 있습니다. 저는 이것이 진정한 불확실성이자 딜레마라고 생각하며, 우리 회사는 이를 최대한 책임감 있게 관리하려고 노력합니다. 하지만 일부 플레이어들은 소위 '욜로(YOLO: You Only Live Once, 인생은 한 번뿐이니 지르자)' 식으로 행동하며 위험 수위(risk dial)를 너무 높이고 있어 매우 우려스럽습니다. [소킨] 누가 '욜로'를 하고 있습니까? [아모데이] 그 질문에는 답하지 않겠습니다. (웃음) 다시 ...

샌프란시스코 합의 (The San Francisco Consensus) 에릭 슈미트 (Eric Schmidt) 12월 11일 실리콘 밸리의 최근 논쟁을 지켜보는 사람들은 우리 AI 커뮤니티가 도대체 무슨 말을 하는지 모른다고 생각할 수도 있습니다. AI 전문가들은 수많은 쟁점을 두고 분열되어 있습니다. 가장 유명한 것은 AI가 초래할 실존적 위험에 대한 평가가 엇갈리면서 ‘종말론자(doomers)’와 ‘가속주의자(accelerationists)’가 나뉜 것입니다. 하지만 주요 사상가들은 개방형 모델과 폐쇄형 모델의 장단점, 규제의 효용성, 억지력을 위한 국가 안보적 함의 등 해결되지 않은 수많은 문제에 대해서도 의견을 달리하고 있습니다. 그러나 이러한 표면적인 불화 이면에는 몇 가지 핵심 아이디어에 대한 깊은 합의가 존재합니다. AI 개발을 주도하는 대부분의 사람들은 적어도 세 가지 중심 전제에 동의합니다. 첫째, 그들은 소위 '스케일링 법칙(scaling laws)'의 힘을 믿으며, 모델이 거대해질수록 AI의 급속한 발전을 계속 견인할 것이라고 주장합니다. 둘째, 이 혁명의 타임라인이 예상보다 훨씬 짧다고 생각합니다. 많은 AI 전문가들은 이제 2~5년 안에 우리가 초지능(superintelligence)에 도달할 것으로 보고 있습니다. 마지막으로, 그들은 '변혁적 AI(Transformative AI, TAI)', 즉 많은 과제에서 인간을 능가할 수 있는 시스템이 인류에게 전례 없는 혜택을 가져다줄 것이라고 확신합니다. 이러한 믿음은 과학적 진보, 금전적 수익, 그리고 궁극적으로 인간 진보의 기하급수적인 속도를 약속하는 '하키 스틱' 그래프로 표현됩니다. 저는 이러한 중첩된 견해들을 '샌프란시스코 합의(The San Francisco Consensus)'라고 부릅니다. 합의란 대다수의 전문가들, 이 경우에는 기술자, 과학자, 기업가들이 공유하는 일련의 믿음을 말합니다. 전후 케인스주의 합의에서부터 신자유주의 워싱턴 합의에 이르기까지, 지식적 합의의 시기는 항상 관찰 가능한 진실과 기저에 깔린 이념적 헌신의 결합으로 이루어졌습니다. 물론 그러한 합의가 널리 퍼져 있다고 해서 그것이 반드시 진실인 것은 아닙니다. 사실 역사는 우리 실리콘 밸리 사람들에게 겸손해야 할 충분한 이유를 제공합니다. 2000년대 내내 우리 중 다수는 인터넷의 사회적 영향에 대해 지나치게 낙관적이었지만, 그 비전은 허위 정보, 무기화, 정신 건강 위기 등으로 인해 훼손되었습니다. “전후 케인스주의 합의에서부터 신자유주의 워싱턴 합의에 이르기까지, 지식적 합의의 시기는 항상 관찰 가능한 진실과 기저에 깔린 이념적 헌신의 결합으로 이루어졌습니다. 물론 그러한 합의가 널리 퍼져 있다고 해서 그것이 반드시 진실인 것은 아닙니다.” 어쩌면 그래서인지 샌프란시스코 합의가 실리콘 밸리에서는 폭넓게 받아들여지지만, 결코 보편적이지는 않습니다. 일부 주요 사상가들은 현재의 대규모 언어 모델(LLM)이 TAI나 그보다 더 야심 찬 사촌격인 인공 일반 지능(AGI)으로 가는 그럴듯한 경로를 제공하지 못한다고 믿습니다. 또한 피터 틸(Peter Thiel)이 인터넷과 관련하여 유명하게 묘사했던 침체를 AI가 극복할 수 있을지도 두고 봐야 합니다. 틸의 말을 빌리자면: AI 혁명은 우리에게 날아다니는 자동차를 줄까요, 아니면 에밀리 디킨슨 스타일의 140자 레시피를 줄까요? 또한 샌프란시스코 합의가 AI 커뮤니티 전체의 글로벌 합의를 반드시 반영하는 것도 아닙니다. 유럽에서는 많은 사람들이 사회적 영향과 발전 속도 모두에 대해 더 회의적인 경향이 있습니다. 그리고 제가 다른 곳에서 썼듯이, 중국은 AGI에 덜 몰두하고 다양한 분야에 걸쳐 AI를 실용적으로 적용하는 데 더 집중해 왔습니다. 그러나 만약 샌프란시스코 합의가 사실이라면, 다시 말해 AI가 진정으로 변혁적인 것으로 판명된다면, 향후 몇 년은 결정적인 시기가 될 것입니다. 많은 AI 전문가는 AI 시스템이 자율적으로 자신의 능력을 향상시켜 지능의 급격한 폭발로 이어지는 '재귀적 자기 ...

https://x.com/GavinSBaker/status/1989708096919179504?s=20 Gavin Baker @RealJimChanos 는 테슬라의 상대적으로 낮은 설비투자(capex)를 근거로, 테슬라가 실제 세계의 AI·로보틱스 분야에서 진지한 경쟁자가 아니라고 주장했습니다. 그러나 이는 정확히 잘못된 관점이며, 오히려 이 사실이 테슬라에게 긍정적인 함의를 갖습니다(개인적 의견). 테슬라는 추론(inference)을 차량 내에서 수행하므로, 고객이 사실상 추론 컴퓨팅에 필요한 “설비 투자”를 대신 부담하고 있습니다. 현재 하이퍼스케일러들의 설비투자 중 대부분이 바로 이 추론 인프라에 들어가고 있다는 점을 고려하면 이는 매우 중요한 차별점입니다. 만약 테슬라가 데이터센터에서 주행 관련 데이터를 합성 생성해야만 했다면, 그들의 설비투자 규모는 지금보다 10배 가까이 높아졌을 것입니다. 고객이 비용을 보조하는 형태의 수직 통합은 매우 강력한 구조입니다. 이러한 이유로, 언젠가 테슬라 고객들은 자신들의 차량을 ‘분산 엣지 컴퓨트 풀’에 넣어, 차량이 운행 중이 아닐 때 컴퓨팅을 제공하고 수익을 얻을 수 있게 될 것입니다. 이는 Akamai나 Cloudflare가 엣지 노드에 단일 GPU를 배치해 수익을 내는 방식과 유사합니다. 테슬라 차량 네트워크가 세계 최대이자 가장 광범위하게 분산된 AI 전용 CDN(차량은 콘텐츠를 캐싱할 수 없으므로 AI 전용)이 될 가능성도 충분합니다. BYD 역시 ...

보고서 출처: https://windowsontheory.org/2025/11/04/thoughts-by-a-non-economist-on-ai-and-economics/ METR 논문: https://arxiv.org/abs/2503.14499 AI와 경제에 대한 비경제학자의 생각 – 요약 1. 도입 인류 역사 대부분 동안 삶의 질은 거의 변하지 않았지만, 최근 수 세대 동안 부의 수준은 빠르게 증가했다. 이 글은 인공지능이 이러한 경제 성장에 어떤 영향을 줄 수 있는지를 비경제학자의 시각에서 정리한 것이다. 2. AI 모델 능력의 발전 속도 METR 데이터에 따르면 AI 모델이 해결할 수 있는 업무의 난이도 혹은 시간지평은 로그 스케일로 꾸준히 증가해 왔다. 시간지평의 배가 속도는 약 6개월로 가정할 수 있으며, 이는 모델이 처리할 수 있는 문제의 범위가 매우 빠르게 넓어진다는 의미다. 이 증가 속도는 벤치마크와 실제 업무의 차이, 과제의 복잡성, 신뢰성 등으로 이동할 수 있는 절편과, 계산·데이터·엔지니어링·재귀적 개선 가능성처럼 기울기와 형태를 바꾸는 요인으로 설명된다. 3. 비용 감소와 로봇 자동화 일정 수준의 모델 능력을 유지하는 비용은 매년 큰 폭으로 감소하고 있다. 하지만 이 추세가 로봇공학처럼...