다모다란 교수님의 특강 숫자와 서사: 모델링, 스토리텔링, 그리고 투자 원문: Musings on Markets: Numbers and Narrative: Modeling, Story Telling and Investing (aswathdamodaran.blogspot.com) 본글은 chatGPT로 번역했음을 알립니다(저도 틈만 나면 다시 쉽게 읽을수 있도록, 이미지도 번역해놓았습니다.) 1986년에 처음으로 가치 평가 수업의 개요를 짤 때, 한 선배 교수님께서 이 길을 가지 말라는 조언을 받았습니다. 그분은 가치 평가에는 수업을 구성할 만큼의 이론이 충분하지 않으며, 결국 그럴듯한 회계 수업을 가르치는 것에 그칠 것이라고 말씀하셨습니다. 저는 그 조언을 무시하기로 했고, 그 결정에 후회한 적이 없습니다. 두 가지 이유에서입니다. 첫째, 이론이 거의 없는 주제를 가르치는 것을 좋아하기 때문입니다. 질문은 전적으로 실무에 관한 것이며, 독특한 기술과 도구를 활용해 과제를 해결해야 하고, 시장이 과제의 주인 역할을 합니다. 둘째, 이 수업을 가르치면서 제가 알고 있는 거의 모든 가치 평가 지식과, 더 중요하게는 제가 모르는 것이 얼마나 많은지 깨달았기 때문입니다. 이번 글은 수업에서 반복되는 주제 중 하나로, 좋은 가치 평가를 만들어내는 숫자와 서사의 상호 작용에 대해 다룹니다. 숫자 게임 대부분의 사람들이 평가에 대해 생각할 때, 복잡한 재무제표와 정교한 엑셀 스프레드시트를 떠올리며, 제 평가 수업에 들어오는 사람들도 예외는 아닙니다. 그들은 제가 회계 규칙과 모델 구축에 몰두할 것이라 예상하며, 배경이 회계나 금융에 있는 사람들은 실망하고, 그렇지 않은 사람들은 안도합니다. 제가 회계 규칙에 대해 아는 것은 그것들이 매우 많다는 것뿐이며, 엑셀의 고수도 아니라는 사실을 알게 되기 때문입니다. 오해하지 마세요! 정보를 얻기 위해 회계 자료를 참고하고 엑셀을 자주 사용하지만, 저는 그것들이 평가에서 차지하는 위치를 다음과 같이 봅니다. 회계 자료는 제 평가의 원재료일 뿐, 그 이상도 이하도 아닙니다. 모든 원재료와 마찬가지로 무엇을 사용할지, 무엇을 버릴지 결정해야 하며, 실제로 버리는 것이 사용하는 것보다 훨씬 많습니다. 원재료의 최종 사용자로서, GAAP나 IFRS, 회계 업계가 아니라 제가 판단하기에 합리적인 것과 그렇지 않은 것을 결정합니다. 공정가치 회계에 대해서는 그 동기(회계를 더 의미 있게 만들기 위한 목적)에는 공감하지만, 그 결과에는 큰 감명을 받지 않습니다. 제게 공정가치 회계 추정치는 빠르고 편리한 전자레인지용 냉동식품과 같아서, 실제 음식과 혼동할 일은 없습니다. 엑셀(또는 Numbers)은 다목적으로 활용 가능한 강력한 도구이지만, 모든 도구와 마찬가지로 잘못 사용되거나 과하게 사용될 수 있습니다. 제 엑셀 지식은 평가를 완료하는 데 도움이 되는 부분에 한정되어 있으며, 더 간단한 도구나 아예 도구를 사용하지 않고도 할 수 있는 부분까지 엑셀을 사용할 정도로 마스터하는 데 시간과 자원을 들일 생각은 솔직히 없습니다 그렇다면 왜 그렇게 많은 평가자와 분석가들이 숫자 기반 평가에 대한 자신들의 (적어도 그들 스스로 생각하기에) 숙련도를 강조할까요? 제 생각에 그 답은 숫자 기반 모델이 가져오는 세 가지 환상에 있습니다. 정밀성의 착각(The illusion of precision): 좋든 나쁘든, 우리는 불확실한 결과에 숫자(기대 값, 위험 조정 할인율 등)를 부여하면 조금 더 안정감을 느끼는 경향이 있습니다. 이는 건강한 태도일 수 있지만, 위험을 수치화하면 그 위험이 사라진다고 믿는 것은 건강하지 않은 생각입니다. 객관성의 착각(The illusion of objectivity): 저는 모든 평가가 어느 정도 편향되어 있다고 생각하며, 중요한 것은 그 편향의 정도와 방향입니다. 평가에는 우리가 가지고 있는 회사에 대한 선입견과 신념이 반영되며, 때로는 다른 목적에 의해 그 편향이 더해지기도 합니다. 분석가들은 숫자가 거짓말을 하지 않는다는 암묵적 주장을 통해 편향성을 방어하려 하지만, 사실 진실을 왜곡하는 가장 효과적인 방법 중 하나는 특정 숫자만 선택적으로 사용하는 것입니다. 통제의 착각(The illusion of control): "숫자를 잘 아는 사람"들은 종종 숫자를 사용하여 "숫자에 약한 사람들"을 침묵시키고 수용하게 만듭니다. 500개 항목의 세부 사항과 자유 현금 흐름, 그리스 알파벳, 다양한 약어와 같은 전문 용어를 더함으로써 위압감을 더욱 강화하는 경우도 있습니다. 제 생각에, 이야기(또는 스토리라인) 없이 숫자만을 사용해 평가를 구성할 때 최소 세 가지 중요한 위험이 존재합니다. 첫째, 가치평가는 단순히 수치를 입력하는 작업으로 전락하여, 판매를 촉진하거나 미리 설정된 가치를 확인하는 도구로 사용될 수 ...

OpenAI, 2026년까지 손실 140억 달러로 3배 증가 예상: AI 경쟁에서 혁신의 비용 by Gabe Araujo, M.Sc. (CEO & Founder of CodeCraft Publications 🌍 Educator in Automation, Data Science, and AI🛠) 원문: OpenAI Projections Show Losses Tripling to $14 Billion by 2026: The Cost of Innovating in the AI Race | by Gabe Araujo, M.Sc. | Oct, 2024 | Medium 사실 OpenAI Projections Imply Losses Tripling to $14 Billion in 2026 — The Information 에 대한 글을 번역하고 싶었으나, Exclusive이기 때문에 다음 글로 번역합니다(Chat GPT를 사용했습니다). OpenAI가 내부 예측치를 공개했는데, 2026년까지 손실이 140억 달러로 3배 증가할 수 있다고 합니다. 이 숫자는 상당히 충격적인데, 마치 실리콘밸리 스타트업이 돈을 무한히 쓰는 것처럼 보이기도 합니다. 하지만 이건 단순히 자금을 태우며 성장하려는 일반적인 테크 유니콘과는 다릅니다. OpenAI는 AI 업계에서 가장 영향력 있는 회사 중 하나이기 때문입니다. 그래서 도대체 무슨 일이 일어나고 있는 걸까요? 이 수치는 엄청나게 들리지만, 그 이면에는 이야기가 있습니다. 그리고 단순히 혁신을 위해 돈을 쓴다는 것만이 아닙니다(물론, 혁신을 위한 지출도 큰 부분이죠). 이건 미래를 만드는 데 드는 비용이자, 경쟁이 치열해지고 규제의 압박이 커지며 기술 자체도 매우 빠르게 발전하는 상황에서 AI 시장 최정상에 남기 위한 대가입니다. 그러나 섣불리 경고를 울리기 전에, OpenAI의 예측이 왜 이토록 놀라운 수치를 보여주는지, 그리고 이 손실이 AI 개발의 미래에 어떤 의미를 갖는지 깊이 살펴볼 필요가 있습니다. 간단히 “또 다른 ...

Sequoia-"생성형 AI의 첫 번째 막" 부제: 에이전트형 추론 시대의 시작 by SONYA HUANG, PAT GRADY AND O1 원문:Generative AI's Act o1: The Reasoning Era Begins | Sequoia Capital 해당 글은 Chat GPT로 번역하였음을 밝힙니다. 생성형 AI 혁명 2년 차에 접어들며, 연구는 분야를 "빠르게 사고하기" — 즉, 사전 학습된 빠른 응답 제공(시스템 1)에서 "느리게 사고하기" — 즉, 추론을 통한 응답(시스템 2)으로 확장하고 있습니다. 이러한 진화는 새로운 유형의 자율적인 응용 프로그램의 등장을 가능하게 하고 있습니다. 우리의 에세이 “Generative AI: A Creative New World” 발표 2주년을 맞아, AI 생태계는 크게 변모했고, 우리는 앞으로 펼쳐질 미래에 대해 몇 가지 예측을 제시하려 합니다. 생성 AI 시장의 기초 층은 Microsoft/OpenAI, AWS/Anthropic, Meta, Google/DeepMind 등 주요 플레이어 및 제휴 간의 균형을 이루며 안정화되고 있습니다. 경제적 기반과 막대한 자본에 접근할 수 있는 대규모 플레이어만이 남아 있는 상태입니다. 게임 이론적인 구도에서 갈등은 계속 고조되고 있지만, 시장 구조 자체는 점차 견고해지고 있으며, 저렴하고 풍부한 차세대 토큰 예측 기능이 점점 더 보편화될 것임은 분명합니다. LLM 시장 구조가 안정화되면서 이제 다음 단계가 부상하고 있습니다. 초점은 *'시스템 2' 사고가 중심이 되는 추론 층의 개발과 확장으로 옮겨지고 있습니다. AlphaGo와 같은 모델에 영감을 받아, 이 층은 AI 시스템이 단순히 빠르게 패턴을 맞추는 것을 넘어, 추론, 문제 해결, 인지 작업을 수행할 수 있도록 하는 것을 목표로 합니다. 또한, 새로운 인지 아키텍처와 사용자 인터페이스가 이러한 추론 능력이 사용자에게 전달되고 상호작용하는 방식을 형성하고 있습니다. * "시스템 2"는 심리학자 대니얼 카너먼(Daniel Kahneman)의 Thinking, Fast and Slow 에서 설명한 두 가지 사고 체계 중 하나로, 여기서 시스템 2는 의식적이고 논리적인 사고에 해당합니다. 이 체계는 느리고, 집중이 필요하며, 문제를 깊이 분석하고 신중하게 결정을 내릴 때 주로 사용됩니다. 이에 반해, "시스템 1"은 빠르고 자동적이며 직관적인 사고를 의미합니다. 이 모든 것이 AI 시장의 창업자들에게는 어떤 의미일까요? 기존 소프트웨어 기업들에게는 어떤 영향을 미칠까요? 그리고 우리는 투자자로서 생성 AI 스택에서 가장 유망한 투자 기회를 어디에서 찾을 수 있을까요? 최신 에세이에서 우리는 LLM 기초 층의 통합이 고차원적인 추론 및 자율적 기능을 확장하는 경쟁의 무대를 어떻게 마련했는지, 그리고 새로운 인지 아키텍처와 사용자 인터페이스를 갖춘 차세대 "킬러 앱"에 대해 논의해 보려 합니다. Strawberry Fields Forever 2024년의 가장 중요한 모델 업데이트는 OpenAI의 o1에 돌아갑니다. 이전에 Q*로 알려졌고, '스트로베리'라는 별칭으로도 불리는 이 모델은 OpenAI가 모델 품질 리더보드의 정점에 다시 오르는 것 이상의 의미를 지니며, 기존 아키텍처를 현저히 개선한 혁신적인 사례로 평가받고 있습니다. 특히, 이 모델은 참된 일반 추론 능력을 갖춘 최초의 사례로, 추론 시점의 컴퓨팅을 통해 이를 달성했습니다. 이게 무슨 의미일까요? 기존의 사전 학습 모델은 방대한 양의 데이터로부터 차세대 토큰을 예측하는 방식으로 “학습 시점의 컴퓨팅”을 사용합니다. 규모가 커지면서 기본적인 추론 능력이 나타나는 성질이 있지만, 이 추론 능력에는 한계가 있습니다. 만약 모델이 보다 직접적인 방식으로 추론하도록 학습시킬 수 있다면 어떨까요? 이게 바로 ‘스트로베리’에서 벌어지고 있는 일입니다. “추론 시점의 컴퓨팅”이라는 것은 모델이 답변을 내기 전에 잠시 멈추고 생각하도록 요청하는 방식으로, 이때 더 많은 계산 자원이 필요하게 됩니다(그래서 이를 “추론 시점의 컴퓨팅”이라고 부릅니다). 여기서 “멈추고 생각하기(“stop and think”)” 부분이 바로 추론입니다. AlphaGo와 LLM의 만남 모델이 멈추고 생각할 때 무슨 일이 벌어지는 걸까요? 먼저 2016년 3월의 서울로 잠시 돌아가 봅시다. 이곳에서 인공지능의 역사에 길이 남을 중요한 순간이 펼쳐졌습니다. 바로 AlphaGo와 전설적인 바둑기사 이세돌의 대결입니다. 이는 단순한 AI와 인간의 대결이 아니었으며, AI가 단순히 패턴을 모방하는 것을 넘어선 ‘생각’하는 모습을 세상이 처음 목격한 순간이었습니다. AlphaGo가 기존의 게임 AI 시스템, 예를 들어 딥 블루와 다른 점은 무엇일까요? LLM처럼 AlphaGo도 초기에는 프로 바둑기사들의 플레이 데이터를 바탕으로 학습했습니다. 약 3천만 수에 달하는 기존 게임 데이터베이스와 자가 대국 데이터를 통해 사전 학습을 진행했습니다. 하지만, AlphaGo는 사전 학습된 모델을 통해 즉각적인 반응을 내놓는 대신, 시간을 두고 멈춰서 생각합니다. 추론 시점에서 모델은 다양한 가능성의 미래 시나리오를 탐색하고, 각 시나리오를 평가하여 가장 높은 기대 가치를 가진 시나리오(또는 답변)를 선택하여 응답합니다. AlphaGo는 더 많은 시간을 주면 줄수록 성능이 향상되며, 추론 시간이 전혀 주어지지 않는다면, 최고의 인간 플레이어를 이길 수 없습니다. 하지만 추론 시간이 늘어날수록 AlphaGo는 점점 더 발전해 결국 최고의 인간 플레이어를 능가하게 됩니다. LLM 세계로 돌아갑시다. AlphaGo를 LLM 세계에 그대로 구현하기 어려운 이유는 바로 가치 함수를 만드는 데 있습니다. 이 함수는 답변을 평가하는 기준이 되는데, 바둑처럼 게임의 경우에는 상대적으로 간단합니다. 게임 끝까지 시뮬레이션하여 누가 승리했는지 확인하고 다음 수의 기대 가치를 계산하면 됩니다. 코딩의 경우도 어느 정도 간단한 편입니다. 코드를 테스트하여 작동 여부를 확인할 수 있기 때문입니다. 하지만 첫 번째 에세이 초안을 어떻게 평가할까요? 여행 일정이나 긴 문서의 핵심 용어 요약은 어떻게 점수를 매길 수 있을까요? 이런 것들이 현재의 방법으로는 추론을 어렵게 만드는 이유입니다. 그래서 Strawberry는 논리와 밀접한 영역(예: 코딩, 수학, 과학)에서는 상대적으로 강점을 보이지만, 보다 개방적이고 구조화되지 않은 영역(예: 글쓰기)에서는 다소 약할 수밖에 없습니다. 실제 Strawberry 구현은 철저히 비밀에 부쳐져 있지만, 핵심 아이디어는 모델이 생성한 사고의 흐름에 대한 강화 학습(reinforcement learning around the chains of thought)을 중심으로 합니다. 모델의 사고 흐름을 검토해 보면, 인간이 사고하고 추론하는 방식과 유사한 근본적이고 흥미로운 현상이 발생하고 있음을 확인할 수 있습니다. 예를 들어, o1은 추론 시간이 확장됨에 따라 막힐 때 되돌아가 다시 시도하는 능력을 보여줍니다. 또한 인간처럼 문제를 생각하는 능력도 보여주고 있을 뿐만 아니라(예: 기하 문제를 풀기 위해 구의 점들을 시각화하는 것), 인간이 생각하지 못한 새로운 방식으로 문제를 해결하는 능력도 보이고 있습니다(예: 프로그래밍 대회 문제를 독창적으로 해결하는 것). 모델의 추론 능력을 향상시키기 위해 추론 시점의 계산을 발전시키려는 새로운 아이디어들이 끊임없이 나오고 있습니다. 예를 들어, 보상 함수를 계산하는 새로운 방식이나 생성기와 검증기 간의 격차를 줄이는 새로운 방법들이 연구되고 있으며, 이를 통해 모델의 추론 능력을 강화하려는 시도가 이어지고 있습니다. 다시 말해, 딥 강화 학습(deep reinforcement learning)이 다시 주목받고 있으며, 이를 통해 완전히 새로운 추론 층이 가능해지고 있습니다. System 1 vs System 2 Thinking AI의 다음 목표는 단순히 사전 학습된 본능적 반응("시스템 1")을 넘어서 깊고 신중한 추론("시스템 2")으로 도약하는 ...

다모다란 교수님의 특강: DCF 오해2: DCF는 단순히 모델링과 숫자 계산 작업일 뿐이다? 원문: Musings on Markets: DCF Myth 2: A DCF is an exercise in modeling and number crunching! (aswathdamodaran.blogspot.com) 본글은 chatGPT로 번역했음을 알립니다(저도 틈만 나면 다시 쉽게 읽을수 있도록, 이미지도 번역해놓았습니다.) 대부분의 사람들은 DCF 평가를 신뢰하지 않으며, 이는 충분히 이해할 만한 이유가 있습니다. 애널리스트들은 자신의 편향을 입력값에 숨기는 방법을 찾고, 복잡성을 이용해 평가 게임에 익숙하지 않은 사람들을 겁주기도 합니다. 놀랍게 들리겠지만, 저 또한 이러한 불신을 이해하고 공감합니다. 원하는 결과를 얻기 위해 숫자를 조작하는 것이 얼마나 쉬운지 알기에, 스스로를 속이는 일도 쉽다는 사실을 잘 알고 있습니다. 그렇기에 저는 평가의 핵심이 입력값이나 모델링에 있지 않고, 그 숫자들에 담긴 스토리와 그 스토리가 얼마나 잘 검증되는지에 있다고 주장해 왔습니다 좌뇌여, 우뇌를 만나보세요! 이번 가을에도 저는 뉴욕대학교 스턴 경영대학원에서 30년 가까이 해온 것처럼 연 2회씩 가치평가 수업을 진행할 예정입니다. 등록한 300명의 학생들은 강의실에 들어올 때, 이 수업이 어떤 내용을 다룰지에 대해 나름대로의 선입견을 가지고 있을 것입니다. 많은 학생들이 최신 버전의 Excel이 설치된 노트북을 들고 와서, 매 시간 모델링에 대해 배우며 수업이 끝날 때쯤에는 '엑셀 닌자'가 되기를 기대하고 있습니다. 이들은 이 수업이 숫자, 더 많은 숫자, 그 이상으로는 그리스 문자(알파와 베타)까지 다루는 수업이 될 것이라고 예상하고 있죠. 저는 수업을 시작할 때 학생들에게 숫자에 더 익숙한지, 아니면 이야기(스토리)에 더 익숙한지 물어봅니다. 예상대로 숫자에 익숙한 학생들이 훨씬 많지만, 스토리에 익숙한 학생들도 적지 않게 있습니다. (이와 같은 판단을 내리는 온라인 테스트가 여러 개 있지만, 사실 대부분은 테스트 없이도 어느 쪽에 속하는지 감이 있습니다.) 그 다음에 저는 두 그룹을 연결하는 다리로서의 가치평가에 대한 저의 비전을 설명합니다. 가치평가는 스토리와 숫자를 연결하는 방법이라는 점에서 중요한 의미를 갖습니다. 이 첫 수업에서 제시하는 이 그림은 단지 추상적인 개념일 뿐이지만, 이후의 수업들은 이 그림에 살을 붙이고 그 연결을 실제로 구현해보려고 노력합니다. 항상 성공하는 것은 아니지만, 제가 생각하는 성공적인 수업은 숫자를 다루는 학생들이 조금 더 상상력을 갖고 나가고, 이야기를 좋아하는 학생들이 조금 더 체계적인 사고를 습득하는 것입니다. 스토리와 숫자 연결하기: 과정 스토리를 숫자와 연결하는 과정은 명확하거나 직관적이지 않지만, 학습할 수 있습니다. 이전에 이 주제에 대해 쓴 글에서 이 과정을 다섯 단계로 설명한 바 있습니다 이 과정에서 다섯 단계를 제시했지만, 이 단계들이 모두를 완벽하게 포함하거나 반드시 순서대로 진행해야 하는 것은 아닙니다. 예를 들어 보겠습니다. 아마존은 많은 사람들이 주목하는 회사로, 세계는 아마존을 두고 크게 두 가지 시각으로 나뉩니다. 하나는 아마존이 세계를 정복할 계획을 가진 특별한 회사라고 믿는 사람들이고, 다른 하나는 아마존을 오랜 기간 동안 많은 사람들을 속일 수 있다는 사례로 보는 사람들입니다. 2014년 10월에 작성한 글에서 저는 아마존의 가치를 평가하여 주당 175달러라는 값을 도출했습니다. 세부 사항에 얽매이기보다, 아마존의 가치를 결정하는 제 서사를 솔직히 드러내는 것이 중요합니다. 제 이야기 속에서 아마존은 높은 매출 성장을 계속 이어가며 (10년 차에 매출이 2,490억 달러에 도달) 앞으로도 제품과 서비스를 원가 수준이나 그 이하로 판매할 것입니다 (앞으로 5년 동안 마진이 거의 0에 가까운 상태를 유지할 것임에 유의하십시오). 하지만 결국 시장 지배력을 활용하여 수익을 내기 시작할 것이며, 이 시장 지배력은 소매업에 새로 진입하는 경쟁자들에 의해 제한될 것입니다. 이에 따라 목표 마진은 2014년 전체 소매업을 반영하는 수준인 7.36%로 설정됩니다. 낙관론자들이 더 높은 가치를 예상하는 이유를 이해하기 위해서는 대안적인 서사를 고려해 볼 필요가 있습니다. 이 서사에서는 아마존의 시장 지배력이 제한받지 않아서 미디어 시장으로 더욱 확장할 수 있고 (10년 차 매출이 3,290억 달러에 달함), 영업 마진도...

원문:AI Datacenter Energy Dilemma - Race for AI Datacenter Space (semianalysis.com) chatGPT를 이용해 번역하였습니다. (해당 글은 데이터센터 2편 쓰는 과정에 많은 도움이 되고 있습니다.... 최대한 빨리 작성해놓겠습니다. 그리고 데이터센터 1편 업데이트 해놓았습니다. 또한 BofA 레포트도 하나 아무도 모르게 올려놓았습니다(본래 남들이 공개한 자료들 또는 무료 자료들을 가져와 글을 작성하는데, 구글링하여 찾은 BofA 레포트 본문이 있어 레포트 데이터만 올리는 식으로 작성하다가 다시 확인해보니, 구글링해서 얻은 사이트가 없어졌더라고요.. 그러다보니, 이게 레포트전문을 비롯해, 데이터들을 공유를 하는 것이 불법일지도 모르겠다라는 생각에 일단은 펠로우 공개 형식으로 올려놓았습니다만, 문제가 될 것 같으면 아마 비공개로 내릴 생각을 가지고 있습니다. )) AI Datacenter Energy Dilemma - Race for AI Datacenter Space Gigawatt Dreams and Matroyshka Brains Limited By Datacenters Not Chips AI 클러스터 수요의 폭발적인 증가로 인해 데이터 센터 용량에 대한 관심이 급증하고 있으며, 특히 전력망, 발전 용량, 환경에 극심한 부담을 주고 있습니다. AI 구축은 데이터 센터 용량 부족으로 크게 제한을 받고 있는데, 특히 GPU는 고속 칩 간 네트워킹을 위해 동일 위치에 배치되어야 하기 때문입니다. 또한 추론 모델의 배포도 여러 지역에서의 총 용량 부족과 더 나은 모델이 시장에 출시됨에 따라 크게 제한되고 있습니다. 이제 병목 현상이 어디에서 발생할 것인가에 대한 많은 논의가 이뤄지고 있습니다. 추가 전력 수요는 얼마나 큰가? GPU는 어디에 배치되고 있는가? 데이터 센터 건설이 북미, 일본, 대만, 싱가포르, 말레이시아, 한국, 중국, 인도네시아, 카타르, 사우디아라비아, 쿠웨이트 등 지역별로 어떻게 진행되고 있는가? 가속기 성장이 언제 물리적 인프라에 의해 제약을 받게 될까? 그것이 변압기, 발전기, 전력망 용량일까 아니면 우리가 추적하는 15개 이상의 데이터 센터 구성 요소 중 하나일까? 필요한 자본 지출(Capex)은 얼마나 될까? 어떤 하이퍼스케일러와 대형 기업들이 충분한 용량 확보를 위해 경쟁하고 있으며, 어떤 기업들이 데이터 센터 용량 부족으로 인해 심각한 제약을 받게 될까? 향후 몇 년 동안 기가와트 단위 이상의 트레이닝 클러스터가 어디에 건설될 것인가? 천연가스, 태양광, 풍력 등 발전 유형의 비율은 어떻게 될까? 이러한 AI 구축이 지속 가능한가, 아니면 환경을 파괴할 것인가? 오늘은 이 질문들에 대해 답을 해보려 합니다. 보고서의 첫 번째 절반은 무료로 제공되며, 두 번째 절반은 아래에서 구독자들에게만 제공됩니다. 많은 사람들이 데이터 센터 구축 속도에 대해 터무니없는 가정을 내놓고 있습니다, 심지어 일론 머스크도 의견을 제시했지만, 그의 평가는 완전히 정확하지 않아요. 인공지능 컴퓨팅이 온라인으로 도입되면서 매 6개월마다 10배씩 증가하는 것으로 보입니다... 그리고 다음 부족 사태는 전압 강하 변압기에서 발생할 것이라는 예측이 매우 쉬웠습니다. 이러한 시스템들에 전력을 공급해야 하니까요. 100~300킬로볼트의 전력이 전력회사를 통해 들어오면 이를 6볼트로 낮춰야 하는데, 그 과정은 상당한 전압 강하가 필요합니다. 제가 그리 재미있지 않은 농담으로 "트랜스포머(Transformers)를 작동시키려면 트랜스포머(변압기)가 필요하다"고 한 이유입니다... 그다음에는 전력 부족 사태가 올 겁니다. 모든 칩을 돌리기 위한 전력을 충분히 확보하지 못할 것입니다. 내년에는 칩을 구동할 전력을 찾을 수 없는 상황을 보게 될 것입니다. Bosch Connected World Conference에서 명확히 말하자면, 물리적 인프라의 한계에 대한 그의 지적은 대부분 옳습니다. 하지만 컴퓨팅 성능이 매 6개월마다 10배 증가하는 것은 사실이 아닙니다. 우리는 주요 하이퍼스케일러와 상업용 실리콘 기업들의 CoWoS, HBM, 서버 공급망을 추적하고 있으며, 2023년 1분기부터 현재까지 AI 컴퓨팅 용량은 이론적인 최대 FP8 FLOPS 기준으로 분기별 50~60%의 빠른 속도로 증가하고 있습니다. 즉, 6개월에 10배 성장과는 거리가 멉니다. CoWoS와 HBM의 성장 속도는 단순히 그렇게 빠르지 않기 때문입니다. 생성형 AI의 붐은 트랜스포머(Transformers)로 구동되며, 실제로 많은 변압기, 발전기, 그리고 다양한 전기 및 냉각 장치들이 필요하게 될 것입니다. 많은 경우, 간이 계산이나 지나치게 경고적인 이야기들은 오래된 연구에 근거하고 있습니다. IEA(국제에너지기구)의 최근 보고서 "Electricity 2024"에 따르면, 2026년까지 AI 데이터 센터에서 90 테라와트시(TWh)의 전력 수요가 발생할 것으로 예상되며, 이는 약 10 기가와트(GW)의 데이터 센터 핵심 IT 전력 용량에 해당하며, H100 GPU 730만 대에 해당하는 전력 소모량과 비슷합니다. 우리의 추정에 따르면, Nvidia는 2021년부터 2024년 말까지 H100을 포함해 H100과 유사한 전력 요구를 가진 가속기를 500만 대 이상 출하할 것으로 예상되며, AI 데이터 센터의 전력 수요는 2025년 초에 10GW를 넘길 것으로 보입니다. 위 보고서는 데이터 센터 전력 수요를 과소평가한 측면이 있지만, 그와 반대로 지나치게 과장된 예측도 많습니다. 특히, 일부 경고적인 주장은 가속 컴퓨팅이 널리 채택되기 전 작성된 오래된 연구를 인용하여, 데이터 센터가 2030년까지 7,933 테라와트시(TWh), 즉 전 세계 전력 생산의 24%를 소비할 것이라는 최악의 시나리오를 재활용하고 있습니다! 이런 이야기 속에서는 마치 데이터 센터가 메뚜기 떼, 다이슨 구체, 마트료시카 브레인처럼 끝없이 전력을 삼킬 것이라는 비유가 등장합니다! 많은 이러한 간이 계산 추정치는 전 세계 인터넷 프로토콜 트래픽 성장 예측에 기반하고, 단위 트래픽당 사용되는 전력에 대한 예측은 효율성 향상에 의해 조정됩니다. 하지만 이러한 모든 수치는 추정하기 매우 어려우며, 일부는 AI 도입 이전에 만들어진 데이터 센터 전력 소비 추정을 사용합니다. 맥킨지(McKinsey)의 추정치 또한 웃음을 자아낼 정도로 부정확하며, 단순히 무작위 CAGR을 선택하고 이를 멋진 그래픽으로 반복하는 수준입니다. 이제는 이러한 잘못된 서사를 바로잡고, 데이터 센터 전력 부족 문제를 실증적 데이터를 통해 정량화해봅시다. 우리의 접근법은 기존 콜로케이션 및 하이퍼스케일 데이터 센터를 포함한 북미에 있는 3,500개 이상의 데이터 센터를 분석하여 AI 데이터 센터의 수요와 공급을 예측합니다. 여기에는 개발 중인 데이터센터의 건설 진행률 예측이 포함되며, 이 연구 유형으로는 처음으로 우리의 AI 가속기 모델에서 파생된 AI 가속기 전력 수요를 데이터베이스와 결합하여 AI 및 비-AI 데이터 센터의 핵심 IT 전력 수요와 공급을 추정합니다. 또한, Structure Research가 수집한 북미 외 지역(아시아 태평양, 중국, EMEA, 라틴 아메리카)에 대한 지역별 추정치와 이 분석을 결합하여 전 세계 데이터 센터 트렌드에 대한 전체적인 시각을 제공합니다. 말레이시아 조호르바루의 최대 1,000MW 규모의 개발 계획(주로 중국 기업에 의해)과 같이 주목할만한 개별 클러스터와 건설 진행 상황을 위성 이미지를 통해 추적하는 방식으로 지역별 추정치를 보완합니다. 우리는 이러한 추적을 하이퍼스케일러별로 진행하며, AI 분야에서 가장 큰 플레이어들 중 일부가 중기적으로는 다른 기업들보다 배포 가능한 AI 컴퓨팅에서 뒤처질 것이라는 점이 명확합니다. AI 붐은 데이터 센터의 전력 소비 성장률을 빠르게 가속화할 것이 분명하지만, 전 세계 데이터 센터 전력 사용량은 단기적으로 전체 에너지 생산량의 24%라는 종말론적 시나리오보다 훨씬 낮은 수준을 유지할 것입니다. 우리는 2030년까지 데이터 센터가 전 세계 에너지 생산량의 4.5%를 사용할 것으로 보고 있습니다. The Real AI Superpowers 데이터 센터의 전력 용량 성장률은 향후 몇 년 동안 연평균 성장률(CAGR) 12-15%에서 25%로 가속화될 것입니다. 전 세계 데이터 센터 핵심 IT 전력 수요는 2023년 49 기가와트(GW)에서 2026년까지 96 GW로 급증할 것이며, 이 중 약 40 GW는 AI가 소비할 것입니다. 하지만 실제로는 이 성장 과정이 그렇게 순탄하지 않으며, 곧 심각한 전력 부족 사태가 다가올 것입니다. AI 데이터 센터의 수요 급증을 충족하기 위해서는 풍부하고 저렴한 전력, 전력망 용량의 신속한 확장, 그리고 하이퍼스케일러의 탄소 배출 목표를 동시에 달성할 필요가 있습니다. 여기에 칩 수출 제한까지 겹치면서, 이러한 수요를 충족할 수 있는 지역과 국가가 제한될 것입니다. 미국과 같은 일부 국가 및 지역은 낮은 전력망 탄소 집약도, 저렴하고 안정적인 연료 공급원 덕분에 유연하게 대응할 수 있을 것입니다. 반면, 유럽은 지정학적 현실과 전력에 대한 구조적 규제 제약으로 인해 사실상 손발이 묶일 것입니다. 또 다른 국가들은 환경 영향을 고려하지 않고 단순히 용량을 확장하는 방향으로 나아갈 것입니다. Key Needs of Training and Inference AI 학습(Training) 워크로드는 기존 데이터 센터에 배치된 전형적인 하드웨어와 매우 다른 고유한 요구 사항을 가지고 있습니다. 첫째, 모델 학습(train)은 몇 주 또는 몇 달 동안 진행되며, 네트워크 연결 요구 사항은 학습 데이터의 입력에 국한되어 상대적으로 제한적입니다. AI 학습(Training)은 지연 시간(latency)에 민감하지 않으며 주요 인구 밀집 지역 근처에 위치할 필요가 없습니다. 따라서 AI 학습 클러스터는 데이터 거주성 및 규정 준수만 충족하면 전 세계 어디에서든 경제적으로 합리적인 장소에 배치될 수 있습니다. 두 번째로 중요한 차이는 다소 명백한데, AI 학습 워크로드는 엄청난 전력을 소모하며, 전통적인 비가속 하이퍼스케일 또는 엔터프라이즈 워크로드보다 AI 하드웨어가 열 설계 전력(TDP)에 가까운 전력 수준에서 실행되는 경향이 있습니다. 또한, CPU와 스토리지 서버는 1kW 수준의 전력을 소비하지만, 각 AI 서버는 이제 10kW를 초과하고 있습니다. 지연 시간에 덜 민감하고 인구 밀집 지역 근처에 있을 필요가 적기 때문에, 저렴하고 풍부한 전력(그리고 향후에는 어떤 전력망에도 접근 가능성)이 AI 학습 워크로드에서는 전통적인 워크로드보다 훨씬 더 중요한 요소로 작용합니다. 흥미롭게도, 이러한 요구 사항 중 일부는 무의미한 암호화폐 채굴 작업과 공유되지만, 암호화폐 채굴은 단일 사이트에서 100메가와트를 초과하는 확장 이점이 없다는 점에서 차이가 있습니다. 반면, 추론(Inference)은 결국 학습보다 더 큰 워크로드를 처리하지만, 분산될 수 있는 특성을 가지고 있습니다. 칩들이 중앙 집중화될 필요는 없지만, 칩의 sheer 양(부피) 자체는 매우 클 것입니다. Datacenter Math AI 가속기의 전력 사용률은 비교적 높게 유지됩니다(전력 사용 측면에서, MFU가 아닌). DGX H100 서버의 정상 작동 시 예상되는 평균 전력(EAP)은 약 10,200W이며, 이는 서버당 8개의 GPU 각각에 대해 1,275W로 환산됩니다. 이 수치는 H100 자체의 700W 열 설계 전력(TDP)과 더불어, Dual Intel Xeon Platinum 8480C 프로세서, 2TB의 DDR5 메모리, NVSwitches, NVLink, NICs, 리타이머, 네트워크 트랜시버 등에 GPU당 약 575W가 할당된 값을 포함합니다. 스토리지 및 관리 서버, 다양한 네트워킹 스위치 등을 포함한 전체 SuperPOD의 전력 요구 사항을 추가하면 DGX 서버당 11,112W 또는 H100 GPU당 1,389W의 전력 소모가 발생합니다. DGX H100 구성은 스토리지와 기타 항목 측면에서 HGX H100에 비해 다소 과도하게 제공된 측면이 있으며(overprovisioned), 이를 반영한 계산입니다. Meta와 같은 기업들은 전체 구성에 대한 충분한 정보를 공개하여 시스템 레벨에서의 전력 소비를 추정할 수 있도록 했습니다. Critical IT Power는 데이터 센터 내에서 서버 랙에 배치된 컴퓨팅, 서버, 네트워킹 장비가 사용할 수 있는 전기 용량을 의미합니다. 여기에는 냉각, 전력 공급, 기타 시설 관련 시스템을 운영하는 데 필요한 전력은 포함되지 않습니다. 이 예시에서 필요한 Critical IT Power 용량을 계산하려면 배치된 IT 장비의 총 예상 전력 부하를 합산해야 합니다. 예를 들어, 1,389W의 전력을 소비하는 20,480개의 GPU는 28.4 MW의 Critical IT ...