Sequoia-"생성형 AI의 첫 번째 막" 부제: 에이전트형 추론 시대의 시작 by SONYA HUANG, PAT GRADY AND O1 원문:Generative AI's Act o1: The Reasoning Era Begins | Sequoia Capital 해당 글은 Chat GPT로 번역하였음을 밝힙니다. 생성형 AI 혁명 2년 차에 접어들며, 연구는 분야를 "빠르게 사고하기" — 즉, 사전 학습된 빠른 응답 제공(시스템 1)에서 "느리게 사고하기" — 즉, 추론을 통한 응답(시스템 2)으로 확장하고 있습니다. 이러한 진화는 새로운 유형의 자율적인 응용 프로그램의 등장을 가능하게 하고 있습니다. 우리의 에세이 “Generative AI: A Creative New World” 발표 2주년을 맞아, AI 생태계는 크게 변모했고, 우리는 앞으로 펼쳐질 미래에 대해 몇 가지 예측을 제시하려 합니다. 생성 AI 시장의 기초 층은 Microsoft/OpenAI, AWS/Anthropic, Meta, Google/DeepMind 등 주요 플레이어 및 제휴 간의 균형을 이루며 안정화되고 있습니다. 경제적 기반과 막대한 자본에 접근할 수 있는 대규모 플레이어만이 남아 있는 상태입니다. 게임 이론적인 구도에서 갈등은 계속 고조되고 있지만, 시장 구조 자체는 점차 견고해지고 있으며, 저렴하고 풍부한 차세대 토큰 예측 기능이 점점 더 보편화될 것임은 분명합니다. LLM 시장 구조가 안정화되면서 이제 다음 단계가 부상하고 있습니다. 초점은 *'시스템 2' 사고가 중심이 되는 추론 층의 개발과 확장으로 옮겨지고 있습니다. AlphaGo와 같은 모델에 영감을 받아, 이 층은 AI 시스템이 단순히 빠르게 패턴을 맞추는 것을 넘어, 추론, 문제 해결, 인지 작업을 수행할 수 있도록 하는 것을 목표로 합니다. 또한, 새로운 인지 아키텍처와 사용자 인터페이스가 이러한 추론 능력이 사용자에게 전달되고 상호작용하는 방식을 형성하고 있습니다. * "시스템 2"는 심리학자 대니얼 카너먼(Daniel Kahneman)의 Thinking, Fast and Slow 에서 설명한 두 가지 사고 체계 중 하나로, 여기서 시스템 2는 의식적이고 논리적인 사고에 해당합니다. 이 체계는 느리고, 집중이 필요하며, 문제를 깊이 분석하고 신중하게 결정을 내릴 때 주로 사용됩니다. 이에 반해, "시스템 1"은 빠르고 자동적이며 직관적인 사고를 의미합니다. 이 모든 것이 AI 시장의 창업자들에게는 어떤 의미일까요? 기존 소프트웨어 기업들에게는 어떤 영향을 미칠까요? 그리고 우리는 투자자로서 생성 AI 스택에서 가장 유망한 투자 기회를 어디에서 찾을 수 있을까요? 최신 에세이에서 우리는 LLM 기초 층의 통합이 고차원적인 추론 및 자율적 기능을 확장하는 경쟁의 무대를 어떻게 마련했는지, 그리고 새로운 인지 아키텍처와 사용자 인터페이스를 갖춘 차세대 "킬러 앱"에 대해 논의해 보려 합니다. Strawberry Fields Forever 2024년의 가장 중요한 모델 업데이트는 OpenAI의 o1에 돌아갑니다. 이전에 Q*로 알려졌고, '스트로베리'라는 별칭으로도 불리는 이 모델은 OpenAI가 모델 품질 리더보드의 정점에 다시 오르는 것 이상의 의미를 지니며, 기존 아키텍처를 현저히 개선한 혁신적인 사례로 평가받고 있습니다. 특히, 이 모델은 참된 일반 추론 능력을 갖춘 최초의 사례로, 추론 시점의 컴퓨팅을 통해 이를 달성했습니다. 이게 무슨 의미일까요? 기존의 사전 학습 모델은 방대한 양의 데이터로부터 차세대 토큰을 예측하는 방식으로 “학습 시점의 컴퓨팅”을 사용합니다. 규모가 커지면서 기본적인 추론 능력이 나타나는 성질이 있지만, 이 추론 능력에는 한계가 있습니다. 만약 모델이 보다 직접적인 방식으로 추론하도록 학습시킬 수 있다면 어떨까요? 이게 바로 ‘스트로베리’에서 벌어지고 있는 일입니다. “추론 시점의 컴퓨팅”이라는 것은 모델이 답변을 내기 전에 잠시 멈추고 생각하도록 요청하는 방식으로, 이때 더 많은 계산 자원이 필요하게 됩니다(그래서 이를 “추론 시점의 컴퓨팅”이라고 부릅니다). 여기서 “멈추고 생각하기(“stop and think”)” 부분이 바로 추론입니다. AlphaGo와 LLM의 만남 모델이 멈추고 생각할 때 무슨 일이 벌어지는 걸까요? 먼저 2016년 3월의 서울로 잠시 돌아가 봅시다. 이곳에서 인공지능의 역사에 길이 남을 중요한 순간이 펼쳐졌습니다. 바로 AlphaGo와 전설적인 바둑기사 이세돌의 대결입니다. 이는 단순한 AI와 인간의 대결이 아니었으며, AI가 단순히 패턴을 모방하는 것을 넘어선 ‘생각’하는 모습을 세상이 처음 목격한 순간이었습니다. AlphaGo가 기존의 게임 AI 시스템, 예를 들어 딥 블루와 다른 점은 무엇일까요? LLM처럼 AlphaGo도 초기에는 프로 바둑기사들의 플레이 데이터를 바탕으로 학습했습니다. 약 3천만 수에 달하는 기존 게임 데이터베이스와 자가 대국 데이터를 통해 사전 학습을 진행했습니다. 하지만, AlphaGo는 사전 학습된 모델을 통해 즉각적인 반응을 내놓는 대신, 시간을 두고 멈춰서 생각합니다. 추론 시점에서 모델은 다양한 가능성의 미래 시나리오를 탐색하고, 각 시나리오를 평가하여 가장 높은 기대 가치를 가진 시나리오(또는 답변)를 선택하여 응답합니다. AlphaGo는 더 많은 시간을 주면 줄수록 성능이 향상되며, 추론 시간이 전혀 주어지지 않는다면, 최고의 인간 플레이어를 이길 수 없습니다. 하지만 추론 시간이 늘어날수록 AlphaGo는 점점 더 발전해 결국 최고의 인간 플레이어를 능가하게 됩니다. LLM 세계로 돌아갑시다. AlphaGo를 LLM 세계에 그대로 구현하기 어려운 이유는 바로 가치 함수를 만드는 데 있습니다. 이 함수는 답변을 평가하는 기준이 되는데, 바둑처럼 게임의 경우에는 상대적으로 간단합니다. 게임 끝까지 시뮬레이션하여 누가 승리했는지 확인하고 다음 수의 기대 가치를 계산하면 됩니다. 코딩의 경우도 어느 정도 간단한 편입니다. 코드를 테스트하여 작동 여부를 확인할 수 있기 때문입니다. 하지만 첫 번째 에세이 초안을 어떻게 평가할까요? 여행 일정이나 긴 문서의 핵심 용어 요약은 어떻게 점수를 매길 수 있을까요? 이런 것들이 현재의 방법으로는 추론을 어렵게 만드는 이유입니다. 그래서 Strawberry는 논리와 밀접한 영역(예: 코딩, 수학, 과학)에서는 상대적으로 강점을 보이지만, 보다 개방적이고 구조화되지 않은 영역(예: 글쓰기)에서는 다소 약할 수밖에 없습니다. 실제 Strawberry 구현은 철저히 비밀에 부쳐져 있지만, 핵심 아이디어는 모델이 생성한 사고의 흐름에 대한 강화 학습(reinforcement learning around the chains of thought)을 중심으로 합니다. 모델의 사고 흐름을 검토해 보면, 인간이 사고하고 추론하는 방식과 유사한 근본적이고 흥미로운 현상이 발생하고 있음을 확인할 수 있습니다. 예를 들어, o1은 추론 시간이 확장됨에 따라 막힐 때 되돌아가 다시 시도하는 능력을 보여줍니다. 또한 인간처럼 문제를 생각하는 능력도 보여주고 있을 뿐만 아니라(예: 기하 문제를 풀기 위해 구의 점들을 시각화하는 것), 인간이 생각하지 못한 새로운 방식으로 문제를 해결하는 능력도 보이고 있습니다(예: 프로그래밍 대회 문제를 독창적으로 해결하는 것). 모델의 추론 능력을 향상시키기 위해 추론 시점의 계산을 발전시키려는 새로운 아이디어들이 끊임없이 나오고 있습니다. 예를 들어, 보상 함수를 계산하는 새로운 방식이나 생성기와 검증기 간의 격차를 줄이는 새로운 방법들이 연구되고 있으며, 이를 통해 모델의 추론 능력을 강화하려는 시도가 이어지고 있습니다. 다시 말해, 딥 강화 학습(deep reinforcement learning)이 다시 주목받고 있으며, 이를 통해 완전히 새로운 추론 층이 가능해지고 있습니다. System 1 vs System 2 Thinking AI의 다음 목표는 단순히 사전 학습된 본능적 반응("시스템 1")을 넘어서 깊고 신중한 추론("시스템 2")으로 도약하는 ...

다모다란 교수님의 특강: DCF 오해2: DCF는 단순히 모델링과 숫자 계산 작업일 뿐이다? 원문: Musings on Markets: DCF Myth 2: A DCF is an exercise in modeling and number crunching! (aswathdamodaran.blogspot.com) 본글은 chatGPT로 번역했음을 알립니다(저도 틈만 나면 다시 쉽게 읽을수 있도록, 이미지도 번역해놓았습니다.) 대부분의 사람들은 DCF 평가를 신뢰하지 않으며, 이는 충분히 이해할 만한 이유가 있습니다. 애널리스트들은 자신의 편향을 입력값에 숨기는 방법을 찾고, 복잡성을 이용해 평가 게임에 익숙하지 않은 사람들을 겁주기도 합니다. 놀랍게 들리겠지만, 저 또한 이러한 불신을 이해하고 공감합니다. 원하는 결과를 얻기 위해 숫자를 조작하는 것이 얼마나 쉬운지 알기에, 스스로를 속이는 일도 쉽다는 사실을 잘 알고 있습니다. 그렇기에 저는 평가의 핵심이 입력값이나 모델링에 있지 않고, 그 숫자들에 담긴 스토리와 그 스토리가 얼마나 잘 검증되는지에 있다고 주장해 왔습니다 좌뇌여, 우뇌를 만나보세요! 이번 가을에도 저는 뉴욕대학교 스턴 경영대학원에서 30년 가까이 해온 것처럼 연 2회씩 가치평가 수업을 진행할 예정입니다. 등록한 300명의 학생들은 강의실에 들어올 때, 이 수업이 어떤 내용을 다룰지에 대해 나름대로의 선입견을 가지고 있을 것입니다. 많은 학생들이 최신 버전의 Excel이 설치된 노트북을 들고 와서, 매 시간 모델링에 대해 배우며 수업이 끝날 때쯤에는 '엑셀 닌자'가 되기를 기대하고 있습니다. 이들은 이 수업이 숫자, 더 많은 숫자, 그 이상으로는 그리스 문자(알파와 베타)까지 다루는 수업이 될 것이라고 예상하고 있죠. 저는 수업을 시작할 때 학생들에게 숫자에 더 익숙한지, 아니면 이야기(스토리)에 더 익숙한지 물어봅니다. 예상대로 숫자에 익숙한 학생들이 훨씬 많지만, 스토리에 익숙한 학생들도 적지 않게 있습니다. (이와 같은 판단을 내리는 온라인 테스트가 여러 개 있지만, 사실 대부분은 테스트 없이도 어느 쪽에 속하는지 감이 있습니다.) 그 다음에 저는 두 그룹을 연결하는 다리로서의 가치평가에 대한 저의 비전을 설명합니다. 가치평가는 스토리와 숫자를 연결하는 방법이라는 점에서 중요한 의미를 갖습니다. 이 첫 수업에서 제시하는 이 그림은 단지 추상적인 개념일 뿐이지만, 이후의 수업들은 이 그림에 살을 붙이고 그 연결을 실제로 구현해보려고 노력합니다. 항상 성공하는 것은 아니지만, 제가 생각하는 성공적인 수업은 숫자를 다루는 학생들이 조금 더 상상력을 갖고 나가고, 이야기를 좋아하는 학생들이 조금 더 체계적인 사고를 습득하는 것입니다. 스토리와 숫자 연결하기: 과정 스토리를 숫자와 연결하는 과정은 명확하거나 직관적이지 않지만, 학습할 수 있습니다. 이전에 이 주제에 대해 쓴 글에서 이 과정을 다섯 단계로 설명한 바 있습니다 이 과정에서 다섯 단계를 제시했지만, 이 단계들이 모두를 완벽하게 포함하거나 반드시 순서대로 진행해야 하는 것은 아닙니다. 예를 들어 보겠습니다. 아마존은 많은 사람들이 주목하는 회사로, 세계는 아마존을 두고 크게 두 가지 시각으로 나뉩니다. 하나는 아마존이 세계를 정복할 계획을 가진 특별한 회사라고 믿는 사람들이고, 다른 하나는 아마존을 오랜 기간 동안 많은 사람들을 속일 수 있다는 사례로 보는 사람들입니다. 2014년 10월에 작성한 글에서 저는 아마존의 가치를 평가하여 주당 175달러라는 값을 도출했습니다. 세부 사항에 얽매이기보다, 아마존의 가치를 결정하는 제 서사를 솔직히 드러내는 것이 중요합니다. 제 이야기 속에서 아마존은 높은 매출 성장을 계속 이어가며 (10년 차에 매출이 2,490억 달러에 도달) 앞으로도 제품과 서비스를 원가 수준이나 그 이하로 판매할 것입니다 (앞으로 5년 동안 마진이 거의 0에 가까운 상태를 유지할 것임에 유의하십시오). 하지만 결국 시장 지배력을 활용하여 수익을 내기 시작할 것이며, 이 시장 지배력은 소매업에 새로 진입하는 경쟁자들에 의해 제한될 것입니다. 이에 따라 목표 마진은 2014년 전체 소매업을 반영하는 수준인 7.36%로 설정됩니다. 낙관론자들이 더 높은 가치를 예상하는 이유를 이해하기 위해서는 대안적인 서사를 고려해 볼 필요가 있습니다. 이 서사에서는 아마존의 시장 지배력이 제한받지 않아서 미디어 시장으로 더욱 확장할 수 있고 (10년 차 매출이 3,290억 달러에 달함), 영업 마진도...

원문:AI Datacenter Energy Dilemma - Race for AI Datacenter Space (semianalysis.com) chatGPT를 이용해 번역하였습니다. (해당 글은 데이터센터 2편 쓰는 과정에 많은 도움이 되고 있습니다.... 최대한 빨리 작성해놓겠습니다. 그리고 데이터센터 1편 업데이트 해놓았습니다. 또한 BofA 레포트도 하나 아무도 모르게 올려놓았습니다(본래 남들이 공개한 자료들 또는 무료 자료들을 가져와 글을 작성하는데, 구글링하여 찾은 BofA 레포트 본문이 있어 레포트 데이터만 올리는 식으로 작성하다가 다시 확인해보니, 구글링해서 얻은 사이트가 없어졌더라고요.. 그러다보니, 이게 레포트전문을 비롯해, 데이터들을 공유를 하는 것이 불법일지도 모르겠다라는 생각에 일단은 펠로우 공개 형식으로 올려놓았습니다만, 문제가 될 것 같으면 아마 비공개로 내릴 생각을 가지고 있습니다. )) AI Datacenter Energy Dilemma - Race for AI Datacenter Space Gigawatt Dreams and Matroyshka Brains Limited By Datacenters Not Chips AI 클러스터 수요의 폭발적인 증가로 인해 데이터 센터 용량에 대한 관심이 급증하고 있으며, 특히 전력망, 발전 용량, 환경에 극심한 부담을 주고 있습니다. AI 구축은 데이터 센터 용량 부족으로 크게 제한을 받고 있는데, 특히 GPU는 고속 칩 간 네트워킹을 위해 동일 위치에 배치되어야 하기 때문입니다. 또한 추론 모델의 배포도 여러 지역에서의 총 용량 부족과 더 나은 모델이 시장에 출시됨에 따라 크게 제한되고 있습니다. 이제 병목 현상이 어디에서 발생할 것인가에 대한 많은 논의가 이뤄지고 있습니다. 추가 전력 수요는 얼마나 큰가? GPU는 어디에 배치되고 있는가? 데이터 센터 건설이 북미, 일본, 대만, 싱가포르, 말레이시아, 한국, 중국, 인도네시아, 카타르, 사우디아라비아, 쿠웨이트 등 지역별로 어떻게 진행되고 있는가? 가속기 성장이 언제 물리적 인프라에 의해 제약을 받게 될까? 그것이 변압기, 발전기, 전력망 용량일까 아니면 우리가 추적하는 15개 이상의 데이터 센터 구성 요소 중 하나일까? 필요한 자본 지출(Capex)은 얼마나 될까? 어떤 하이퍼스케일러와 대형 기업들이 충분한 용량 확보를 위해 경쟁하고 있으며, 어떤 기업들이 데이터 센터 용량 부족으로 인해 심각한 제약을 받게 될까? 향후 몇 년 동안 기가와트 단위 이상의 트레이닝 클러스터가 어디에 건설될 것인가? 천연가스, 태양광, 풍력 등 발전 유형의 비율은 어떻게 될까? 이러한 AI 구축이 지속 가능한가, 아니면 환경을 파괴할 것인가? 오늘은 이 질문들에 대해 답을 해보려 합니다. 보고서의 첫 번째 절반은 무료로 제공되며, 두 번째 절반은 아래에서 구독자들에게만 제공됩니다. 많은 사람들이 데이터 센터 구축 속도에 대해 터무니없는 가정을 내놓고 있습니다, 심지어 일론 머스크도 의견을 제시했지만, 그의 평가는 완전히 정확하지 않아요. 인공지능 컴퓨팅이 온라인으로 도입되면서 매 6개월마다 10배씩 증가하는 것으로 보입니다... 그리고 다음 부족 사태는 전압 강하 변압기에서 발생할 것이라는 예측이 매우 쉬웠습니다. 이러한 시스템들에 전력을 공급해야 하니까요. 100~300킬로볼트의 전력이 전력회사를 통해 들어오면 이를 6볼트로 낮춰야 하는데, 그 과정은 상당한 전압 강하가 필요합니다. 제가 그리 재미있지 않은 농담으로 "트랜스포머(Transformers)를 작동시키려면 트랜스포머(변압기)가 필요하다"고 한 이유입니다... 그다음에는 전력 부족 사태가 올 겁니다. 모든 칩을 돌리기 위한 전력을 충분히 확보하지 못할 것입니다. 내년에는 칩을 구동할 전력을 찾을 수 없는 상황을 보게 될 것입니다. Bosch Connected World Conference에서 명확히 말하자면, 물리적 인프라의 한계에 대한 그의 지적은 대부분 옳습니다. 하지만 컴퓨팅 성능이 매 6개월마다 10배 증가하는 것은 사실이 아닙니다. 우리는 주요 하이퍼스케일러와 상업용 실리콘 기업들의 CoWoS, HBM, 서버 공급망을 추적하고 있으며, 2023년 1분기부터 현재까지 AI 컴퓨팅 용량은 이론적인 최대 FP8 FLOPS 기준으로 분기별 50~60%의 빠른 속도로 증가하고 있습니다. 즉, 6개월에 10배 성장과는 거리가 멉니다. CoWoS와 HBM의 성장 속도는 단순히 그렇게 빠르지 않기 때문입니다. 생성형 AI의 붐은 트랜스포머(Transformers)로 구동되며, 실제로 많은 변압기, 발전기, 그리고 다양한 전기 및 냉각 장치들이 필요하게 될 것입니다. 많은 경우, 간이 계산이나 지나치게 경고적인 이야기들은 오래된 연구에 근거하고 있습니다. IEA(국제에너지기구)의 최근 보고서 "Electricity 2024"에 따르면, 2026년까지 AI 데이터 센터에서 90 테라와트시(TWh)의 전력 수요가 발생할 것으로 예상되며, 이는 약 10 기가와트(GW)의 데이터 센터 핵심 IT 전력 용량에 해당하며, H100 GPU 730만 대에 해당하는 전력 소모량과 비슷합니다. 우리의 추정에 따르면, Nvidia는 2021년부터 2024년 말까지 H100을 포함해 H100과 유사한 전력 요구를 가진 가속기를 500만 대 이상 출하할 것으로 예상되며, AI 데이터 센터의 전력 수요는 2025년 초에 10GW를 넘길 것으로 보입니다. 위 보고서는 데이터 센터 전력 수요를 과소평가한 측면이 있지만, 그와 반대로 지나치게 과장된 예측도 많습니다. 특히, 일부 경고적인 주장은 가속 컴퓨팅이 널리 채택되기 전 작성된 오래된 연구를 인용하여, 데이터 센터가 2030년까지 7,933 테라와트시(TWh), 즉 전 세계 전력 생산의 24%를 소비할 것이라는 최악의 시나리오를 재활용하고 있습니다! 이런 이야기 속에서는 마치 데이터 센터가 메뚜기 떼, 다이슨 구체, 마트료시카 브레인처럼 끝없이 전력을 삼킬 것이라는 비유가 등장합니다! 많은 이러한 간이 계산 추정치는 전 세계 인터넷 프로토콜 트래픽 성장 예측에 기반하고, 단위 트래픽당 사용되는 전력에 대한 예측은 효율성 향상에 의해 조정됩니다. 하지만 이러한 모든 수치는 추정하기 매우 어려우며, 일부는 AI 도입 이전에 만들어진 데이터 센터 전력 소비 추정을 사용합니다. 맥킨지(McKinsey)의 추정치 또한 웃음을 자아낼 정도로 부정확하며, 단순히 무작위 CAGR을 선택하고 이를 멋진 그래픽으로 반복하는 수준입니다. 이제는 이러한 잘못된 서사를 바로잡고, 데이터 센터 전력 부족 문제를 실증적 데이터를 통해 정량화해봅시다. 우리의 접근법은 기존 콜로케이션 및 하이퍼스케일 데이터 센터를 포함한 북미에 있는 3,500개 이상의 데이터 센터를 분석하여 AI 데이터 센터의 수요와 공급을 예측합니다. 여기에는 개발 중인 데이터센터의 건설 진행률 예측이 포함되며, 이 연구 유형으로는 처음으로 우리의 AI 가속기 모델에서 파생된 AI 가속기 전력 수요를 데이터베이스와 결합하여 AI 및 비-AI 데이터 센터의 핵심 IT 전력 수요와 공급을 추정합니다. 또한, Structure Research가 수집한 북미 외 지역(아시아 태평양, 중국, EMEA, 라틴 아메리카)에 대한 지역별 추정치와 이 분석을 결합하여 전 세계 데이터 센터 트렌드에 대한 전체적인 시각을 제공합니다. 말레이시아 조호르바루의 최대 1,000MW 규모의 개발 계획(주로 중국 기업에 의해)과 같이 주목할만한 개별 클러스터와 건설 진행 상황을 위성 이미지를 통해 추적하는 방식으로 지역별 추정치를 보완합니다. 우리는 이러한 추적을 하이퍼스케일러별로 진행하며, AI 분야에서 가장 큰 플레이어들 중 일부가 중기적으로는 다른 기업들보다 배포 가능한 AI 컴퓨팅에서 뒤처질 것이라는 점이 명확합니다. AI 붐은 데이터 센터의 전력 소비 성장률을 빠르게 가속화할 것이 분명하지만, 전 세계 데이터 센터 전력 사용량은 단기적으로 전체 에너지 생산량의 24%라는 종말론적 시나리오보다 훨씬 낮은 수준을 유지할 것입니다. 우리는 2030년까지 데이터 센터가 전 세계 에너지 생산량의 4.5%를 사용할 것으로 보고 있습니다. The Real AI Superpowers 데이터 센터의 전력 용량 성장률은 향후 몇 년 동안 연평균 성장률(CAGR) 12-15%에서 25%로 가속화될 것입니다. 전 세계 데이터 센터 핵심 IT 전력 수요는 2023년 49 기가와트(GW)에서 2026년까지 96 GW로 급증할 것이며, 이 중 약 40 GW는 AI가 소비할 것입니다. 하지만 실제로는 이 성장 과정이 그렇게 순탄하지 않으며, 곧 심각한 전력 부족 사태가 다가올 것입니다. AI 데이터 센터의 수요 급증을 충족하기 위해서는 풍부하고 저렴한 전력, 전력망 용량의 신속한 확장, 그리고 하이퍼스케일러의 탄소 배출 목표를 동시에 달성할 필요가 있습니다. 여기에 칩 수출 제한까지 겹치면서, 이러한 수요를 충족할 수 있는 지역과 국가가 제한될 것입니다. 미국과 같은 일부 국가 및 지역은 낮은 전력망 탄소 집약도, 저렴하고 안정적인 연료 공급원 덕분에 유연하게 대응할 수 있을 것입니다. 반면, 유럽은 지정학적 현실과 전력에 대한 구조적 규제 제약으로 인해 사실상 손발이 묶일 것입니다. 또 다른 국가들은 환경 영향을 고려하지 않고 단순히 용량을 확장하는 방향으로 나아갈 것입니다. Key Needs of Training and Inference AI 학습(Training) 워크로드는 기존 데이터 센터에 배치된 전형적인 하드웨어와 매우 다른 고유한 요구 사항을 가지고 있습니다. 첫째, 모델 학습(train)은 몇 주 또는 몇 달 동안 진행되며, 네트워크 연결 요구 사항은 학습 데이터의 입력에 국한되어 상대적으로 제한적입니다. AI 학습(Training)은 지연 시간(latency)에 민감하지 않으며 주요 인구 밀집 지역 근처에 위치할 필요가 없습니다. 따라서 AI 학습 클러스터는 데이터 거주성 및 규정 준수만 충족하면 전 세계 어디에서든 경제적으로 합리적인 장소에 배치될 수 있습니다. 두 번째로 중요한 차이는 다소 명백한데, AI 학습 워크로드는 엄청난 전력을 소모하며, 전통적인 비가속 하이퍼스케일 또는 엔터프라이즈 워크로드보다 AI 하드웨어가 열 설계 전력(TDP)에 가까운 전력 수준에서 실행되는 경향이 있습니다. 또한, CPU와 스토리지 서버는 1kW 수준의 전력을 소비하지만, 각 AI 서버는 이제 10kW를 초과하고 있습니다. 지연 시간에 덜 민감하고 인구 밀집 지역 근처에 있을 필요가 적기 때문에, 저렴하고 풍부한 전력(그리고 향후에는 어떤 전력망에도 접근 가능성)이 AI 학습 워크로드에서는 전통적인 워크로드보다 훨씬 더 중요한 요소로 작용합니다. 흥미롭게도, 이러한 요구 사항 중 일부는 무의미한 암호화폐 채굴 작업과 공유되지만, 암호화폐 채굴은 단일 사이트에서 100메가와트를 초과하는 확장 이점이 없다는 점에서 차이가 있습니다. 반면, 추론(Inference)은 결국 학습보다 더 큰 워크로드를 처리하지만, 분산될 수 있는 특성을 가지고 있습니다. 칩들이 중앙 집중화될 필요는 없지만, 칩의 sheer 양(부피) 자체는 매우 클 것입니다. Datacenter Math AI 가속기의 전력 사용률은 비교적 높게 유지됩니다(전력 사용 측면에서, MFU가 아닌). DGX H100 서버의 정상 작동 시 예상되는 평균 전력(EAP)은 약 10,200W이며, 이는 서버당 8개의 GPU 각각에 대해 1,275W로 환산됩니다. 이 수치는 H100 자체의 700W 열 설계 전력(TDP)과 더불어, Dual Intel Xeon Platinum 8480C 프로세서, 2TB의 DDR5 메모리, NVSwitches, NVLink, NICs, 리타이머, 네트워크 트랜시버 등에 GPU당 약 575W가 할당된 값을 포함합니다. 스토리지 및 관리 서버, 다양한 네트워킹 스위치 등을 포함한 전체 SuperPOD의 전력 요구 사항을 추가하면 DGX 서버당 11,112W 또는 H100 GPU당 1,389W의 전력 소모가 발생합니다. DGX H100 구성은 스토리지와 기타 항목 측면에서 HGX H100에 비해 다소 과도하게 제공된 측면이 있으며(overprovisioned), 이를 반영한 계산입니다. Meta와 같은 기업들은 전체 구성에 대한 충분한 정보를 공개하여 시스템 레벨에서의 전력 소비를 추정할 수 있도록 했습니다. Critical IT Power는 데이터 센터 내에서 서버 랙에 배치된 컴퓨팅, 서버, 네트워킹 장비가 사용할 수 있는 전기 용량을 의미합니다. 여기에는 냉각, 전력 공급, 기타 시설 관련 시스템을 운영하는 데 필요한 전력은 포함되지 않습니다. 이 예시에서 필요한 Critical IT Power 용량을 계산하려면 배치된 IT 장비의 총 예상 전력 부하를 합산해야 합니다. 예를 들어, 1,389W의 전력을 소비하는 20,480개의 GPU는 28.4 MW의 Critical IT ...

원문:The Expansion Explosion: Insights Into the Current Data Center Boom | Dodge Construction Network chatGPT로 번역했습니다. *Dodge Construction Network는 건설 산업 관련 데이터를 제공하는 주요 기업으로, 건설 프로젝트의 계획, 착공, 진행 상황 등을 추적하고 분석합니다. The Expansion Explosion: Insights Into the Current Data Center Boom by Sarah Martin, Associate Forecasting Director, and Olevia Sharbaugh, Economist 데이터 센터 프로젝트 건설이 최근 많은 관심을 받고 있으며, 고부가가치 프로젝트들이 기획 단계에 들어가거나 착공에 돌입하는 경우가 급증하고 있어요. 이 글의 목표는 건설 활동의 선행 지표인 Dodge Momentum Index에서 데이터 센터가 미치는 영향을 분석하고, 그 정보를 바탕으로 2025년까지의 데이터 센터 건설 시작 예측에 어떻게 반영하고 있는지를 설명하는 데 있어요. 2024년 데이터 센터 건설 시작은 전례 없는 수준에 도달했습니다. 2024년 상반기 동안 총 78개의 데이터 센터 프로젝트가 착공되었고, 이 프로젝트들은 90억 달러 이상의 가치를 지니며, 거의 1,200만 평방피트에 달하는 면적을 차지했어요. 2008년까지 거슬러 올라가도, 특정 연도의 상반기에 데이터 센터 프로젝트의 가치, 면적, 그리고 개수 모두가 이번처럼 높은 적은 없었어요. 이 기록적인 수치는 주로 6월의 뛰어난 성과 덕분이에요. 6월 한 달 동안 총 36억 달러의 프로젝트 가치가 더해지며, 올해 전체 수치에 큰 기여를 했어요. 그중 무려 42%의 가치는 단 하나의 프로젝트에서 나왔어요. 바로 오하이오주 뉴올버니에 위치한 QTS New Albany 1과 2 프로젝트(the QTS New Albany 1 and 2 in New Albany, OH)인데요, 이 프로젝트의 가치는 15억 달러에 달하며, 총 4개의 개별 데이터 센터 건물로 구성되고, 총 15억 평방피트에 이르는 데이터 센터 공간이 포함돼요. 이 프로젝트는 Dodge가 1967년부터 데이터 센터 산업을 추적해온 이래 착공된 프로젝트 중 가장 큰 단일 데이터 센터 프로젝트예요. 하지만 계획 중인 프로젝트들이 점점 더 많아지면서, 15억 달러라는 금액조차도 상대적으로 작아 보이기 시작해요. 공간과 에너지 제약으로 인해 데이터 센터 활동은 지역적으로 차이를 보이고 있습니다. ...

다모다란 교수님의 특강: DCF 오해1: 만약 할인율(D)과 현금흐름(CF)을 안다면, DCF가 된다? 원문: Musings on Markets: DCF Myth 1: If you have a D(discount rate) and a CF (cash flow), you have a DCF! (aswathdamodaran.blogspot.com) 본글은 chatGPT로 번역했음을 알립니다(저도 틈만 나면 다시 쉽게 읽을수 있도록, 이미지도 번역해놓았습니다.) 올해 초, 저는 할인된 현금 흐름 평가(DCF)에 관한 시리즈를 시작하며, DCF에서 흔히 볼 수 있는 열 가지 오해들을 나열한 게시글을 올렸고, 올해 동안 각 오에 대해 하나씩 게시글을 올리겠다고 약속했습니다. 이것이 그 시리즈의 첫 번째 글이며, 저는 이를 통해 DCF 값을 도출하기 위해 필요한 것이 할인율(D)과 예상 현금 흐름(CF)뿐이라는 널리 퍼진 오해에 도전할 것입니다. 이번 게시글에서는 일관성이나 철학 없이 할인된 현금 흐름 평가의 외관만 있는 왜곡된 DCF를 살펴보겠습니다. 1. 단위 일관성 (Unit Consistency) DCF의 첫 번째 원칙은 현금 흐름이 할인율과 동일한 조건과 단위로 정의되어야 한다는 것입니다. 구체적으로, 이는 다음의 네 가지 테스트에서 나타납니다: 주식 대 사업(기업) (Equity vs. Business): 만약 부채상황 후의 현금흐름이라면( 즉 주주에게 귀속되는 현금흐름이라면), 사용되는 할인율은 해당 주주들이 요구하는 수익률(자본 비용)을 반영해야 합니다. 이는 주주들의 주식 투자에 대한 인지된 위험을 고려한 것입니다. 만약 현금 흐름이 부채 상환 전의 현금 흐름이라면(즉, 사업 또는 기업 자체에 귀속되는 현금 흐름이라면), 사용되는 할인율은 주주들이 원하는 수익률과 대출자들(채권자들)이 요구하는 수익률의 가중 평균이거나, 전체 사업을 자금 조달하는 비용(자본 비용)이 되어야 합니다. 세전 대 세후 (Pre-tax vs. Post-tax): 현금 흐름이 세전(또는 세후)이라면, 할인율도 세전(또는 세후)이어야 합니다. 회사를 평가할 때, 우리는 법인세 후의 현금 흐름과 개인 세금 이전의 현금 흐름을 살펴보고 할인율을 일관되게 정의하는 것이 중요합니다. 그러나 패스스루 엔티티(pass-through entity)을 평가할 때는 상황이 복잡해집니다. 패스스루 엔티티는 세금을 내지 않지만, 그들의 소득을 투자자에게 전달해야 하는 경우가 많으며, 투자자들은 개인 세율로 과세됩니다. 이에 대한 자세한 내용은 제가 패스스루 엔티티에 대해 작성한 게시글에서 다루었습니다. * pass-through entity: 법인 자체가 소득에 대해 세금을 내지 않고, 그 소득이 직접 소유자나 투자자에게 전달되어 개인 소득으로 과세되는 사업 구조 (파트너십, 유한책임회사(LLC),S-코퍼레이션 (S-Corporation), 단독 소유자 사업자 (Sole Proprietorship)) 명목 vs. 실질 (Nominal vs. Real): 만약 현금 흐름이 인플레이션 기대치를 반영하지 않고 계산되었다면, 이는 실질 현금 흐름이며 실질 할인율로 할인되어야 합니다. 반대로, 현금 흐름에 예상 인플레이션율이 포함되어 있다면, 할인율에도 동일한 예상 인플레이션율을 포함해야 합니다. 통화(Currency): 현금 흐름이 특정 통화로 표시된 경우, 할인율도 동일한 통화로 설정되어야 합니다. 통화는 주로 예상 인플레이션을 전달하는 수단이기 때문에, 높은 인플레이션 통화(예: 브라질 헤알)를 선택하면 더 높은 할인율과 더 높은 예상 성장을 얻게 되며, 이는 가치에 변화를 주지 않아야 합니다. 2. 인풋 일관성 (Input Consistency) 회사의 가치는 세 가지 주요 요소의 함수입니다: 예상 현금 흐름, 이 현금 흐름의 예상 성장률, 그리고 이러한 현금 흐름이 실현될지에 대한 불확실성입니다. 할인된 현금 흐름(DCF) 평가를 위해서는 이 세 가지 변수에 대한 가정이 필요하지만, 이러한 변수들에 대한 가정이 서로 일관되려면, 각각의 가정이 서로 맞아떨어져야 합니다. 이 점을 가장 잘 설명하는 방법은 제가 가치평가의 삼각지대 (Valuation Triangle)이라고 부르는 개념입니다: 제가 이러한 관계들이 항상 유지되어야 한다고 주장하는 것은 아닙니다만 예외적으로 높은 성장, 낮은 위험, 낮은 재투자를 보이는 경우는 정당한 이유가 필요한 특이한 회사를 의미하며, 그 회사에서도 어느 시점에서는 일관성이 있어야 합니다. 3. 이야기의 일관성 (Narrative Consistency) 작년에 쓴 글에서 저는 좋은 평가가 내러티(이야기)와 숫자를 연결해야 한다고 주장했습니다. 좋은 DCF 평가도 동일한 원칙을 따라야 하며, 숫자는 회사의 미래에 대해 말하고 있는 이야기와 일치해야 합니다. 또한, 그 이야기는 당신이 예측하는 거시 경제 환경, 회사가 운영하는 시장 또는 시장들, 그리고 그 회사가 직면하는 경쟁을 고려했을 때 타당해야 합니다. DCF 불명예의 전당 (The DCF Hall of Shame) 제가 인수 평가, 감정 및 회계에서 접하는 많은 DCF(할인된 현금 흐름) 모델들은 이러한 일관성 테스트를 통과하지 못합니다. 사실, DCF 속물로 불릴 위험을 무릅쓰고, ...