본래는 차후에 수정하면서 쓰지 못했던 부분을 채우면서, 한편으로 끝내고자 하였으나, (공급망 레이어에서 인프라를 담당하는 많은 기업들을 작성하기 전에) 뉴런 인사이트에 올라가, 두편으로 나누어서 작성하게 되었습니다.
AI cycle: 데이터센터에 대하여(1)도 계속 업데이트하고 수정될 것이기에, 나중에 관심있는 주제에 대한 자료 찾기 힘들때 사용하는 용도 정도만 쓰시면 감사드리겠습니다 (저번글도 이번 글도 작성을 하면서도, 과연 제 생각이 많이 담긴 글이 아니라, 자료들을 잘 수집해서 길게 나열한것 같네요.)
(최대한 많은 자료들을 수집하여, 정리하며, 혹시 기억이 안날수도 있기에 기초적인 부분도 같이 작성해서 저나 어머니도 두고두고 다시 볼 수 있는 글을 목표로 하며 작성중입니다. 특히 아마도 제가 관심 있는 영역에 좀 더 많은 힘을 줄 것으로 예상됩니다; 추후에도 계속 업데이트도 할 예정입니다 업데이트되었을시 제목에 업데이트 내역을 표기하겠습니다; 추후에 몇몇 기업들은 재무제표부터 시작해서 Valuation을 해볼것 같습니다.(그전에 ValC 먼저 나가야 하지 않을까.... 크흠) )
AI cycle: 데이터센터에 대하여 (2)
복습:
컴퓨팅(Coputing)
CPU 시장
GPU 시장
ASIC 시장
네트워킹
네트워킹 기본사항
네트워킹 관련 주요부품
이더넷과 인피니밴드
네트워킹 시장
스토리지
그 외의 관련 Supply
서버(Server)시장
전력 관리/냉각(Power management / Cooling) <- 전력관리 파트를 생각해보니, 전력 이야기를 안 다루고 가기는 어려울것 같아서 다시 이야기해야겠네요.
오퍼레이터(Operator)
건설/부동산/전력과 에너지/원자재 <-(나누어서 다시; 그리고 순서도 조금 바꾸어서)
보안(Security) <-
SPEAR라는 Group이 24년 7월 23일 Webinar에서 데이터센터 관련하여 발표를 했습니다. 이 들은 이번 웨비나에서 The AI Data Center Value Chain은 조금 더 반도체 밸류체인을 확장시켜놓아 표현했습니다.
(Manufacturing Equipment(반도체제조 장비)와 Test and Measurement(반도체테스트 장비 회사)를 value chain에 포함시켜놓았네요)
전력과 에너지(Power & Energy) +전력관리(Power management)
작성에 앞서서 (물론 아시아팀이지만) 반도체의 겨울이 온다던 모건 스탠리가 9월 11일에 다음의 리서치를 썼다고 합니다.
제목이 무려 "Underappreciated US Powering GenAI Dynamics"("저평가된 미국의 생성형 AI 역학을 강화하는 전력인프라 ")이라고 하며, 주요 내용은 GenAI 인프라 구축의 성장이 많은 산업에 큰 알파를 창출하며, 미국 데이터 센터 용량 부족, 탄소 발자국 문제와 이에 대한 완화책, 전력 전략 및 자금 조달과 관련된 역동성이 과소평가되었다고 이야기합니다. 아쉽게도 해당 리서치의 원본을 저희 같은 개인 투자자가 접근할수 없어보이며, 그나마 뉴스기사로 다음과 같이 일부 종목들만 볼수 있엇습니다: Morgan Stanley lists stocks with 'underappreciated upside potential' from GenAI By Investing.com
그래서 해당 리서치를 쓴 저자들을 확인하면서, 모건스탠리의 이전 글을 찾아보았는데, 다음의 모건 스탠리 1월자 글이 무료로 모두에게 접근되어 있었습니다: "GenAI에 전력을 공급하기: 얼마나 많은 전력이 필요하며, 누가 혜택을 보는가?"
참고로 해당 글을 작성한 저자들이 이번 Underappreciated US Powering GenAI Dynamics의 저자들과 2명을 제외하고는 같기 때문에, 우리는 해당 글을 통해, 이번 글을 추측할 수 있다고 생각합니다.(올해 1월자 글이니, 분명 데이터도 어느정도 중복될 거에요)
따라서 오늘 시작은 이들의 글의 데이터를 뼈대로 하여 살을 붙히도록 하겠습니다.
본격적으로 들어가기 전에 헷갈릴 수 있는 단위들을 소개해드리겠습니다
Watt와 Watt hour
와트(W)는 전력의 단위입니다. 전력은 전기기기가 작동할 때 소모하거나 생산하는 에너지의 속도를 나타냅니다.
반면 와트아워(Wh)는 에너지의 단위로, 전력이 일정 시간 동안 사용된 총량을 의미합니다
1 메가와트(Megawatt), MW는 대략 700에서 1,000가구 정도가 사용하는 전력량을 나타내는 좋은 지표이며
1 메가와트시(Megawatt hour), MWh는 한 달 동안 2-5가구가 사용하는 에너지량이 메가와트시로 표현될수 있다고 합니다.
1GW=1,000MW입니다.
1TWh=1,000,000MWh입니다.
데이터센터에 대한 전력 Framework 와 시나리오
그들은 다음과 같은 공식과 몇가지의 가정들을 가져와 연간 전력 소비량을 추정하며 이야기를 시작합니다:
서버전력소비량은 모건스탠리의 GPU 및 커스텀 실리콘에 대한 Total unit volume 추정치를 활용하여, 서버 사용에 대한 강세, 기본, 약세 라는 3가지 시나리오와 AI 서버의 최대 input power를 가정하여 서버 전력 소비량을 계산했다고 합니다. (뿐 만아니라, 서버당 4chip이냐 8chip이냐에 따라서도 나누었습니다.)
기타전력소비는 데이터 스토리지에도 전력이 사용된다는 것을 알게되었고, AI 서버에서 소비되는 총 전력의 10%정도 될것이라고 추정했다고 합니다.
PUE는 시간이 지남에 따라 데이터센터의 효율성이 향상되어 감소한다는 것으로 가정하였습니다.
마지막으로 실제 전력 사용을 고려하기 위해 제품 출하 연도에 서버의 50%가 사용된다고 가정하고, 그 이후 해에는 100%가 사용된다고 가정과 데이터 센터에서 재생 가능 에너지로 공급되는 전력의 비율에 대한 가정을 했다고 합니다.
그러한 가정하에 나온 결과는 다음과 같습니다:
Base 시나리오 기준으로 생성형 AI를 위한 2025년 글로벌 전력소비량은 92-100TWh로 예상되며, 글로벌 전력 소비량의 연간 성장률은 27년이 되서야 50%정도가 될것으로 예상되며, GenAI 전력 사용이 2023년 전 세계 전력 소비의 0.1%에서 2025년에는 0.5%로 증가할 것으로 예상됩니다(구체적인 데이터 값을 제공해주지는 않았네요. 물론 뒤에서 이야기하는 PUE를 이용하면 추정은 가능하다만 넘어가고자 합니다). 다음으로는 각 시나리오별 추가적으로 미국의 colocation 데이터센터에 필요로 할 전력량(단위: MW)을 구한 표입니다.
(계산방법:
)
즉 그들이 생각하기에, 최악의 시나리오에서는 27년까지 9.8-10.1GW가 추가로 필요해질 것으로, 최고의 시나리오에서는 27년까지 12.28-13.0GW가 추가로 필요해질 적으로 예상하며 따라서 그들은 미국의 어마어마한 전력난을 여전히 예상하고 있으며 추가적으로 재생가능에너지와 배터리 스토리지에 대한 견해도 남겼습니다.
(그들의 레포트에는 주로 전력관리 관련 주식이나, 재생가능에너지관련 주식등으로 집중되어 있었습니다. 각기 다양한 국가의 주식들도 소개했는데, 몇 몇 주식은 다루어보죠.)
데이터센터에 필요한 전력 상황
그렇다면 다른 Group들은 향후 데이터센터의 전력소비량은 어떻게 생각하고 있을까요?
골드만 삭스는 AI에 대한 글로벌 데이터센터 전력은 좀 더 보수적이지만, 글로벌 데이터센터 전력 자체에는 좀 더 강한 의견을 가졌다고 할수 있어 보입니다(AI is poised to drive 160% increase in data center power demand | Goldman Sachs). 24년 5월 그들이 생각하는 2030년 AI에 대한 글로벌 데이터센터 전력은 209TWh(미국:93TWh+그외 지역 116TWh)이었으며, 모건 스탠리는 생략한 부분인 AI를 제외한 글로벌 데이터센터 전력 또한 어마어마한 성장성을 보이며 784TWh일 것으로 보고 있었습니다.(한번 직접 들어가 읽어보시길 추천드립니다.)
학계 레포트에서는 매우 다양한 이야기가 나오고 있습니다. 과소평가하는 그룹의 이야기를 들어보자면, IEA(국제에너지기구)의 최근 보고서 "Electricity 2024"에 따르면, 2026년까지 글로벌 AI 데이터 센터에서 90 테라와트시(TWh)의 전력 수요가 발생할 것으로 예상하고 있습니다.
반면 지나치게 과장된 예측으로는, 가속 컴퓨팅이 널리 채택되기 전 작성된 오래된 연구를 인용하여, 데이터 센터가 2030년까지 7,933 테라와트시(TWh), 즉 전 세계 전력 생산의 24%를 소비할 것이라는 시나리오를 이야기하기도 합니다.
Semianalysis라는 팀은 복잡한 추정 모델을 통해, 2030년까지 글로벌 데이터 센터가 전 세계 에너지 생산량의 4.5%를 사용할 것으로 보고 있습니다(관련 글: Semianalysis-AI Datacenter Energy Dilemma - Race for AI Datacenter Space(3월 14, 2024)Moonlight (valley.town))
이렇게 숫자만 이야기하니 제대로 체감이 잘 안되는 거 같다면, 다음 데이터르 보면 이해가 될 수 있어보입니다.
1개 GPU당 평균 1개의 가구만큼의 전력이 사용되고, 그렇다보니, 한개의 대형 데이터센터는 White Plains NY"라는 작은 도시만큼 전력을 소비합니다. 2027년에 예상되는 데이터 센터의 전력 소비는 미국 전체 주택 전력 시장의 약 1/3에 해당합니다.
다음은 지역별 데이터센터에 관한 데이터입니다. 데이터센터는 지속적으로 막대한 전력이 소비될 예정이기 때문에, 값싼 전기료와 함께 에너지 공급망의 안정성과 견고성이 좋은 위치에 지어질 것으로 보입니다.
대부분의 데이터센터 건설은 미국이 가장 활발한 것으로 확인할 수 있으며, 중국을 비롯한 아시아, 그 다음은 유럽 순으로 볼 수 있습니다(해당 위 데이터는 22년도 데이터로, 중동쪽에도 많은 데이터센터 건설이 진행중입니다. 그리고 최근 가장 주목받고 있는 데이터센터 건설중 하나는 말레이시아 조호르바루 지역에 최대 1,000MW 용량의 데이터 센터 개발 파이프라인 입니다; 이는 싱가포르 정부가 4년간 새로운 데이터 센터 건설에 대해 모라토리엄(중단 조치)을 하면서 지어지게 되었습니다. 재밌게도, 모건 스탠리도 이 건설에 대해 관심이 많은 듯, 그 데이터센터에 대한 수혜주로 Sembcorp 와 Tenaga라는 회사를 추천했습니다.)
이는 앞선 나라별 전기료와 연관있음을 확인하실 수 있습니다.
건설완료된 데이터센터와 건설 예정중인 데이터센터까지 모두 합치게 된다면, 주목해야 할 미국 도시들은 다음과 같다고 생각합니다: 버지니아, 텍사스, 캘리포니아, 오하이오, 아틀란타
(아래는 2023년 기준 각 회사별 하이퍼스케일러 데이터센터 케파와 지역별 데이터센터 건설에 대한 데이터입니다.)
물론 이러한 지역들이 동일시하게 데이터센터를 건설하는 것이 아니라, 건설프로젝트 수주에 따라 건설되기에, 각 년도마다 어느 지역이 가장 많이 건설되는지는 매 해 다르고 있습니다.
(관련 읽을 거리 + 참고하면 좋은 사이트:
Dodge Construction Network-확장 폭발: 현재 데이터 센터 붐에 대한 통찰(24년 9월 4일)
Data Center Map - Colocation, Cloud and Connectivity <- 데이터센터 지도로, 현재 운영중인 데이터센터를 실시간으로 확인하실 수 있습니다.
이러한 상황에 의하여, 9월 12일 공식적으로 AI인프라에 대한 백악관 브리핑과 AI 인프라 관련 원탁회의를 개최했습니다. 이 회의에는 하이퍼스케일러, AI 기업, 데이터센터 운영자 및 유틸리티 회사의 지도자들이 참석해, 미국이 AI 분야에서 세계 선두를 유지하기 위한 전략을 논의했습니다. 주요 논의 주제는 대규모 AI 데이터센터와 전력 인프라 개발에 필요한 청정 에너지, 인허가, 인력 요구 사항을 충족하는 방안이었습니다.
이번 회의 에서,OpenAI사는 백악관에 5GW데이터센터 건설을 제안하였고, AGI를 구축하기 위해서는 더 많은 데이터센터와 더 많은 에너지가 필요하다는 이야기를 하였다고 알려져있으며, 회의 후 행정부는 몇 가지 새로운 조치를 발표했습니다:
AI 데이터센터 인프라에 대한 정책 조율을 위해 새로운 태스크포스를 출범.
데이터센터 인허가와 관련된 연방, 주, 지방 당국에 대한 기술 지원 확대.
에너지부는 AI 데이터센터 개발을 지원하는 전담 팀을 구성하고 관련 자원 제공.
폐쇄된 석탄 발전소 부지를 데이터센터로 재활용하는 방안 모색.
미 육군 공병단은 데이터센터 건설을 가속화할 수 있는 허가를 식별하고 이를 공유.
전력관리(Power management)
전력관리 또는 열관리라는 것은 데이터센터의 효율성에 있어서 매우 중요한 영역일 뿐만아니라, 점점 렉의 밀도가 커지면서 해당 파트의 중요성 또한 강해지고 있습니다. 다음 데이터는 BofA의 Who makes datacenter레포트의 데이터로 해당 영역에서 주요 회사로는 슈나이더와 버티브 라는 회사가 있습니다.(왼쪽은 전력장비, 오른쪽은 열관리 장비로 보았을 때의 주요회사들에 대한 파이차트입니다.)
추가적으로 전력관리 또는 열관리 장비들을 좀 더 구체적인 이름과 간단한 설명을 하며 용어, 그리고 주요 업체들을(23년 기준) 정리해보죠. :
UPS(Uninterruptible power supply; ...
