프리미엄
예측대회
투자분석
아카데미
커뮤니티
로그인Valley AI 시작하기시작하기
Valley Space인기
AI 데이터센터의 규모와 성능은 어떤 지표로 보아야할까 (feat. SpaceXAI 의 Colossus)
Live Fully공부

AI 데이터센터의 규모와 성능은 어떤 지표로 보아야할까 (feat. SpaceXAI 의 Colossus)

avatar
안스
2026.05.10조회수 108회
avatar
안스
구독자 158명구독중 59명
안티프래질한 선택의 축적을 통해, 10배, 100배 성장(scale up)을 하고자 합니다. Live fully. 충만함. 마음이 편한 투자.

지난 5월 6일, SpaceXAI 가 앤트로픽에 Colossus 1이라는 AI 슈퍼컴퓨터를 공급하는 계약을 체결했다.

SpaceXAI has signed an agreement with Anthropic to provide access to Colossus 1, one of the world’s largest and fastest-deployed AI supercomputers.

SpaceXAI 는 앤트로픽과 협약을 체결하고, 세계에서 가장 규모가 크고 가장 빠르게 구축된 AI 슈퍼컴퓨터 중 하나인 ‘콜로서스 1’에 대한 접근 권한을 제공하기로 했다.

출처: New Compute Partnership with Anthropic | x.ai


그런데 단어 하나가 눈에 띈다. 왜 ‘AI 데이터센터’가 아니라 ‘AI 슈퍼컴퓨터(AI supercomputers)’라고 표현했을까? 이는 앨론 머스크가 콜로서스를 이야기할 때 데이터센터라는 인프라적인 관점이 아니라 AI 모델 학습 및 추론이라는 단일 목적에 최적화되었다는 컴퓨팅적인 관점으로 바라보고 있고 이를 강조하고 싶어서 그런게 아닐까 생각한다.

I. AI 데이터센터와 슈퍼컴퓨터의 차이

AI 이전의 ‘데이터센터’는 도서관이나 창고처럼 데이터를 저장하고 필요할 때 꺼내주는 스토리지(Storage)의 역할이 컸다. 하지만 AI 가 급부상함에 따라 AI 학습 및 추론을 할 수 있는 대규모 서버들이 필요해졌고 이를 위한 대규모 GPU 를 갖춘 데이터센터를 ‘AI 데이터센터’라고 부르기 시작한 듯하다. IREN 같은 회사는 자신들이 제공하는 서비스를 ‘슈퍼컴퓨터'가 아닌 ‘데이터센터'라고 부른다. 이는 단순히 AI 컴퓨팅 뿐 아니라 수많은 GPU 를 수용하기 위해 지어진 거대한 건물, 운영에 필요한 전력 수급, 냉각 시설과 변전소 등의 인프라를 제공한다는 것을 강조하기 위함으로 보인다.

image.png

출처: IREN 공식 홈페이지


반면, SpaceXAI 의 콜로서스는 AI 학습과 추론에 극도로 최적화된 기술을 강조하기 위해 ‘슈퍼컴퓨터'라는 표현을 쓰는 듯하다.

image.png

출처: x.ai 공식 홈페이지


콜로서스가 내세우는 핵심지표도 AI 라는 단일 목적을 위한 슈퍼컴퓨팅에 집중되어 있다. 과거의 컴퓨팅에서 단일 칩의 성능이 중요했다면, 현대의 거대 언어 모델(LLM) 학습을 위해서는 수많은 서버를 하나로 묶어서 만들어지는 거대한 시스템의 성능이 중요해졌다. 이러한 거대한 시스템을 구동하기 위한 핵심 파이프라인은 연산, 전송, 동기화, 데이터 원천(스토리지)이다. 따라서 콜로서스는 연산 엔진의 크기를 의미하는 GPU 개수, 연산 속도의 병목 중 하나인 전송과 관련된 메모리 대역폭(Memory Bandwidth), 수많은 서버가 하나의 거대한 컴퓨터처럼 움직이게 하는 동기화에 핵심이 되는 네트워크 대역폭(Network Bandwith), 학습의 재료가 되는 데이터 창고의 크기인 저장소 용량(Storage capacity), 이렇게 네 가지 지표를 전면에 내세우고 있다.


image.png


II. 콜로서스의 각 지표는 무엇을 의미하는가

콜로서스가 내세우는 네 가지 지표를 하나씩 살펴보자.


첫번쨰 지표. GPU 개수 (Number of GPUs)

20만개라는 GPU 수는 연산 엔진의 크기를 의미한다. 이는 단순히 개수가 많다는 것을 넘어서 AI 의 학습의 각 단계(iteration)에서 처리할 수 있는 파라미터의 양과 배치 크기(=학습 속도와 연관된 지표)를 결정짓는 직접적인 척도이다. 이 지표가 가장 먼저 배치된 이유는 슈퍼컴퓨터의 엔진 규모를 증명하는 가장 직관적인 체급 지표이기 떄문이다.



두번째 지표. 메모리 대역폭 총합 (Total Memory Bandwidth)

메모리 대역폭(194 petabytes/s)은 엔진에 데이터를 공급하는 내부 파이프라인의 총 유량(bandwitdh)을 의미한다. 최근 LLM 학습에서는 GPU 자체의 연산 속도보다 데이터가 메모리에서 연산 엔진으로 이동하는 속도에 더 큰 제약을 받고 있다고 하며 이를 ‘메모리 바운드(Memory-bound)의 ...

회원가입만 해도
이 글을 무료로 읽을 수 있어요.

Basic 7일 무료 체험 시작하기
이미 계정이 있으신가요?로그인하기
댓글 4개
avatar
지구본
2026.05.10

감사합니다

avatar
안스
작성자
2026.05.10

감사합니다!

avatar
알렉스냥맘
2026.05.10

좋은 공부가 되었습니다. 감사합니다!

avatar
안스
작성자
2026.05.10

알렉스냥맘님, 오랜만에 인사드리네요

감사합니다!

공부 카테고리의 다른글

네이버와 두나무의 라이센스, 그리고 스테이블 코인 | TIL #5

작성자는 법적인 전문성이 없어서 틀린 정보가 있을 수 있으며, gemini 와 대화하며 이해한 것을 정리한 글입니다. 대한민국의 금융 규제에는 전자금융거래법(전금법)과 가상자산 이용자 보호법(특금법 및 이용자 보호법)이라는 두 가지 핵심 기둥이 있다. 전자금융거래법(전금법): 기존 화폐(원화)를 디지털화하여 이체 및 결제의 효율성을 높이는 것에 초점을 둔다. 핵심은 상환 보증이다. 네이버페이 포인트 1원은 언제든 현금 1원으로 바꿀 수 있어야 한다. 가상자산 관련 법(특금법 및 이용자 보호법): 자금세탁방지(AML)와 불공정거래 방지에 초점을 둔다. 여기서는 자산의 가치 변동성을 전제로 하며, 화폐로서의 지위는 인정하지 않는 것이 기본 기조입니다. 두 회사가 보유한 라이선스의 성격은 아래와 같다. [네이버파이낸셜: 선불전자지급수단 발행 및 관리업] 네이버파이낸셜은 전자금융업자로서 선불전자지급수단(네이버페이 포인트)을 발행할 수 있다. 특징: 이는 중앙화된 서버 장부상에 기록된 숫자이다. 100% 지급준비금 예치 등의 규제를 받으며, 이는 블록체인 기반의 토큰(코인)은 아니다. 한계: 현재 전금법상 포인트를 블록체인 위로 올려 외부 지갑으로 전송 가능한 토큰으로 만드는 것은 허용되지 않는다. 허용되지 않는 이유: 법적 정의의 충돌 (전자금융거래법 vs 특금법) 포인트 (선불전자지급수단) 법령: 「전자금융거래법」 제2조 제14호 이전 가능한 금전적 가치가 전자적으로 저장된 것으로, 발행자에게 대가를 지급하고 발행된 증표이다. 이 법에 따라 포인트는 현금처럼 쓰이지만 금융당국의 관리 하에 있는 지급수단으로 분류된다. 토큰 (가상자산) 법령: 「특정 금융거래정보의 보고 및 이용 등에 관한 법률(특금법)」 제2조 제3호 경제적 가치를 지닌 전자적 증표이다. 중요 예외: 특금법은 선불전자지급수단(포인트)을 가상자산의 범위에서 명확히 제외(제2조 제3호 가목)하고 있다. 즉, 포인트는 포인트로 남아있을 때만 가상자산 규제를 받지 않는다. 선불전자지급수단의 외부 지갑 전송이 불가능한 이유 사용자가 포인트를 블록체인 토큰으로 바꿔서 개인 지갑으로 전송하게 되면, 이 토큰은 더 이상 선불전자지급수단이 아니라 가상자산으로 간주된다. 이때 사업자에게는 다음과 같은 불가능에 가까운 법적 의무가 발생한다. 가상자산사업자(VASP) 신고 의무 (특금법 제7조): 포인트를 토큰으로 바꿔주는 행위는 매도·매수·교환에 해당하므로, 해당 포인트 발행사는 금융정보분석원(FIU)에 가상자산사업자로 신고해야 한다. 신고 요건: 정보보호관리체계(ISMS) 인증 + 은행 실명확인 입출금 계정(실명계좌) 확보. 하지만, 일반 유통사나 포인트 운영사가 은행으로부터 가상자산 거래소와 동급의 실명계좌를 발급받는 것은 현실적으로 불가능하다. 참고) 실명계좌란? 실명계좌: 사용자 개인의 은행 계좌와 거래소의 ...
공부
2026. 01. 27
7
2
179

나는 내 몸이다 (I am my body) | TIL #4

당신의 체력을 대폭 올려 줄 과학적인 습관 4가지 (습관 교육자 호남두) 라는 영상의 내용은 "몸이 곧 나 자신이며, 세상을 해석하는 주체이다"라는 신체 중심의 철학에 기반해있다. 데카르트는 "나는 생각한다, 고로 존재한다"라며 정신이 몸보다 우위에 있다고 보았지만, 영상에서 언급한 메를로-퐁티의 철학에서는 "나는 내 몸이다(I am my body)"라고 주장한다. 안토니오 다마오지의 신체 표지 가설도 함께 제시하며 "합리적인 의사결정은 감정과 신체적 느낌에 의해 크게 좌우된다"고 주장한다. 이것이 호남두씨가 몸의 중요성을 주장하는 근거이다. gemini 는 이러한 철학의 흐름을 아래와 같이 정리하였다. ===== "몸이 곧 나이다"라는 명제는 단순히 건강의 중요성을 강조하는 격언이 아닙니다. 이는 인류가 수천 년간 믿어왔던 '정신 우위의 세계관'을 뒤집는 철학적, 과학적 혁명입니다. 이 개념이 어디서 시작되어 어떻게 과학으로 증명되었는지, 그리고 우리가 어떻게 받아들여야 하는지 단계별로 설명해 드리겠습니다. 1. 뿌리 (The Roots): 철학적 기원 이 생각의 뿌리를 이해하려면, 먼저 인류를 지배해 온 '오래된 착각'부터 깨야 합니다. ① 대립점: 데카르트의 심신이원론 (Dualism) 17세기 철학자 르네 데카르트는 "나는 생각한다, 고로 존재한다"라고 말하며 정신(Mind)과 신체(Body)를 분리했습니다. 정신: 운전자 (본질, 이성, 고귀함) 신체: 자동차 (도구, 기계, 비천함) 이로 인해 서구 사회는 몸을 단순히 '정신을 담는 그릇' 정도로 취급했습니다. 우리가 아플 때 "정신력으로 버텨"라고 말하는 것이 바로 이 사고방식의 잔재입니다. ② 반격의 시작: 니체와 스피노자 프리드리히 니체는 이를 강력히 비판했습니다. 그는 "영혼이란 신체 속에 있는 그 어떤 것에 대한 말에 불과하다"며 신체를 '커다란 이성'이라고 불렀습니다. 의식은 신체의 거대한 활동 중...
공부
2026. 01. 26
9
2

당신의 혀는 어디에 위치하고 있나요 (feat. 거북목) | TIL #3

"사진 찍을 때, 혀 전체를 입천장에 붙이면 턱선이 살아납니다." 예전에 어느 방송에서 이런 이야기를 들었다. 출처: https://www.youtube.com/shorts/Vgw9kb6OOBY '나는 유독 턱에만 살이 많은 편이다'라고 생각해왔던 나는 이후에 사진을 찍을 때면 종종 이 방법을 활용했다. 그러다 문득 궁금해져서 혀를 입천장에 대는게 무슨 의미가 있나 찾아보았다. 그리고 혀의 위치가 호흡, 거북목 등 여러가지와 관련이 있다는 사실을 알게 되었다. (전문적인 지식 없이 gemini 와 대화를 통해 쓴 글이므로 틀린 내용이 있을 수 있습니다.) 우리가 무의식중에 유지하는 혀의 위치는 치아의 배열, 얼굴의 형태(특히 턱선), 그리고 호흡의 질에 결정적인 영향을 미친다. 혀의 올바른 휴식 위치는 입천장에 가볍게 닿아 있는 상태이다. 구강 기능학(Oral Myology)에서는 올바른 혀의 위치를 음압(Negative Pressure)이라는 유체적학적 개념으로 설명한다. 혀를 입천장에 붙여서 혀 뿌리가 연구개(목구멍 쪽 입천장)과 맞닿고(=후방 밀폐) 입술을 편안하게 다물면(=전방 밀폐), 구강 내부는 완벽한 음압 상태가 ...
공부
2026. 01. 25
15
4

비트코인, 디지털 금의 역설: 신뢰의 비용과 기관의 시대

Disclaimer : 본 게시글은 Gemini 와 함께 작성하였습니다. 비트코인, 디지털 금의 역설: 신뢰의 비용과 기관의 시대 : 비트코인, 무정부주의적 실험에서 월가의 새로운 담보물까지 서론: 신뢰 비용(Cost of Trust)의 종말과 새로운 시작 2008년, 사토시 나카모토가 비트코인 백서를 세상에 내놓았을 때, 그 핵심 철학은 명확했습니다. "금융 기관이라는 '신뢰받는 제3자(Trusted Third Party)' 없이 작동하는 전자 화폐 시스템"을 만드는 것입니다. 기존 금융 시스템은 은행, 정부, 결제 대행사 등 중개자를 신뢰하는 대가로 막대한 수수료와 인프라 비용, 그리고 검열 가능성이라는 비용을 지불해 왔습니다. 비트코인은 이 '신뢰의 비용'을 수학(암호학)과 물리학(에너지)으로 대체하며 탄생했습니다. 그러나 15년이 지난 지금, 비트코인은 아이러니하게도 그들이 배제하고자 했던 세계 최대의 금융 기관들에 의해 가장 많이 매집되고 있습니다. 우리는 지금 '탈중앙화의 이상'과 '중앙화된 자본의 현실'이 충돌하고 융합하는 역사적인 변곡점에 서 있습니다. [출처] 비트코인 :개인 대 개인 전자 화폐 시스템 본론 1. 기관은 왜 비트코인을 사는가? (구조적 원인) 기관의 매수는 단순한 투기적 수요가 아닙니다. 이는 거시경제적 환경의 변화와 금융 시스템의 구조적 결함에 대한 헤지(Hedge) 성격이 강합니다. 1. 화폐 가치 하락과 M2 통화량의 팽창 가장 근본적인 이유는 법정 화폐(Fiat Money) 시스템의 한계입니다. 미국을 비롯한 전 세계 정부는 부채 위기를 해결하기 위해 끊임없이 화폐를 발행(M2 공급량 증가)하고 있습니다. 이는 필연적으로 화폐 구매력의 하락을 초래합니다. 디지털 금(Digital Gold): 기관 투자자들은 비트코인을 2,100만 개로 발행량이 고정된 '희소 자산'으로 인식하기 시작했습니다. 블랙록(BlackRock)의 래리 핑크가 비트코인을 "국경 없는 자산"이자 "가치 하락에 대한 피난처"로 정의한 것은 이러한 인식의 대전환을 보여줍니다. 2. 규제와 회계의 제도화 (Institutionalization) 기관 진입의 물꼬를 튼 것은 '불확실성의 제거'였습니다. 현물 ETF 승인: SEC(미국 증권거래위원회)의 현물 ETF 승인은 기관이 복잡한 지갑 관리나 해킹 리스크 없이 주식 계좌로 비트코인을 살 수 있는 고속도로를 깔아주었습니다. Q. SEC 의 비트코인 현물 ETF승인은 어떤 의미인가? 자산으로서의 인정은 맞지만, 그 인정의 성격이 '가치에 대한 보증'이라기보다는 '거래 가능한 상품으로서의 법적 허가'에 가깝다. 제도적 의미: 규제의 테두리 안으로 들어오다. 제도권 금융으로의 편입 1) 증권(Security)이 아닌, 상품(Commodity)으로서의 지위 확립 : 금, 원유, 옥수수와 같은 원자재 상품과 동등한 법적 지위를 가진 자산임을 간접적으로 확정 2) 투자자 보호 장치 마련 : 미국 증권법의 엄격한 감시(Custody, 회계 감사, 투명성 보고) 금융적 의미: 자본의 파이프라인 개통 패시브 자금의 유입: 규정상 '비규제 자산'인 코인을 직접 살 수 없었던 거대한 보수적 자금들이 이제 'ETF'라는 포장지에 싸인 비트코인은 합법적으로 매수할 수 있게 되었습니다. 즉, 비트코인이 글로벌 자산 배분 포트폴리오의 정식 구성 요소(Asset Class)가 된 것입니다. 비판적 의미: 가치의 인정인가, 항복인가? 게리 겐슬러(SEC 위원장)의 성명: 승인 당시 그는 명확히 선을 그었습니다. "우리는 비트코인 현물 ETF의 상장과 거래를 승인한 것이지, 비트코인 자체를 승인하거나 지지(Endorse)한 것은 아니다. 비트코인은 여전히 투기적이고 변동성이 큰 자산이다." 트로이 목마: 비판적인 시각에서는 이를 '길들이기'로 봅니다. 비트코인을 제도권 안으로 끌어들임으로써, 정부는 비트코인의 이동 경로를 더 투명하게 추적하고, 세금을 매기고, 필요시 규제할 수 있는 통제권을 쥐게 된 것입니다. 탈중앙화된 P2P 화폐가 월가(Wall St.)의 금융 상품으로 전락했다는 비판이 나오는 이유입니다. FASB 회계 기준 변경: 2024년 말부터 적용되는 공정가치 회계(Fair Value Accounting)는 기업이 비트코인을 보유했을 때 가격 상승분을 재무제표상 이익으로 반영할 수 있게 했습니다. 이는 기업의 재무 담당자(CFO)들이 현금 대신 비트코인을 보유할 강력한 유인책이 됩니다. 본론 2. 현재의 시장 지형도: 고래들의 전략 현재 비트코인 시장은 두 가지 형태의 거대 자본에 의해 재편되고 있습니다. 전략적 자산 보유 (Corporate Treasury): 마이크로스트레티지(MicroStrategy): 이들은 단순한 투자를 넘어 회사의 운명을 비트코인에 걸었습니다. 빚을 내어(채권 발행) 비트코인을 사는 레버리지 전략을 통해, 사실상 '비트코인 지주회사'이자 '비트코인 개발 회사'로 변모했습니다. 테슬라(Tesla): 일론 머스크는 비트코인을 "에너지에 기반한 화폐"로 보며, 기업 포트폴리오의 다각화 수단으로 활용하고 있습니다. 자산 운용 및 상품화 (Asset Management): 블랙록(BlackRock): 고객의 자산을 위탁받아 운용하는 블랙록은 비트코인 ETF(IBIT)를 통해 전 세계 유통량의 상당 부분을 흡수하고 있습니다. 이들은 비트코인을 '새로운 자산군(Asset Class)'으로 정의하며, 포트폴리오의 1~5% 비중을 권장합니다. 본론 3. 논쟁과 비판 1. 에너지 화폐론의 ...

TIL #2. 블루투스의 원리

제목: 블루투스: 물기둥 숲을 뚫고 1/1600초의 춤을 추다 부제: Top-Down으로 해부하는 블루투스의 기술적 원리 매일 아침, 당신은 출근길 지하철에서 무선 이어폰을 귀에 꽂습니다. 스마트폰의 재생 버튼을 누르자 음악이 흘러나옵니다. 이 당연하고 매끄러운 경험 뒤에는, 사실 1940년대의 전쟁 기술부터 현대의 초정밀 반도체 공학까지 아우르는 거대한 기술적 서사가 숨어 있습니다. 이 서사를 당신이 마주하는 가장 높은 곳(Application)에서 시작해, 전파가 튀어 다니는 가장 낮은 곳(Physical Layer)으로 내려가는 Top-Down 방식으로 파헤쳐 보겠습니다. 1. 서막: 전장의 어뢰에서 평화의 도구로 본격적인 기술 해부에 앞서, 이 기술의 뿌리를 짚고 넘어갈 필요가 있습니다. 블루투스의 핵심인 '주파수 호핑(Frequency Hopping)'은 통신 엔지니어가 아닌, 전설적인 헐리우드 배우 헤디 라마(Hedy Lamarr)의 아이디어에서 시작되었습니다. 제2차 세계대전 당시, 적군의 전파 방해(Jamming)를 피해 아군의 어뢰를 목표물에 명중시키기 위해 고안된 이 기술은 "한 주파수에 머물지 말고 피아노 건반을 치듯 계속 바꾸라"는 것이 핵심이었습니다. 전쟁이 끝난 후, 이 기술은 에릭슨(Ericsson)의 엔지니어들에 의해 "지저분한 케이블을 없애기 위한 평화적 도구"로 재탄생합니다. 그 이름은 난립하는 통신 규격을 통일하자는 염원을 담아, 덴마크의 바이킹 왕 '헤럴드 블랏탄(파란 이빨)'의 이름을 따 블루투스(Bluetooth)가 되었습니다. 로고의 비밀: 블루투스 로고를 자세히 보시면, 알파벳 B가 아닙니다. 고대 게르만 룬(Rune) 문자로 H (ᚼ, Hagall)와 B (ᛒ, Bjarkan)를 합쳐놓은 모양입니다. (Harald Bluetooth의 이니셜) [참고] 블루투스 이야기 - 출처: www.bluetooth.com 1996년, 인텔, 에릭슨, 노키아 세 기업의 리더들이 모여 다양한 제품과 산업 간의 연결성과 협업을 지원하기 위한 근거리 무선 기술의 표준화를 논의했습니다. 이 회의에서 인텔의 짐 카르닥(Jim Kardach)이 Bluetooth를 임시 코드명으로 제안했습니다. 그는 이후 “블루투스 왕은 스칸디나비아를 통합한 것으로 유명했는데, 이는 우리가 근거리 무선 연결을 통해 PC 산업과 이동통신 산업을 통합하고자 했던 의도와 같았다”라고 말했습니다. Bluetooth는 마케팅 팀이 더 멋진 이름을 정할 때까지의 임시 명칭으로만 사용될 예정이었습니다. 2. [Step 1] 거시적 관점: 두 개의 길과 역할 정의 가장 먼저 이해해야 할 것은 "블루투스는 하나가 아니다"라는 사실입니다. 스마트폰 안에는 목적이 완전히 다른 두 개의 프로토콜이 공존합니다. Classic vs BLE: 수도관과 물방울 Bluetooth Classic (BR/EDR): 마치 '굵은 수도관'과 같습니다. 데이터를 콸콸 쏟아붓습니다. 당신이 고음질 음악을 듣거나 전화를 할 때 사용됩니다. 배터리 소모가 큽니다. Bluetooth Low Energy (BLE): 마치 '똑똑 떨어지는 물방울'과 같습니다. 아주 적은 데이터를 가끔 보냅니다. 스마트 워치의 알림, 만보기 센서, 도어락 등이 이에 해당합니다. 배터리 하나로 1년을 버티는 것이 목표입니다. 프로파일(Profile): 기기들의 '직업' 연결된다고 끝이 아닙니다. 두 기기는 서로의 정체성을 프로파일(Profile)로 정의합니다. A2DP: "나는 음악을 들려주는 스피커야." HFP: "나는 통화를 하는 헤드셋이야." HID: "나는 글자를 입력하는 키보드야." 이처럼 상위 레벨에서 기기들은 각자의 언어(Profile)를 통해 서로가 무엇을 할 수 있는지 약속합니다. 3. [Step 2] 시스템 아키텍처: 두뇌와 입의 분리 스마트폰 내부로 들어가 보면,...
공부
2026. 01. 17
9
53
118
당신의 혀는 어디에 위치하고 있나요 (feat. 거북목) | TIL #3
공부
2026. 01. 18
7
2
107
비트코인, 디지털 금의 역설: 신뢰의 비용과 기관의 시대
6
143
TIL #2. 블루투스의 원리