"데이터센터 전력 공급" 2부작 중 1부 — 데이터센터 전력 공급의 병목과 BTM 발전으로의 전환, 그리고 여기서 왜 연료전지가 큰 주목을 받고 있는지에 대해 다룬다. 2부에서는 Bloom Energy의 강점, 800 VDC 적합성, 세부 재무 및 밸류에이션, 그리고 리스크 항목을 다룬다. 매수/매도 추천이 아니다. 투자 결정은 본인의 판단과 책임하에 이루어져야 하며, 어떠한 경우에도 투자 손익은 전적으로 투자자 본인에게 귀속된다. 작성자 본인은 Bloom Energy Corp. (NYSE: BE)를 평균 매수가 $66부터 매수해 왔으며, 현재도 포트폴리오 비중의 상당 비중을 차지한다. 해당 기업 및 소속된 산업에 대해 개인적으로 긍정적인 시각을 보유하고 있다. 따라서 본 글의 일부 내용과 주장은 중립적이지 않게 편향되어 있을 수 있다. 핵심 요약 AI 컴퓨팅의 병목은 시장 국면에 따라 계속 바뀐다. 과거에는 GPU 연산이 문제였지만, 지금은 전력 조달 방식과 네트워킹이 더 큰 병목으로 떠올랐다. 지난 글에서는 네트워킹을 다뤘다. 이번 글에서는 전력망에서 전력을 받는 방식과 자체 발전으로 전력을 확보하는 방식, 그리고 그 과정에서 발생하는 인허가 병목을 짚어 본다. 지금 시장에 자본은 넘쳐난다. 부족한 것은 전력이다. CoreWeave (NASDAQ: CRWV)의 CFO는 이 상황을 한 문장으로 정리했다. "지금의 전력은 2030년의 전력보다 더 가치 있다" (CoreWeave CFO Nitin Kumar⎯Jefferies Software, Internet & AI Conference, 2026). 자본은 넘치지만 인허가는 귀한 이 역설적인 산업 구조는 데이터센터를 BTM (Behind The Meter; 자가발전) 쪽으로 밀어 넣고 있다. BTM 안에서도 기술의 사다리는 한 단계씩 올라간다. 가스 터빈 → 왕복 엔진 → 고체산화물 연료전지 (SOFC). 단계가 올라갈수록 효율과 MWh당 비용은 조금씩 양보하지만, 대신 전력 확보 속도와 인허가 용이성을 얻는다. Bloom Energy (NYSE: BE)가 이 사다리의 꼭대기에 있는 이유는 구조적인 요인 하나와 주기적인 요인 하나로 나뉜다. 구조적 이유 (800 VDC 전환): 데이터센터 전력 아키텍처가 800 VDC 직접 배전으로 이동하고 있다. 이 구조는 Rubin Ultra Kyber 랙 (600 kW+, 2H '27 출하)에서 사실상 강제된다. Bloom의 SOFC는 800 VDC를 그대로 출력하는 유일한 상용 발전원이다. 따라서 가스 터빈이나 전력망에 정류기를 붙인 구성이 피할 수 없는 손실 큰 AC→DC 변환을 건너뛴다. 동시에 이미 여러 분기째 대기열이 길어진 변압기, 개폐장치, 정류기 공급 병목도 피해 갈 수 있다. 주기적 이유 (터빈 병목): 가스 터빈 과점 3사 (GE Vernova, Siemens Energy, Mitsubishi)의 물량은 2029년까지 사실상 예약이 끝났다. GE Vernova에 남은 2029~2030년 슬롯도 10 GW 남짓이다. 1990~2000년대와 2018년의 호황, 불황을 두 차례 겪은 OEM들은 수요가 폭발해도 공장을 무리하게 늘리지 않는다. 터빈 가격은 20% 올라 kW당 ~$3,000에 닿았다. "다른 선택지"를 찾는 고객은 왕복 엔진 (이미 2028년까지 밀림)을 거쳐, 결국 첫 전력까지 가장 빠른 길인 연료전지로 온다. Bloom은 ~90일, Oracle 현장에서는 55일이라는 실제 사례를 보여 줬다. 재무 지표도 급격한 상승세를 보인다. 매출은 $1.47B (2024) → $2.02B (2025) → 컨센서스 ~$3.68B (2026E, +82%) → ~$6.44B (2027E, +75%)로 이어진다. Q1 '26는 GAAP 기준으로 깔끔하게 흑자를 낸 첫 분기 (순이익 +$70.7M, EPS +$0.23)였다. 제품 수주잔고는 $6B (+140% YoY), 그 위에는 ~$14B 서비스 수주잔고가 쌓여 있다. Oracle과는 최대 2.8 GW 규모의 기본 계약을 맺었다 (1.2 GW 확정, 약 $4B). 다만, 강세론의 상당 부분은 이미 주가에 반영돼 있다. 약세론도 그만큼 구체적이다. forward P/E는 FY '26E 기준 ~134배이고, 이익이 올라오면 FY '27E ~58배까지 압축된다. +1Y PEG ~1.0은 2년에 걸친 >600% / +134% EPS 궤적이 그대로 실현된다는 전제에 전적으로 기대고 있다. 현실 리스크: SOFC 경쟁 (Ceres Power 라이선시 Weichai/Doosan/Delta, FuelCell Energy (NASDAQ: FCEL), 2027년 GE Vernova (NYSE: GEV)의 금속 기반 셀), Scandium, 희토류와 철강, 알루미늄, 구리에 매겨진 50% 관세, 아직 입증되지 않은 2년짜리 연료전지 스택 수명 연장, 발전원이 무엇이든 800 VDC 가치의 상당 부분을 시설 레벨의 변환 장비 업체 (Vertiv, Eaton, Schneider, ABB)가 가져가는 것 아니냐는 불확실성. 결론: 기술과 상업적 논리는 꽤 견고하다. 투자 관점에서 남는 질문은 두 가지다. (1) 몇 년에 걸친 흠 없는 실행이 이미 주가에 얼마나 반영돼 있는가, 그리고 (2) 2027~2029년에 본격화될 SOFC 경쟁 속에서도 Bloom의 해자가 유지될 수 있는가. 0. 큰 그림⎯"좋은 전력"의 기준이 바뀌었다 핵심은 단순하다. 데이터센터가 선호하는 전력의 기준이 바뀌었다. 옛 체제: 자본은 적게 들고, 인허가는 많이 필요한 전력이 이겼다. 즉 전력망 기반 전력이다. MW당 비용은 낮지만, 전력망 연결 대기열, 유틸리티 계획, 인허가, 지역사회 반발에 몇 년씩 묶인다. 새 체제: 자본은 더 들더라도, 인허가와 일정 리스크를 줄이는 전력이 이긴다. 즉 BTM 가스 발전, 그다음 연료전지다. MW당 비용은 높고 운영도 복잡하지만, 개발자가 일정을 직접 통제할 수 있다. 판을 바꾼 요인은 두 가지다. AI 컴퓨팅 수요가 급격히 늘었고, 데이터센터는 정치, 환경 이슈의 핵심이 됐다. 그 결과 전력망 연결, 대기 배출 허가, 지역사회 수용 같은 인허가가 돈보다 더 큰 병목이 됐다. AI 적용과 전환의 ROI를 두고 논쟁은 이어지지만, 투입될 자본은 여전히 많다. 하이퍼스케일러들은 막대한 현금흐름으로 전력과 인프라 투자를 직접 감당하고 있다. 전력이 확보된 부지는 AI의 ROI와 별개로 내재 가치를 지닌다. 신용평가사들도 이 변화를 반영하기 시작했다. 데이터센터 프로젝트의 리스크를 평가할 때, 전력을 얼마나 확보했는지가 중요한 기준으로 들어간다. 1. 쓸 수 있는 전력 공급 방식 (공급 스택) 2026년 현재 데이터센터 전력 조달 방식은 크게 세 가지로 나뉜다. 각 방식마다 비용과 일정이 다르다. 1.1 전력망을 통한 전력 공급⎯초기에는 기본값이었지만, 이제는 아니다 방식: 유틸리티 PPA (전력구매계약) + 송전망 연결. MWh당 비용은 가장 낮다. 재생에너지로 뒷받침되면 ESG 측면에서도 가장 깔끔하다. 문제: 전력망 연결까지 대기 시간이 너무 길다. PJM 기준 ~7년, ERCOT 기준 ~5년, MISO 기준 ~4년, CAISO 기준 ~3년 수준이다. 미국 데이터센터 전력 수요는 31 GW (2025) → 66 GW (2027)로 2배가 될 전망이다. 여름철 피크 수요에서 차지하는 비중도 4.1% → 8.5%로 올라간다. 정책 변화: PJM의 Connect & Manage (2027년 6월 1일 시행)는 데이터센터가 전력망 연결을 원할 경우, 자체 발전 용량을 들고 오거나 (연 ~50~100시간), 상황에 따라 전력망 강제 차단을 감수하라고 요구한다. 사실상 데이터센터를 BTM 조달로 떠미는 정책이다. 따라서 최근 추진되는 데이터센터 용량의 약 3분의 1은 전력망 없이 돌아가도록 설계되고 있다. 1.2 자가발전 (BTM) BTM은 하나의 기술이 아니라 여러 선택지의 스펙트럼이다. 낮은 CapEx (낮은 초기 투자비용)와 높은 OpEx (높은 운영비용)로 빠르게 설치해 단기 브리지 전력을 공급하는 엔진부터, 높은 CapEx (높은 초기 투자비용)와 낮은 OpEx (낮은 운영비용)로 상시 기저부하를 담당하는 ...

핵심 요약 칩의 연산 성능은 20년간 ~60,000배 뛰었지만, 그 연산에 데이터를 공급하는 배선은 따라오지 못했다. 오늘날 AI 가속기의 진짜 제약은 네트워킹이다. GPU↔GPU 네트워크든 GPU↔메모리 HBM 버스든 본질은 같다. 둘 다 비좁은 die edge를 지나야 하기 때문이다. 구리에는 더 내어줄 가장자리가 없다. 결국 광학이 해답이나, 전환은 단계적으로 온다. SerDes를 하루아침에 걷어 내고 co-packaged optics로 바꿀 수는 없다. 일단 광학이 주 I/O 매체가 되면, 메모리는 GPU 옆에 함께 패키징하는 대상이 아니라 fabric 너머에서 붙여 쓰는 자원이 된다 — 연산 풀과 값싼 commodity DRAM 풀이 하나의 저지연 optical fabric에 연결되고, optical switch가 경로를 잡는다. HBM은 사라지지 않는다 — 캐시 계층으로 강등될 뿐이다. 이 노트를 읽는 법 Section 0 — 왜 광학인가, 왜 단계적으로 접근할 수밖에 없는가에 대해 짧게 되짚는다. Section 1–3 — 핵심: 가속기는 네트워크에 묶여 있다 → 메모리도 네트워크의 일부다 → 메모리를 optical 스위치 너머로 분리한다. Section 4 — 어떤 기업들이 해당 아키텍처를 개발하고 있는지, 어디를 봐야 하는지. 출처 종합 네 개의 출처를 기반해 핵심 주장 하나로 엮었다. 엔지니어링 방향성은 출처들 사이에서 비교적 잘 교차 검증되지만, 정확한 시점과 HBM 쇠퇴의 규모는 불확실하다. Irrational Analysis — HBM: High-Bandwidth Mistake (Jun 01 2026). 메모리 분리 (disaggregation) 주장. 자기 포지션을 방어하는 색채가 강하다 — DRAM 롱 포지션에서 Samsung을 노골적으로 미는 입장이며, "7~10년 내 HBM 물량 ~90% 감소" 주장은 전적으로 latency 문제 (§3)가 대규모로 풀린다는 전제에 기댄다. SemiVision — Lightmatter Taiwan Tech Day in 20 Minutes (Jan 29 2026)와 Lightmatter at Computex 2026: The Bottleneck Has Shifted from Compute to Interconnect (Jun 04 2026). Optical fabric 쪽 주장으로, 서술의 중심은 Lightmatter다. SemiAnalysis — Co-Packaged Optics (CPO) Book — Scaling with Light. CPO의 경제성·단계론·신뢰성 데이터. CPO 전환, DSP 비용·전력 근거, Rubin의 HBM4 핀 속도 요구에 대한 보강 자료는 동반 노트 CPO에 관하여 (Part 1–2)와 Vera Rubin Decoded (Part 2)에서 가져왔다. 0 · Refresher — 왜 광학인가, 왜 단계적인가 0.1 진짜 범인은 die edge (shoreline) "shoreline"이 뜻하는 것 칩은 하나의 섬에 가깝다. 전력·메모리·네트워크 등 모든 외부 연결은 칩의 둘레를 건너야 한다. 그 둘레는 die 크기로 정해지고, 그 위에 배치할 수 있는 유효 I/O lane 수가 곧 shoreline (=beachfront)이다. 데이터 이동량이 커질수록 병목은 코어가 아니라 이 "칩의 둘레"가 된다. 하나의 문제를 두 관점으로 바라보면 한쪽은 이를 shoreline 문제라 부르고, 다른 쪽은 메모리 대역폭을 "I/O 밀도 문제"로 본다. 동일한 문제를 서로 다른 각도에서 설명하고 있을 뿐이다. Logic die 주변을 HBM이 둘러싸고, SerDes I/O가 같은 가장자리를 놓고 경쟁한다. "새로운 패러다임이 필요하다." 0.2 구리의 세 가지 한계점 SerDes & PHY SerDes (Serializer/Deserializer)는 고속 직렬 비트 스트림을 구리선에 싣고, 반대편에서 다시 복원하는 회로다. PHY: 채널과 물리적으로 맞닿는 더 넓은 아날로그 프런트엔드. 둘 다 die 가장자리에 자리 잡아 shoreline·전력·면적을 잡아먹는다. 세 가지 한계점 도달 거리. 구리선을 탄 고속 전기 신호는 ~2 m를 넘어서면 급격히 약해진다. NVLink는 지금 GPU당 ~7.2 Tb/s 속도로 네트워킹이 가능하나 (Rubin은 ~14.4 Tb/s 목표), 그건 단일 랙 내에서만 가능하다. Copper scale-up 도메인을 랙 외부로, 무한히 확장할 수는 없다. 비선형 전력. Broadcom에 따르면 최근 스위치 세대들에서 대역폭이 ~80배 오르는 동안 시스템 전력은 ~22배 올랐고, SerDes/광학 전력은 코어 로직보다 3배 이상 빠르게 늘었다. 비트가 더 필요해지는 바로 그 지점에서 비트당 전력 효율이 악화된다. 고속에서의 insertion loss. 단일 구리선 내 전기신호의 속도를 224 Gbit/s (그리고 "진짜" 448G)까지 밀어붙이면 신호 무결성의 벽에 부딪힌다 — bump, via, trace, 커넥터 하나하나가 신호를 깎아먹는다. PAM4로 단일 lane에서 448G의 속도를 내려면 ~244 Gbaud가 필요한데, 전력과 손실 측면에서 감당하기 어렵다. Nvidia가 채널당 448G에 도달하는 방식도 두 lane을 사용한 양방향 SerDes (한 채널을 224G Tx + 224G Rx가 나눠 쓰는 방식)를 통해서지, 단일 lane을 통한 단방향 448G는 아니다. PAM4 Pulse Amplitude Modulation, 4 레벨 — 자리당 1비트 대신 2비트 (전압 4단계)를 실어, 같은 baud rate에서 비트율을 두 배로 만든다. 더 밀어붙이면 (PAM6/PAM8) 비트는 얻지만 신호 마진과 전력을 잃는다. 212 Gbps에서는 신호가 커넥터에 닿기도 전에 ~20 dB를 잃는다 — 따라서 "특화된 ASIC과 CPO 인터커넥트의 개발을 요구한다." 0.3 왜 광학인가, 그리고 핵심 지표들 광학은 정말 중요한 지표에서 이긴다: 네트워킹 거리가 증가해도 유지되는, 에너지당 대역폭 밀도. 구리를 통한 전기 링크는 도달 거리에 따라 신호 품질이 지수적으로 감소하지만, 광학 링크는 거의 변함없다. 업계 격언은 "되도록 가능한 곳엔 구리, 어쩔 수 없는 곳엔 광학"인데, 그 "어쩔 수 없는" 선이 점점 칩 쪽으로 다가오고 있다. Pluggables → CPO 광학은 단계적으로 칩에 가까워진다. 각 단계는 광신호 변환 직전의 전기 구간을 줄이고, 그 결과 DSP (Digital Signal Processor)를 떼거나 SerDes 부담을 낮출 수 있다. 전력 수치는 800G 기준이다. Traditional pluggables — 엔진이 전면 패널 cage (~15–30 cm)에 있다. 긴 PCB 경로 때문에 DSP가 필요하다. ~30 W; 전면 패널 hot-swap. LPO (Linear Pluggable) — 같은 cage를 쓰되 DSP를 떼어내 그 부담을 호스트로 넘긴다. ~15–18 W. OBO와 CPO 사이의 한 단계가 아니라 pluggable의 한 갈래다. OBO (On-Board Optics) — 엔진을 보드 중앙부에 납땜한다 (~수 cm). 여전히 DSP가 필요하고, 납땜형이라 현장 교체가 어렵다. ~20 W. "양쪽의 최악" (CPO의 복잡함 + pluggable의 한계)에 가깝다. NPO (Near-Packaged Optics) — 광학 엔진이 패키지 근처, 흔히 소켓에 꽂는 별도 substrate에 놓인다. SerDes까지는 여전히 짧은 구리선 구간이 남지만, DSP는 간소화할 수 있다. ~15 W; 모듈 단위 교체 가능. 위험이 낮은 중간 단계다. CPO (Co-Packaged Optics) — 엔진이 호스트 패키지 위 (~10 mm)에 올라간다. long-reach SerDes와 transceiver DSP를 없앤다. ~5 W; 패키지 단위 교체. OE (Optical Engine) = PIC (Photonic IC — modulator·waveguide·detector) + EIC (Electronic IC — driver·TIA·제어 로직). 각 단계를 아키텍처 단면도로 보면 다음과 같다. 기준점에서 시작해, 단계마다 optics를 ASIC 쪽으로 당겨 온다: 기준점 — traditional pluggables: 모듈이 전면 패널 cage에, ASIC에서 손실 PCB로 15–30 cm 떨어져 있다. 그 긴 전기 구간이 바로 DSP가 복원해야 할 대상이다. OBO: 모듈이 ASIC 근처 보드 중앙부로 옮겨 오지만, 수 cm의 PCB 구간은 남는다 — 그래서 DSP도 남는다. 광신호는 내부 fiber jumper를 타고 전면 패널에 닿는다. NPO: 광 엔진이 같은 PCB 위 별도의 교체 가능한 패키지로 ASIC 옆에 놓인다 — 전기 구간이 훨씬 짧고 DSP는 간소화할 수 있다. ASIC, EIC, PIC를 나란히 둔 모습 — 광 엔진을 호스트 substrate에 올려 전기 경로를 ~mm로 줄이고 DSP를 아예 없애는 건 CPO뿐이다. DSP: 비용과 전력의 핵심 표적 Pluggable transceiver에서 DSP는 긴 구리선 구간을 지나며 열화된 전기 신호를 리타이머를 통해 복원한다. 너무 멀리 보내 손상된 신호를 되살리기 위한 회로다. DSP는 800G 모듈 전력의 ~50% (30 W 중 ~20 W)이고 BoM의 20~30%다. 게다가 transceiver 자체가 클러스터 TCO의 ~10%를 차지할 수 있다. 그래서 DSP는 비용과 전력 양쪽에서 가장 큰 지렛대 중 하나다. CPO를 통해 전기 신호의 이동 구간을 줄이면 DSP는 더 이상 필요 없다. 계산 예시: 18k-GPU 규모의 GB300 클러스터를 2-layer InfiniBand fabric으로 묶으면 800G transceiver ~18,432개 + 1.6T transceiver ~27,648개가 필요하다. DSP당 6–7 W (800G), 12–14 W (1.6T)를 소비한다고 잡으면, back-end 네트워크에만 DSP 전력 ~480 kW (랙당 ~1.8 kW)가 들어간다. 여기가 공략 지점이다. DSP vs CPO — 링크 단위로는 크지만 클러스터 단위에서는 희석된다 DSP transceiver를 CPO로 바꾸면: transceiver 전력 −84% 절감, 네트워킹 전력 −23% 절감이 가능하지만, 총 클러스터 전력으로는 ~2% 절감에 그친다. (3-Layer 네트워크 클러스터 기준) 개별 링크 단위 기준: 상당한 절감효과를 이룰 수 있다. DSP 기반 pluggable과 CPO 광 엔진 (OE) + 외부 레이저를 대역폭 800G로 정규화해 비교하면: 800G DR4 pluggable: ~16–17 W 소비에서 → CPO OE + 레이저: ~4–5 W 소비 = ~73% 감소. 800G 2×FR4 pluggable: ~15 W 소비에서 → OE + 레이저: 5.4 W 소비 = ~65% 감소. 모듈 종류도 다르고 별개의 연구인데도 같은 범위로 떨어진다는 점이 결과의 신뢰도를 높인다. 어떻게 이런 가파른 절감이 가능한지: DSP가 pluggable 전력의 대부분을 차지한다. CPO는 짧은 전기 구간 덕에 그 규모의 전력 소보가 불필요하고, 이 하나의 절감이 CPO의 대표 수치인 링크당 ~50–80% 전력 절감에 가장 크게 기여한다. 클러스터 단위 기준: 클러스터 규모에서는 희석된다. 3-layer GB300 NVL72 클러스터 전반에서 DSP transceiver를 CPO로 바꾸면 transceiver 전력은 ~84%, 네트워킹 전력은 ~23% 줄어든다. 하지만 네트워킹은 클러스터 전력의 ~9%에 불과해서, 총 클러스터 전력은 ~2%밖에 안 줄어든다 (2-layer 망에서도 ≤~4%). 비용도 마찬가지다: 네트워킹 비용 −21%지만 총 클러스터 비용은 −3% (2-layer 망에서 최대 −46% / −7%). 따라서 scale-out 쪽은 전력 절감의 상한이 낮고, 전략적 견인력은 scale-up에 있다. 전력 2–4% / 비용 3–7% 절감만으로는 서비스 용이성·신뢰성·vendor lock-in에 대한 우려를 안고 뛰어들기 어렵다. CPO가 "있으면 좋은" 게 아니라 반드시 필요한 곳은 scale-up이다 — copper/SerDes 스케일링이 물리적 벽에 부딪히는 영역이며, 광학의 영역이 scale-out에서 scale-up 순으로 확장되는 이유도 바로 이것이다. 0.4 왜 단계적이어야 하나 SerDes를 곧바로 CPO로 갈아끼울 수는 없다. 광학은 integration ladder (통합의 사다리)를 오른다. 단계가 올라갈수록 die에 더 가까워지고 비트당 비용은 낮아지지만, 구현 난도는 높아진다: 단계적 경로: copper/pluggables → NPO → 2D CPO → 3D CPO → 3D photonic interposer. 발목을 잡는 건 물리적 한계가 아니라 경제성과...

NVIDIA (NASDAQ: NVDA) 는 하드웨어 설계부터 소프트웨어 스택까지 모든 인프라에 end-to-end 솔루션을 제공할 것. 본격적인 agentic-driven 소프트웨어 스택 시대의 개막, 이를 위한 필수 하드웨어로 Vera CPU를 더욱 주목함. 1. NVIDIA DSX DSX는 AI 팩토리 구축에 필요한 칩, 시스템, 소프트웨어, 데이터센터 시설, 파트너 기술 전반을 통합한 플랫폼으로, 토큰당 비용을 최소화하고 초기 생산 가동 시점을 단축하는 데 초점을 맞춤. Jensen Huang은 “칩만 공급하는 것이 아니라 AI 팩토리 구축을 위한 완전한 플레이북을 제공하는 것”이라며 “투자 전에 전체 팩토리를 시뮬레이션하고, 랙 설치 전 성능을 검증하며, 생산 환경에 필요한 수준의 안정성을 확보할 수 있다”고 밝힘. 신규 핵심 구성 요소: DSX MaxLPS: 전력 예산 내에서 메가와트당 토큰 처리량을 극대화하는 소프트웨어 제품군. 45도 액체 냉각과 전력 효율 최적화로 최대 40% 더 많은 GPU를 에너지 효율이 가장 높은 구간에서 운영 가능. DSX OS: AI 팩토리 운영을 위한 오픈소스 운영 소프트웨어. 수명주기 관리, 지능형 스케줄링, 상태 자동화, 복원력, 멀티테넌트 운영 기능 제공. 기존 플랫폼 구성 요소: DSX Reference Design: 컴퓨팅, 네트워크, 스토리지, 전력, 냉각을 아우르는 검증된 AI 팩토리 설계 아키텍처. DSX Sim: 설계부터 운영까지 인프라를 시뮬레이션·최적화하는 디지털 트윈 기반 플랫폼. DSX Flex: 전력망과 AI 팩토리를 연결해 수요반응, 전력가격 변동, 재생에너지 활용 등을 자동 조정. DSX Exchange: 컴퓨팅, 네트워크, 전력, 냉각 시스템 데이터를 통합 연동하는 플랫폼. 파트너 동향: 클라우드 사업자 (CoreWeave (NASDAQ: CRWV), Crusoe, IREN (NASDAQ: IREN), Lambda, Nebius (NASDAQ: NBIS), Nscale, Yotta Data Services 등)와 협력해 DSX Sim·DSX MaxLPS·DSX OS를 배포 중. Dell Technologies (NYSE: DELL), HPE (NYSE: HPE), Lenovo (HKG: 0992), Supermicro (NASDAQ: SMCI) 와 함께 ASUS (TPE: 2357), Foxconn (TPE: 2317), Gigabyte (TPE: 2376), Pegatron (TPE: 4938), Quanta Cloud Technology (QCT, TPE: 2382), Wistron (TPE: 3231), Wiwynn (TPE: 6669) 등도 DSX 지원...

시리즈 안내 ⎯ Series Map Part 1: 플랫폼 개요와 아키텍처 맵 — Blackwell → Rubin 플랫폼의 핵심과 주요 사양 Part 2: Rubin GPU 엔지니어링 심층 분석 — process node, SM, HBM4, NVLink-C2C, 패키지, CPX와 Groq 3 LPX Part 3: Vera CPU와 네트워킹 실리콘 제품군 — Vera CPU, NVLink 6 Switch, ConnectX-9, BlueField-4, Spectrum-6 Part 4: 랙 조립 — 트레이, PCB, 쿨링 — HGX와 NVL72, 컴퓨트 트레이 모듈, cableless 미드플레인, PCB 업그레이드, 액체 냉각 Part 5: 랙 전력과 네트워킹 fabric — 전력 공급, HVDC, tray ↔ rack 배선, scale-up NVLink 6, scale-out InfiniBand와 Ethernet Part 6 (현재 글): 공급망 마스터 레퍼런스 — sub-system별 공급사 정리 ⚠️ 확정적인 공급사 목록이 아니라, 정보를 토대로 한 추정. 이 파트는 공개적으로 접근 가능한 리서치와 institutional 데이터 — sell-side 애널리스트 노트, 공급사 실적 발표, OCP / GTC 공시, 한국·대만 산업 리포트, 주요 기업 공시 — 를 한데 모아 정리한 educated guess다. Vera Rubin 플랫폼 전반의 벤더 관계, 점유율 분할, 매출 배분은 대부분 NDA로 제한된다. 따라서 아래 내용은 권위 있는 출처가 아니라 방향성 레퍼런스로 받아들이는 편이 안전하다 — 수치와 공급사 매핑에는 빠진 부분, 오기, 잘못된 추정이 섞여 있을 수 있고, 전체적인 산업의 흐름 자체도 빠르게 움직이고 있다. 📝 범위 — 부품 제조사로 한정. 이 파트가 다루는 대상은 Vera Rubin 플랫폼 안에 들어가는 부품을 만드는 공급사다 — 실리콘 파운드리, 메모리, PCB / CCL, copper foil, 액체 냉각, 전력 공급, NVLink optic, scale-out 네트워킹, 시스템 어셈블리 파트너 등이 여기에 해당한다. 완성된 시스템을 재판매용으로 조립하는 서버 시장 OEM / ODM (Dell, HPE, Lenovo, Supermicro 류)은 범위 밖이며, 이 파트에서는 다루지 않는다. 공급사를 sub-system별로 가로질러 보는 시각이다. 엔지니어링 맥락은 Part 2 / Part 3 (칩) 그리고 Part 4 / Part 5 (tray-to-rack 어셈블리 + 전력 + 네트워킹 fabric)를 함께 보면 좋다. Sub-System Index Silicon — Logic & Memory Substrate, PCB & CCL Liquid Cooling Rack-Level Power Delivery NVLink 6 — Scale-Up Interconnect PCIe 6.0 / Internal Interconnect Quantum-X800 — InfiniBand Scale-Out Spectrum-X — Ethernet Scale-Out System Integration & Assembly Cross-Subsystem Heatmap 1. Silicon — Logic & Memory Vera Rubin은 7개의 서로 다른 실리콘 제품으로 출하된다 — Nvidia 자체 설계 칩 6개 (Rubin GPU, Vera CPU, NVLink 6 Switch, ConnectX-9, BlueField-4, Spectrum-6) + 새로 라이선스 된 Groq 3 LPU. Groq 3 LPU (코드네임 LP30)는 Groq 3 LPX 랙 안에 들어간다 — 2026년 3월 체결, ~USD 20B. 모든 칩은 외부 파운드리에서 제조된다. 메모리는 별도의 DRAM 생태계에서 공급된다 — GPU용 HBM4, CPU용 LPDDR5X, switch host용 DDR5, Groq용 on-chip SRAM. → naming 규칙: LPU는 Groq 칩 한 개 (Groq 3 LPU = LP30)를 가리키고, LPX는 32 tray에 걸쳐 256개의 LPU를 담는 통합 랙 시스템을 뜻한다. 이 파트 전반에서 두 용어는 서로 바꿔 쓸 수 없다. Chip 아키텍처 & ISA 계보 플랫폼은 세 가지 ISA 패밀리 — Nvidia GPU, ARM (두 종류), x86 — 와 Groq의 TSP, 그리고 표준 ARM 기반 BMC까지 랙 한 대 안에 포함된다. 랙 안에 Nvidia ARM CPU 두 종이 들어간다 — Vera (새로 도입된 Olympus core, TSMC N3P)와 BlueField-4 (Grace die를 재활용했다). AMD x86 CPU — Spectrum-X switch host로 쓰인다. switch 관리에 있어 업계가 기본으로 가져가는 선택이다. 삼성에서 만드는 Groq TSP — 오늘날 플랫폼에서 유일한 non-TSMC 실리콘이다 (LP30 / LP35는 SF4X). Feynman 세대의 차세대 LP40에서는 TSMC N3P로 옮겨 간다. Rubin CPX는 로드맵에서 빠졌다 (GTC 2026). 해당 prefill / decode 워크로드는 이제 Groq 3 LPX Rack이 떠맡는다. AST2600 (ARM Cortex-A35) — 모든 레퍼런스 SMM 위에 올라가는 BMC. 사실상 업계 표준이다. Chip별 메모리 칩별 메모리 매핑 — 어떤 종류의 메모리가, 몇 개씩, 어디에서 들어오는지를 정리한다. HBM4가 플랫폼에서 가장 비싼 메모리이다 — 288 GB × 72 GPU × 18 tray = VR NVL72 랙당 ~20.7 TB HBM4. LPDDR5X는 플랫폼 내부 구성 수량이 가장 많다 — 랙 수준에서 Vera CPU와 BlueField-4 DPU를 합치면 3.4 TB LPDDR5X에 이른다. Rubin은 2027년에 6B GB 이상의 LPDDR을 소비할 것으로 추정된다 (Apple iPhone과 삼성 스마트폰의 합산 소비량을 넘는다). Groq의 SRAM-only 설계는 플랫폼에서 가장 큰 메모리 경제학적 분기점이다 — HBM 대역폭을 on-die SRAM (랙당 합쳐서 40 PB/s)으로 대체하고, 외부 DRAM은 아예 쓰지 않는다. 원래 Rubin CPX가 떠맡으려 했던 decode phase를 정조준한다. SOCAMM2 vs LPCAMM2 — SOCAMM2는 Nvidia가 독점적으로 정의한 서버용 사양, LPCAMM2는 JEDEC의 client/laptop 사양이다. Vera CPU는 Micron의 256 GB "2 TB / CPU" 경로에서도 SOCAMM2만 사용한다. 세 벤더 (하이닉스 / Micron / 삼성) 모두가 Vera Rubin용 SOCAMM2를 공급한다. Logic 파운드리 용량 현실. 진짜 병목은 logic 공정 wafer가 아니라 CoWoS-L 고급 패키징이다. Jensen Huang의 발언을 인용하자면: Nvidia는 "Vera Rubin의 전 생애 주기 동안 supply constrained 상태일 것이다". Node 로드맵 Nvidia는 N2를 건너뛰고 Feynman을 A16 (backside power, 2027 양산)에 맞춰 두었다. Apple (AAPL)은 A20 / M5용으로 TSMC 2026년 N2 capacity의 50% 이상을 이미 챙겨 둔 상태다. HBM4 메모리 (Rubin GPU용) 양산 단계의 현실: 초기 Rubin 출하분은 22 TB/s 헤드라인이 아니라 ~20 TB/s 수준에 머물 것으로 보인다. 세 벤더의 2026년 HBM capacity는 hyperscaler·Nvidia와 묶은 다년 Strategic Customer Agreement로 이미 전부 매진된 상태이고, 2026년의 상당 부분에 대한 가격도 2025년 말에 미리 정해졌다. LPDDR5X (Vera CPU용 — SOCAMM 모듈) Micron이 Vera의 LPDDR5X 중 ~30%를 가져갔고, 나머지는 삼성과 SK하이닉스가 나눠 가진다. 눈에 띄는 지점은 Micron이 HBM4에서는 사실상 제외되었지만, LPDDR에서는 의미 있는 점유율을 챙겼다는 사실 — LPDDR은 HBM과는 별개로 분류되기 때문이다. 수요 쪽 규모: Rubin은 2027년에 6B GB 이상의 LPDDR 메모리를 소비할 것으로 전망되며 — Apple iPhone과 삼성 스마트폰의 LPDDR 소비를 합친 양보다도 많다. SOCAMM2 소켓 공급사 — Lotes (3533.TW): Vera Rubin용 SOCAMM2 소켓 공급사로 확정. tray당 소요량: Vera CPU 1개당 SOCAMM2 모듈 8개 × CPU 16개 = NVL72 compute tray당 SOCAMM2 모듈 128개. 플랫폼 전체 SOCAMM2 소켓 수요는 8.7M개로 추정. 2027년 Lotes 공급 예상 ~1.6M개 — Foxconn / Quanta / Wistron / Inventec ODM 채널을 통해. 2025 full-year 매출은 AI 서버 connector 수요로 USD 1B를 돌파. 경쟁사 — Amphenol, TE Connectivity, Molex, FIT, BizLink. TSMC CoWoS-L 용량 할당 Rubin GPU는 TSMC의 9.5-reticle CoWoS-L 패키지를 쓴다. COUPE는 2027년부터 HBM4/4E 12개 통합을 받쳐 준다. 애널리스트 출하 전망: 2026년 Rubin 80만 대 → 2027년 320만 대, ASP ~USD 32K 기준 — 2027년 플랫폼 매출은 ~USD 102B 수준에 닿는다. 대안 플랫폼 구성 — HGX/DGX Rubin NVL8 & Vera CPU Rack 이 파트의 본문은 VR NVL72를 기준으로 쓰여 있지만, 추가적으로 설계된 두 가지 종류의 구성이 실리콘 공급사 폭을 넓혀 준다 — 가장 큰 변화는 x86 host 경로를 통해 Intel이 Rubin 플랫폼 안으로 들어온다는 점이다. (1) HGX/DGX Rubin NVL8 — x86 host 경로. 8-GPU 서버 레퍼런스 (vs 72-GPU NVL72 랙). Host CPU: Intel (INTC) Xeon 6 (6700P-Series) — 시스템당 2개 탑재. Host 메모리: DDR5-6400 RDIMM 32개, 최대 4 TB. GPU + HBM: NVL72와 동일 — Rubin GPU 8개, HBM4는 동일한 3-공급사 풀에서 공급 (SK하이닉스 선두, 삼성, Micron). 네트워킹 + 스토리지: ConnectX-9, BlueField-4, Micron (MU) PCIe Gen 6 E1.S 모두 그대로 이어진다. 왜 x86인가 / 왜 Intel인가? 소프트웨어 incumbency. AI 프레임워크, 오케스트레이션 스택, 레거시 enterprise 소프트웨어를 ARM (Vera 경로) 위로 옮겨 심으려면 여전히 적지 않은 시간과 노력이 든다. 반면 x86 스택은 당장 오늘부터 출하할 수 있는 상태다. Brownfield 고객 베이스. Enterprise 데이터센터, telco 인프라, hyperscaler의 레거시 컴퓨트 풀, 전통적인 HPC 고객들은 배포 안정성·OEM 검증·잘 익은 ecosystem·예측 가능한 리드타임을 이유로 Xeon 6를 선호한다. AMD scarcity at the edge. AMD EPYC는 x86 영역에서 기술적으로 어깨를 나란히 하는 옵션이지만, high-core SKU의 대부분이 hyperscaler 내부 할당에 묶인다 — 그래서 enterprise 규모에서 손에 잡히는 기본 x86 SKU는 Intel이 된다. CPU:GPU 비율의 변화. Inference와 agentic AI가 비율을 1:8에서 1:1 쪽으로 끌고 가는 흐름 속에서, x86 incumbency의 가치는 오히려 더 올라간다 — 특히 GPU 옆에 붙어 일하는 orchestration·control-plane CPU 영역에서 그렇다. (2) Vera CPU Rack — standalone. 최대 Vera CPU 256개로 구성되는 별도 랙. 메모리: SOCAMM2 전용 — LPCAMM2는 어떤 Nvidia 시스템에서도 쓰이지 않는다. 공급사 매핑은 NVL72 Vera 소켓 (§ 1 Chip별 메모리)과 같다 — SK하이닉스 192 GB (MP 2026년 4월), Micron 192 GB (MP 2026년 3월, 256 GB 샘플 경로로 2 TB / CPU까지 닿는다), 삼성 (2025년 샘플 → 2026년 초 MP). 확정 고객: Oracle (ORCL), CoreWeave (CRWV), Nebius (NBIS), Alibaba (BABA) — 이미 x86 아키텍쳐에 의존하지 않는 greenfield AI-native 진영. 옆에 놓이는 랙: Groq 3 LPX 랙은 일부...

시리즈 안내 ⎯ Series Map Part 1: 플랫폼 개요와 아키텍처 맵 — Blackwell → Rubin 플랫폼의 핵심과 주요 사양 Part 2: Rubin GPU 엔지니어링 심층 분석 — process node, SM, HBM4, NVLink-C2C, 패키지, CPX와 Groq 3 LPX Part 3: Vera CPU와 네트워킹 실리콘 제품군 — Vera CPU, NVLink 6 Switch, ConnectX-9, BlueField-4, Spectrum-6 Part 4: 랙 조립 — 트레이, PCB, 쿨링 — HGX와 NVL72, 컴퓨트 트레이 모듈, cableless 미드플레인, PCB 업그레이드, 액체 냉각 Part 5 (현재 글): 랙 전력과 네트워킹 fabric — 전력 공급, HVDC, tray ↔ rack 배선, scale-up NVLink 6, scale-out InfiniBand와 Ethernet Part 6: 공급망 마스터 레퍼런스 — sub-system별 공급사 정리 Part 4에서 이어진다. 동일한 NVL72 랙을, 이제는 전력 공급에서 시작해 네트워킹 fabric 이후까지 살펴본다. (8) 전력 공급 — AC 전원에서 칩까지의 사슬 랙당 TDP: 180~220 kW (GB200/GB300은 120~140 kW). 전력 공급 과정은 세 단계로 나뉜다. Step 1: AC 전원 → 50 V DC (rack power shelf) 랙 상단과 하단에 3~4개의 power shelf가 자리하며, 각각 110 kW를 담당한다 (N+1 redundancy 구성으로 220 kW 피크 부하에 대해 330 kW까지 공급 가능). 각 shelf는 3U 높이로, 내장 capacitor를 갖춘 18.3 kW PSU를 6개 탑재한다. Input: 두 가닥의 100A whip을 통한 3상 415~480 VAC. Output: 5,000 A 이상 정격의 liquid-cooled busbar로 공급되는 50 VDC (GB200은 2,900 A 수준이었다). 왜 liquid-cooled인가? 이 정도 전류 수준에서는 busbar 자체도 꽤 많은 열을 내뿜는데, 랙 안에는 그 열을 식혀 줄 fan이 따로 없기 때문이다. Step 2: 50 V busbar → compute tray (다이어그램의 노란 점선 경로) tray는 후면에서 rack busbar에 끼워 맞춰진다. 내부 busbar 케이블이 50 V를 두 갈래로 나눠 보낸다. Strata Module (50 V를 직접 받는다 — 전류가 너무 커서 중앙 집중식 12 V rail로는 효율이 떨어지므로, Strata가 보드 위에서 직접 강압한다). 전면의 Power Delivery Module (전면의 작은 module들을 위해 50 V → 12 V 변환을 한 곳에서 처리한다). Step 3: 50 V → 12 V → 1 V (각 보드 위에서) Strata board는 50 V → 12 V용 자체 IBC (Intermediate Bus Converter)와 12 V → ~1 V용 VRM을 갖추고 GPU/CPU die에 직접 전원을 공급한다. PDB는 Orchid·BF-4·Mgmt module을 위한 50 V → 12 V 변환을 맡으며, 짧은 내부 busbar를 통해 해당 module들로 12 V를 나눠 보낸다. 왜 tray에 12 V가 아니라 50 V를 보내는가 wire 위의 전력 손실은 전압이 아니라 전류의 제곱에 비례 (I²R) 한다. 50 V에서 4,800 W를 공급한다면 96 A로 충분하지만, 12 V로 공급하려면 400 A가 필요해진다. 즉, 강압을 늦추고 더 높은 전압을 칩 근처까지 끌고 가면, 그 구간의 전력 손실이 17배 줄어든다. Vera와 Rubin 사이의 "Power Sloshing" GB300에서 이어 온 기능 — Strata 보드의 4,800 W 전력 예산을 Rubin GPU 2개와 Vera CPU 1개가 동적으로 나눠 쓴다. GPU-heavy 부하에서는 각 Rubin이 2,300 W까지 끌어다 쓸 수 있고 (그러면 Vera에는 200 W가 남는다), GPU가 idle이거나 derate 되면 그 여유분을 Vera가 받아 가져갈 수 있다. 양쪽이 동시에 worst-case로 돌아가는 상황을 대비해 전원을 과하게 잡아 둘 필요가 없다는 뜻이다. (9) 랙 단위 전력 — HVDC, BBU/CBU, Hyperscaler 변형들 랙 수준의 레퍼런스 설계 (3U 110 kW power shelf 4개 → 50 V liquid-cooled busbar)는 § 8 Step 1에서 다뤘다. 이 섹션은 hyperscaler가 해당 레퍼런스에서 벗어나면서 시도하는 변형들을 살펴본다 — 랙당 TDP가 이미 180~220 kW에 다다랐고, 다음 한두 세대 안에 랙당 1 MW를 향해 올라간다는 흐름이 이를 끌고 가는 동력이다. 이탈 양상은 크게 두 갈래로 나뉜다: 더 높은 전압으로의 분배 — HVDC power rack이 GPU rack 안쪽의 50 V step-down shelf에 공급하는 구조. 에너지 저장의 통합 — peak shaving과 grid bridging을 위해 BBU + CBU shelf를 옆 rack으로 옮긴 구조. 1) Option A — HVDC (High-Voltage DC) Power Rack 일부 hyperscaler는 별도의 power rack을 훨씬 더 높은 DC 전압에서 운영하고, 이를 수평으로 GPU rack에 공급한다. 통용되는 전압 표준은 두 가지다. 800 VDC — Nvidia 사양. ±400 VDC — OCP (Open Compute Project) 사양. HVDC 공급의 동작 방식 AC 전원 → power rack에서 800 VDC (또는 ±400 VDC)로 변환한 뒤, 두꺼운 도체를 통해 분배. 수평 800 VDC busbar (또는 케이블)가 인접한 GPU rack들과 power rack을 연결. GPU rack 내부에서는 DC-DC step-down shelf가 800 VDC → 50 VDC로 변환해 표준 rack busbar에 공급. 그 이후의 공급 경로는 AC 레퍼런스 설계 (§ 8)와 동일하다. HVDC가 의미 있는 이유 power rack과 compute rack 사이의 긴 수평 구간에서 I²R 손실이 낮다 (tray 안에서 12 V 대신 50 V를 정당화했던 I²R 논리를 더 큰 스케일에 그대로 가져온 셈이다). Standalone power rack은 전력 인프라를 compute rack에서 떼어낸다 — 업그레이드와 교체가 수월하고, 여러 compute rack이 함께 쓰기에도 적합하다. AC → HVDC 변환 단계에서 Solid-State Transformer (SST) 를 끼워 넣을 수 있게 된다 — 랙 단위 전력 관리의 알갱이가 한층 더 잘게 쪼개진다. 다만 이를 받쳐 줄 공급망은 아직 자리 잡는 중이다. 2) Option B — Meta의 "High Power Rack" (BBU + CBU + Switching) OCP 2025에 공개된 Meta의 변형은 추가 전력 인프라를 compute rack 자체가 아니라 옆에 둔 rack에 합쳐 넣는다. 그 보조 rack에는 다음이 담긴다: BBU (Battery Backup Unit) — grid 흔들림이나 짧은 정전 상황을 버티기 위한 단기 배터리 백업. CBU (Capacitor Backup Unit) — peak shaving을 맡는 sub-second 단위의 capacitor bank (AI 워크로드의 transient 전력 스파이크를 grid에 부담을 주지 않고 받아낸다). Network switching — serviceability와 밀도를 위해 같은 보조 rack에 co-located. 왜 별도의 rack인가? BBU와 CBU shelf는 부피가 너무 커서 GPU rack에 함께 담기 어렵다. 옆 rack으로 옮겨 두면, GPU rack 혼자서는 감당할 수 없는 규모의 에너지 저장 용량을 Meta가 마련할 수 있다. GPU rack과 high-power rack은 수평 50 V busbar를 통해 이어진다. 3) 이 규모에서 에너지 저장이 중요한 이유 AI training은 많은 GPU가 같은 연산 단계를 동시에 반복하기 때문에, 전력 수요가 완만하게 증가하는 것이 아니라 짧은 순간에 동시다발적으로 급증하는 특성을 가진다 — forward-pass / backward-pass 단계에서 클러스터 안의 모든 GPU가 한꺼번에 ramping 되기 때문이다. 랙 합산 kW 수준에서, 이런 transient는 utility grid에 부담을 주고 보호 회로를 작동시킬 수 있다. CBU peak-shaving은 sub-second 단위의 스파이크를 로컬 랙 단위에서 완화시키고, BBU bridging은 더 긴 이벤트 동안 워크로드를 떨어뜨리지 않은 채로 버텨 낸다. 두 장치가 함께 맞물려 돌아가면서, AI 워크로드가 grid 안정성 문제로 번지는 일을 막아 준다. 4) 공급사 지형 랙 단위 전력 생태계 — AC/DC 변환, 50 V vs 800 VDC 분배, BBU/CBU 통합, liquid-cooled busbar, SST 로드맵, 그리고 벤더별 상업 조건·타임라인 (Lite-On, Delta, Flex, Vertiv, Eaton, Advanced Energy, Hitachi Energy, GE Vernova, TE Connectivity, Amphenol) — 은 Part 6 § 4 (Rack-Level Power Delivery)에 통합 정리되어 있다. 대부분의 비-hyperscaler 구매자에게는 표준 110 kW power-shelf 4개로 구성된 레퍼런스 설계가 그대로 출하된다. HVDC와 BBU/CBU rack 아키텍처는 사실상 hyperscaler 커스터마이즈 영역에 해당한다. (10) Tray → Rack — Tray가 어떻게 VR NVL72 랙을 구성하나 이 섹션은 bottom-up으로 풀어 간다 — 먼저 compute tray 한 대 안의 모든 internal lane을 짚어 본 뒤, 그 tray들이 랙 중앙의 NVLink switch tray와 어떻게 이어져 하나의 72-GPU 가속기로 묶이는지를 살펴본다. 1) Rack 수준 개요 랙은 18 compute tray + 9 NVLink switch tray + 4 power shelf를 19인치 캐비닛 한 대 안에 쌓아 올린다. 각 compute tray는 랙 후면의 NVLink backplane에 슬롯에 삽입된다. NVLink backplane은 compute-tray midplane과는 별개의 물리 계층이다 — passive copper backplane으로, 각 Strata module에서 NVLink Switch Tray로 NVLink 6 신호를 나른다. 9개의 switch tray (각각 칩 4개 = 합쳐서 36개의 NVLink 6 switch 칩)가 랙 중앙에 자리잡아, 모든 GPU가 다른 모든 GPU와 full all-to-all 토폴로지로 이어지도록 한다. 50 V liquid-cooled busbar가 랙 한쪽 면을 따라 수직으로 지나가며 모든 tray에 전원을 공급한다. 4개의 power shelf — 랙 상단 (U41~44)에 2개, 랙 하단 (U4~9)에 2개 — 가 위·아래 양쪽에서 그 busbar에 전원을 공급한다. 2) 단일 Compute Tray 내부 (1U · Vera CPU 2개 + Rubin GPU 4개) 한 compute tray 내부의 네트워크 lane 배선. Strata module부터 바깥 방향으로 읽는다. 단일 Strata Module 내부 — Rubin GPU ↔ Vera CPU ↔ Rubin GPU 각 Strata module은 Vera CPU 1개 + Rubin GPU 2개를 담는다. 각 Rubin은 두 개의 병렬 경로로 Vera와 이어진다. NVLink-C2C (coherent path): GPU↔CPU 쌍당 NVLink 6 C2C lane 1개 — 1.8 TB/s 속도로 coherent 메모리 트래픽을 전송한다. PCIe path: GPU↔CPU 쌍당 PCIe Gen6 lane 1개 — 관리 / secondary I/O 용도. Strata module당 GPU↔CPU 2쌍이 있다 (각 Rubin GPU에 하나씩). 두 Strata Module 사이 — Vera CPU ↔ Vera CPU 두 Vera CPU (Strata당 하나)는 tray가 하나의 coherent compute가 가능하도록 연결되어 있다. Vera ↔ Vera: NV-CLink lane 8개. Rubin GPU ↔ NVLink Switch Tray (rack-scale 경로) 각 Rubin GPU는 tray 밖, rack 단위 NVLink fabric에 직접 이어진다. Rubin GPU ↔ NVSwitch: 랙 후면의 NVLink backplane을 따라가는 NVLink 6 GPU-to-GPU lane. 이것이 all-to-all rack-scale 경로다 — 전체 토폴로지는 § 11에서 다룬다. Vera CPU ↔ Orchid Module (scale-out 네트워킹 + 로컬 스토리지) 각 tray에 4개의 Orchid module이 있고, 각각 2개씩의 ConnectX-9 (CX-9) NIC를 담는다. Orchid module당: Vera ↔ CX-9: CX-9당 16개의 PCIe Gen6 lane (module 위 두 CX-9 합쳐 32개). CX-9 ↔ CX-9 (peer link): 동일 Orchid 위 두 CX-9 사이의 1개의 PCIe Gen5 lane. 왼쪽 CX-9 ↔ E1.S NVMe SSD 슬롯: 4개의 PCIe Gen6 lane. CX-9 ↔ 1.6T OSFP cage (scale-out 네트워크): CX-9당 4개의 200G Ethernet/InfiniBand lane (Orchid당 총 8개). 단일 Orchid module의 lane 합계. 36개의 PCIe Gen6 lane (CX-9 두 개에 32개 + E1.S SSD에 4개) 1개의 PCIe Gen5 lane (CX-9 peer link) 8개의 200G Ethernet / InfiniBand lane (전면 패널 scale-out) Vera CPU ↔ BlueField-4 Module (frontend 인프라 plane) BF-4 module은 Vera CPU에서 출발하는 세 번째 주요 목적지다. BF-4를 드나드는 연결. Vera ↔ BF-4: Vera당 8개의 PCIe Gen6 lane (총 16개 — Strata당 Vera 1개 × Strata 2개). CX-9 (각 Orchid의 우측) ↔ BF-4: CX-9당 1개의 PCIe Gen5 lane (tray의 4개 Orchid 합쳐 총 4개). BF-4 ↔ Frontend Network 포트: 2개의 400G Ethernet/InfiniBand lane. BF-4 module의 lane 합계. 16개의 PCIe Gen6 lane (두 Vera로부터) 4개의 PCIe Gen5 lane (4개의 Orchid의 우측 CX-9로부터) 2개의 400G Ethernet / InfiniBand lane (frontend 네트워크) 단일 VR NVL72 Compute Tray — Module과 Lane 요약 Tray당 module: Tray당 lane 수 (모든 module 합산). Tray당 전면 패널 외부 연결: 1.6T OSFP cage 8개 (scale-out) + frontend 포트 1개 (BF-4 400G lane 2개) + BMC/management 1개. 3) NVLink Switch Tray — Compute Tray가 만나는 곳 Compute tray는 NVLink 6 copper backplane을 거쳐 랙 중앙의 NVLink switch tray에 이어진다. 각 switch tray는 PCB 한 장 위에 NVLink 6 Switch 칩 4개를 올려 둔다. Switch Tray 내부 NVLink 6 Switch 보드는 liquid-cooled 방식으로, 단일 cold-plate module이 보드 전체를 덮는다. tray는 자체 CPU를 가진 System Management Module (SMM) 을 함께 호스팅하며, SMM이 switch tray의 host 역할을 맡는다. SMM과 switch tray 사이의 연결은 flyover 케이블을 사용한다 — VR NVL72 시스템 전체를 통틀어 유일한 flyover 케이블 연결이다. 이 예외가 허용되는 이유는 (a) SMM으로 가는 PCIe link가 저속이고, (b) switch tray가 담는 module 수가 비교적 적어, 다른 부분을 cableless로 몰아붙이게 만들었던 조립 실패 패턴이 여기서는 재현되지 않기 때문이다. Backplane Lane 구조 다이어그램의 각 초록색 선은 400G NVLink 6 포트 9개, 즉 200G 기준 TX/RX lane 18개를 뜻한다. NVLink 6는 bidirectional SerDes를 채택하므로, lane당 1 differential pair (DP) — 어떤 connector와 어떤 switch 사이라도 18 DP, connector 전체로는 72 DP가 된다. connector당 케이블 수는 이전 세대인 NVLink 5 Switch Tray와 같다 — 대역폭 2배 증가는 구리가 늘어서 나온 ...