위클리 무브: 6월 11일 자 미 상업용 보험 시장 동향

내가 왜 'AI 병목현상'을 구축했는지, AI 인프라 구축의 실체가 실제로 어디에 기반을 두고 있는지, 그리고 현재 금융 시장에서 가장 흥미로운 이야기가 왜 모든 이들이 주목하는 곳보다 다섯 단계 아래에서 벌어지고 있는지에 관한 긴 편지다. 나는 처음부터 웹사이트를 만들겠다는 생각으로 시작하지 않았다. 많은 사람과 마찬가지로, 나 역시 AI 진영에서 실제로 무슨 일이 일어나고 있는지 이해하려는 시도에서 출발했다. 데모 영상이나 출시 관련 트레드, 6주마다 순위가 뒤바뀌는 모델 리더보드 같은 것 말고, 그 모든 것의 밑바닥에 있는 본질을 알고 싶었다. 바로 물리적인 실체다. 가상 세계가 아닌 현실 세계의 웨이퍼와 광섬유, 콘크리트, 그리고 전력으로 어떻게든 전환되어야만 하는 연간 7,000억 달러에 달하는 하이퍼스케일러의 설비투자 말이다. 그 실타래를 길게 잡아당길수록 풍경은 기묘해졌다. 거의 모든 이들이 똑같은 다섯 개 기업만을 이야기하고 있었다. 그 아래에 숨겨진 레이어에 대해서는 아무도 말하지 않았다. 그리고 진짜 제약 조건들은 바로 그 아래 레이어에 존재하고 있었다. 클라우드 속도, 인공지능 모델도, 기조연설 슬라이드 안에도 없었다. 전 세계 대부분의 사람들이 들어본 적도 없는 수천 명의 엔지니어가 운영하는, 몇 안 되는 도시의 몇 안 되는 건물 내부에 있었다. 내가 EUV 웜홀에 빠진 날 밤 나는 이 일이 단순한 흥미를 넘어 집착에 가까운 무언가로 변한 순간을 정확히 기억한다. 늦은 밤, 나는 왜 중국이 수천억 달러를 쏟아붓고도 최첨단 칩을 만들지 못하는가에 대한 글을 읽고 있었는데, 그 답은 업계 외부 사람들은 거의 들어본 적도 없는 벨트호벤이라는 네덜란드 소도시에 있는 한 회사로 수렴되었다. 바로 ASML이었다. 나는 그저 기발한 특허를 가졌거나 로비를 잘하는 흔한 기업인 줄 알았으나, 전혀 아니었다. 그것은 훨씬 더 기괴한 무언가였다. 약어를 걷어내고 ASML이 실제로 파는 제품을 보면, 시내버스 크기에 가격은 약 4억 달러에 달하며, 인류가 상업적으로 제조하여 출하한 물건 중 단연코 가장 복잡한 물체다. 현대적인 칩을 식각하기 위해 이 장비는 진공 챔버 내부로 녹은 주석 미세 방울을 초당 5만 번 분사한다. 그리고 레이저가 각 방울을 두 번 타격한다. 첫 번째 펄스는 방울을 납작한 팬케이크 모양으로 만들고, 두 번째 펄스는 그 팬케이크를 태양 표면보다 더 뜨거운 수십만 도의 플라즈마 상태로 기화시킨다. 그 플라즈마는 정확히 13.5나노미터의 극자외선(EUV) 플래시를 방출하는데, 이 파장은 너무 짧아서 공기, 유리 등 일반적인 렌즈 소재로 삼으려 하는 거의 모든 것에 흡수되어 버린다. 따라서 그들은 렌즈를 사용할 수 없다. 대신 거울을 사용한다. 이 거울들은 얼마나 매끄러운지, 만약 거울 하나를 독일 전체 크기로 확대하더라도 표면에서 가장 높은 돌출부의 높이가 1밀리미터도 되지 않을 정도다. 이 거울들은 독일 남부에 위치한 자이스의 클린룸에서 만들어지는데, 이 클린룸을 짓는 데만 10년이 걸렸으며 회사는 이를 국가 기간 시설처럼 삼엄하게 보호하고 있다. 실제로 현재 국가 기간 시설이나 다름없다. 빛은 이 거울 스택에 부딪혀 반사된 뒤 실리콘 웨이퍼 위에 떨어지며 DNA 한 가닥보다 더 미세한 회로를 새겨넣는다. 그동안 웨이퍼 자체는 초당 수 미터의 속도로 움직이고 있으며, 자석으로 공중 부양된 스테이지에 의해 원자 몇 개 수준의 오차 범위 내에서 정렬이 유지된다. 이 문장의 모든 단계가 마치 지어낸 이야기처럼 들리겠지만, 단 하나도 거짓이 없다. 단 한 대의 EUV 장비를 생산하는 공급망에는 대략 5,000개의 공급업체가 존재한다. 광원은 ASML이 다른 곳에서는 도저히 성공시키지 못해 직접 인수해야 했던 캘리포니아 기업에서 온다. 진동 격리 시스템은 뉴욕주 북부의 또 다른 회사에서 만든다. 광학 부품은 독일에서 오고, 웨이퍼와 감광액은 일본에서 온다. 최종 조립은 네덜란드에서 이루어지며, 고객들은 대부분 대만과 한국에 있다. 지구상의 그 어떤 단일 국가도 이 장비를 독자적으로 만들 수 없다. 근처에 가지도 못한다. 이는 가장 문자 그대로의 의미에서 '행성적 인공물'이다. 인류라는 종이 집단적으로, 어쩌면 거의 우연히 만드는 법을 깨달은 물건이다. 나는 한동안 그 사실을 곱씹었다. EUV의 존재 자체에는 진정으로 감동적인 무언가가 있다. 다른 나라에 있는 누군가가 이메일을 더 빨리 쓸 수 있도록 하기 위해서, 레이저를 주석 방울에 쏘아 기화시켜 인공 태양광을 만들고, 인류가 연마한 그 어떤 것보다 매끄러운 거울에 반사시켜 바이러스보다 미세한 회로를 그리는 기계다. 최종 제품을 사용하는 대부분의 사람은 이것이 존재하는지조차 모를 것이다. 부품을 만든 대부분의 사람 역시 최종 조립된 기계를 보지 못할 것이다. 그럼에도 공급망은 유지된다. 해가 바뀌어도, 웨이퍼가 바뀌어도 지속된다. 이러한 공급망을 처음부터 끝까지 한 번 보고 나면, 다시는 이전으로 돌아갈 수 없다. 방 안의 모든 물건을 바라보며 "이 물건의 EUV는 무엇일까" 생각하게 된다. 거의 존재하기 힘들 것 같은 기묘한 장소의 그 기묘한 한 단계가 무엇인지, 그리고 그것이 없다면 나머지 전체가 어떻게 무너질지 궁금해진다. 당신의 주머니 속 스마트폰에는 그런 단계가 최소 수십 개가 있고, 밖에 세워둔 자동차에는 수백 개가 있으며, 당신의 이메일 편지함의 자동 완성 기능을 작성한 모델을 학습시킨 데이터센터에는 수천 개가 존재한다. 이 관점에서 보면 문명은 매끄러운 표면이라기보다는, 거의 아무도 주목하지 않는 몇 가지 버팀목 같은 기적들에 의해 지탱되는 거대한 성당처럼 보인다. 소수의 좁은 길목들 AI 공급망을 충분히 오랫동안 들여다보면 하나의 패턴이 보이기 시작한다. 스택 최상단에 있는 시끄럽고 비싼 모든 것들은 그 아래에 있는 더 조용하고 훨씬 작은 무언가에 기대어 존재한다. 최첨단 프론티어 모델은 GPU에 의존한다. GPU는 인터포저 위에 고대역폭 메모리 스택들이 접합된 패키징된 다이에 의존한다. 인터포저는 대만의 CoWoS 생산 캐파에 의존한다. 고대역폭 메모리는 유럽의 한두 기업이 만드는 하이브리드 본더에 의존한다. 랙 사이로 데이터를 이동시키는 트랜시버는 가동 주기가 이주일씩 걸리는 용로에서 키워낸 인듐 인화물 웨이퍼에 의존한다. 그리고 이 전체 시스템은 이 모든 것을 위해 설계된 적이...

AI 클러스터들이 구리선 위에서 한계에 직면하고 있다. 백엔드 패브릭이 800G에서 1.6T, 그리고 3.2T로 치솟음에서 따라, 제약 조건은 더 이상 얼마나 많은 GPU를 살 수 있느냐가 아니라 그 GPU들 사이에서 얼마나 저렴하게 데이터를 이동시킬 수 있느냐가 되었다. 이것이 다음 초크포인트로서 광학 기술이 주목받는 이유이며, 이 문제가 어디서 가장 먼저 타격을 입히는지에 대한 지도다. 그림 1. AI 백엔드 네트워크의 랙 규모 조감도. GPU들은 스위치 칩을 통해 동기화된다. 비용이 많이 들고 고장이 나기 쉬운 구간은 스위치 칩과 광학 소자 사이의 고속 전기 경로다. 포토닉스 기술은 이 광전환 위치를 실리콘 칩에 더 가깝게 이동시켜 해당 경로를 축소한다. 차세대 AI 팩토리는 누군가 GPU가 부족해서 멈춰 서는 일은 없을 것이다. GPU들이 서로 충분히 저렴하고, 조밀하며, 안정적으로 통신할 수 없어서 멈추게 될 것이다. 이번 사이클의 대부분 동안 시장은 컴퓨트)만 응시했다. GPU가 눈에 보이는 첫 번째 대상이었고, 고대역폭 메모리(HBM)가 두 번째, 전력이 세 번째였다. 그러나 클러스터 규모에서 보면 이 머신은 가속기 더미가 아니다. 컴퓨터의 탈을 쓴 '통신 시스템'이다. 모든 학습 실행, 모든 가중치 전문가 혼합(MoE) 라우터, 모든 장기 콘텍스트 추론 작업, 그리고 모든 에이전트 루프는 칩과 랙, 열 사이, 때로는 사이트(데이터센터) 간에 트래픽을 발생시킨다. 시스템이 커질 수록 비트를 이동시키는 순수한 물리적 행위 자체가 시스템의 확장을 가로막는 제약 요인이 된다. 구리선은 초기에 구축을 주도할 수 있었는데, 저렴하고 정비하기 쉬우며 짧은 거리에서는 탁월하기 때문이다. 그러나 네트워크가 400G에서 800G, 1.6T 그리고 그 이상으로 치솟으면서, 구리는 인프라라기보다는 발목을 잡는 '항력'처럼 보이기 시작한다. 고속 전기 신호는 손실, 반사, 누화, 열, 커넥터, 거리를 버텨내야 한다. 해결책은 언제나 무언가를 '더' 투입하는 것이다. 더 많은 이퀄라이징, 더 많은 리타이머, 더 많은 DSP, 더 많은 전력, 더 많은 냉각, 더 거대한 케이블 부피가 그것이다. 어느 시점에 이르면 네트워크는 전기 신호가 전면 패널에 도달할 때까지 살아남을 수 있도록 유지하는 데에만 대부분의 에너지를 쓰게 된다. 포토닉스는 문제의 단위를 바꾼다. 신호는 빛이 되고, 광섬유는 고속도로가 되며, 비용은 상류 레이어인 레이저, 광학 집적 회로(PIC), 인듐 인화물(InP), 실리콘 포토닉스 웨이퍼, 광섬유 접합, 테스트 및 랙 유지보수성으로 이동한다. 이것이 전체의 변화를 한 문장으로 요약한 것이다. AI 스택은 "우리가 얼마나 많은 칩을 살 수 있는가"에서 "우리가 이미 가지고 있는 칩들 사이에서 데이터를 어떻게 충분히 이동시킬 것인가"로 이동하고 있다. 포토닉스 병목현상의 실체 포토닉스 병목현상이란 AI 클러스터가 전기적 상호연결이 제공할 수 있는 것보다 더 많은 대역폭, 도달 거리, 밀도, 에너지 효율성을 필요로 할 때 나타나는 물리적 제약이다. 작은 규모에서는 전기적 링크가 승리한다. 랙 내부에서는 구리선이 여전히 제 역할을 한다. 짧은 기판 패턴을 가로지를 때는 구리가 종종 정답이다. 하지만 AI 팩토리는 이제 더 이상 단일 랙이 아니다. 이들은 하나의 머신처럼 작동하도록 엔지니어링된 랙 그룹, 열, 포드, 그리고 멀티 사이트 시스템이다. 그 머신은 막대한 '동서향 트래픽(East-west traffic, 가속기 간 통신)'을 생성한다. GPU는 단순히 스토리지에서 데이터를 끌어와 사용자에게 답변을 돌려주기만 하는 것이 아니다. 이들은 그래디언트를 동기화하고, 액티베이션을 교환하며, 전문가들 사이로 토큰을 라우팅하고, KV 캐시 상태를 셔틀 버스처럼 나른다. 이들은 실리콘으로 가득 찬 건물이 마치 단 하나의 가속기인 것처럼 일사불란하게 협력한다. 그 결과는 단순하면서도 다소 직관에 반한다. 바로 네트워크 자체가 컴퓨터의 일부가 된다는 점이다. 엔비디아는 2025년 3월, 에너지와 운영 비용을 절감하면서 수백만 개의 GPU를 사이트 간에 연결하도록 설계된 실리콘 포토닉스 네트워킹 스위치인 스펙트럼-X 포토닉스와 퀀텀-X 포토닉스(Quantum-X Photonics)를 발표하며 이를 명확히 했다. 엔비디아는 구체적인 수치를 제시했다. 기존 방식 대비 레이저 사용량 4배 감소, 전력 효율성 3.5배 향상, 신호 무결성 63배 향상, 네트워크 회복 탄력성 10배 향상, 그리고 배포 속도 1.3배 증가를 달성했다는 것이며, 이 생태계 파트너로 TSMC, 코히어런트, 코닝, 폭스콘, 루멘텀, 센코, 스미토모 전기를 지목했다. 벤더들의 수치는 목표치로 읽어야 한다 이 글에 등장하는 벤더(엔비디아, 브로드컴, 글로벌파운드리스 등) 출처의 모든 성능 배수는 제조업체의 주장일 뿐, 독립적인 현장 데이터가 아니다. 이를 제조사가 제시한 '설계 목표치'로 취급하라. 정확한 배수가 마케팅의 영역일지라도, 전략적 방향성은 모호함 없이 명확하다. AI 분야에서 가장 중요한 인프라 기업이 광학 네트워킹을 AI 팩토리 자체에 빌트인 형태로 내장하고 있다는 사실이다. 왜 구리는 점진적으로, 그러다 갑자기 패배하는가 낮은 속도와 짧은 거리에서 구리는 경이로울 정도로 훌륭하다. 저렴하고, 익숙하며, 현장 정비가 가능하다. 조달 팀도 이를 잘 이해하고 있으며, 테크니션들이 쉽게 교체할 수 있다. 하지만 고속 전기 신호 전달은 추상이 아니다. 이는 금속 패턴, 커넥터, 기판, 케이블을 통과하는 '파동'이며, 레인 속도가 올라갈수록 이 파동은 감쇠하고 왜곡된다. 에너지를 잃고, 반사되며, 이웃한 채널로 번져나가 결국 송신된 신호와 도착한 노이즈를 구별하기가 점점 더 어려워진다. 광인터커넥트포럼의 CEI-224G 표준화 작업은 업계가 이 문제와 어떻게 사투를 벌이고 있는지 잘 보여주는 지표다. 이 프레임워크는 차세대 핵심 과제로 전력, 밀도, 성능, 도달 거리, 비용을 꼽았으며, 짧은 칩-투-옵틱스 홉부터 플러거블 광학, 백레인, 패시브 구리선, 리니어 광학 모듈에 이르기까지 224G 전기 인터페이스의 구체적인 도달 거리 범주를 매핑하고 있다. 모든 범주는 타협의 산물이다. 도달 거리가 짧으면 이퀄라이징이 단순해지고 전력을 아낄 수 있다. 도달 거리가 길어지면 더 많은 보정 기술이 필요하다. 그리고 모듈의 유지보수성을 유지해 주는 전면 패널 플러거블 방식은 신호가 스위치 칩을 전기로 떠나 기판 패턴과 커넥터를 가로지른 뒤에야 '비로소 빛으로 변환'되도록 강제한다. 이 숨겨진 경로가 바로 레인당 200G에 도달했을 때 고통스러운 병목으로 돌변하는 구간이다. 그림 3. 도달 거리 패널티. 레인 속도가 두 배로 증가할 때마다, 고속 전기 신호가 왜곡 없이 깨끗하게 도달할 수 있는 거리는 급격히 붕괴한다. 속도의 단계가 한 계단씩 올라갈 때마다 광전환 위치는 실리콘 칩에 더 가깝게 전진할 수밖에 없다. 막대의 길이는 예시일 뿐이며 실제 축적을 반영하지 않는다. 업계에는 구리선의 수명을 연장할 수 있는 실질적인 방법들이 존재한다. 더 뛰어난 SerDes, 액티브 전기 케이블(AEC), 리타이머, 리니어 플러거블 광학(LPO), 니어패키지 광학(NPO), 개선된 기판 소재 및 커넥터 등이 그것이다. 이 중 그 어떤 것도 무의미하지 않으며, 기술이 나아가는 방향 자체를 바꾸지도 못한다. 이 기술들은 시간을 벌어줄 뿐이다. 그리고 AI 규모의 인프라 시장에서 시간은 매우 비싼 대가를 요구한다. 포토닉스가 실제로 해결하는 것 포토닉스가 데이터 이동 비용을 공짜로 만들어주는 것은 아니다. 비용이 발생하는 위치를 옮겨줄 뿐이다. 전기적 상호연결은 데이터를 금속선 전반에 걸쳐 전기 신호로 밀어낸다. 반면 광학적 상호연결은 데이터를 빛에 인코딩하여 광섬유나 도파로를 통해 이동시킨다. 광섬유와 도파로는 데이터센터 내부 수준의 거리에서 손실률이 훨씬 낮고, 가닥당 집적도가 훨씬 높으며, 고속 구리선을 파괴하는 거리 패널티에 대한 민감도가 훨씬 낮다. 이로 인해 발생하는 이득과 타협점은 각 레이어마다 다르게 나타난다. 그 마지막 행(CPO)이 바로 공동 패키징 광학(Co-packaged optics) 기술이 논쟁의 중심이 된 이유다. CPO는 광학 엔진을 스위치 칩이나 가속기 패키지 바로 옆으로 이동시킨다. 고장 나기 쉽고 취약한 고속 전기 신호를 전면 패널까지 긴 기판 경로를 따라 밀어내는 대신, 실리콘 칩 근처에서 곧바로 빛으로 전환하는 것이다. 이로 인해 전기적 이동 거리는 센티미터(cm) 단위에서 밀리미터(mm) 단위로 축소되며, 광학 경로가 훨씬 더 이른 단계에서 바톤을 이어받는다. 이는 단순히 네트워킹의 변화만을 뜻하지 않는다. 패키징의 이야기이자, 테스트의 이야기이며, 현장 유지보수성의 이야기다. 그리고 바로 이 지점들이 진짜 병목현상이 시작되는 ...

존 폰 노이만 사후 80년이 지난 지금도 버스는 여전히 버스일 뿐이며, 현대의 트랜스포머 추론은 엔지니어링 기술로 우회할 수 있는 한계를 넘어 이 버스를 쥐어짜고 있다. 1945년, 존 폰 노이만은 프로세서와 메모리가 분리된 물리적 단위로 존재하며 버스로 연결되는 컴퓨터 아키텍처를 기술한 보고서 초안을 발표했다. 프로세서는 명령어나 데이터 조각을 가져오고, 연산을 수행한 뒤, 그 결과를 다시 메모리에 기록한다. 계산의 모든 단계는 버스를 가로지르는 왕복 여정을 요구한다. 그 버스가 바로 '폰 노이만 병목현상'이다. 이는 프로세서가 연산할 수 있는 속도와 메모리가 데이터를 공급할 수 있는 속도 사이의 간극을 의미한다. 1950년대 이후 제작된 모든 범용 컴퓨터는 이 아키텍처 내부에서 살아왔다. 현재 출하되는 모든 GPU, 모든 TPU, 모든 주문형 AI 가속기 역시 마찬가지다. 원제작 논문이 나온 지 80년이 지난 지금 이 문제가 다시 중요해진 이유는, AI 워크로드가 전통적인 엔지니어링으로 숨길 수 있는 수준을 넘어 이 병목현상을 극단까지 늘려놓았기 때문이다. 인공지능의 가격은 더 이상 칩이 초당 수행할 수 있는 부동소수점 연산 횟수(FLOPs)에 의해 결정되지 않는다. 메모리를 칩의 연산 장치 내부로 얼마나 빨리 이동시킬 수 있느냐에 의해 결정된다. 나는 대규모 추론을 실행하는 현업에 있다. 아래의 수치들은 내가 비용 청구서에서 직접 확인하는 것들이다. 그 어떤 것도 투자 권유가 아니다. 이 모든 내용은 현업 엔지니어가 토큰 하나의 가격을 매길 때 살펴보는 지표들이다. 폰 노이만 병목현상의 실체 현대의 AI 가속기를 예로 들어보자. 엔비디아 H100은 이론적으로 초당 약 1,979조 번의 부동소수점 연산(FP16 처리량)을 수행할 수 있다. 반면, HBM3 스택과의 메모리 대역폭은 초당 3.35테라바이트(TB/s)다. 이 두 수치는 서로 균형이 맞지 않는다. 가공되지 않은 순수 연산 측면에서 보면 연산단이 메모리단보다 대략 600배 빠르다. 연산 장치를 쉬지 않고 돌리려면, 메모리에서 가져온 모든 바이트가 다음 바이트가 도착하기 전까지 평균적으로 수백 번 이상 재사용되어야 한다. 이를 '산술 연산 밀도'라고 부른다. 이는 메모리 액세스 횟수 대비 연산 횟수의 비율을 뜻한다. 만약 워크로드의 산술 연산 밀도가 칩의 연산 처리량 대 메모리 대역폭의 비율보다 낮아지면, 칩은 멈춰 서게 된다. 연산 장치들이 데이터를 기다리며 노는 것이다. 당신이 3만 달러를 지불한 칩은 이론상 성능의 5~15% 수준으로만 작동하게 된다. 현대의 트랜스포머 추론, 특히 긴 문장을 자기회귀 방식으로 생성하는 작업은 산술 연산 밀도가 최악이다. 모델은 토큰을 하나 생성할 때마다 메모리로부터 모든 파라미터를 새로 로드해야 하며, 계속 늘어나는 KV 캐시 전체를 읽어내야 한다. 파라미터당 연산량은 작다. 반면 요구되는 대역폭은 엄청나다. 이것이 바로 GPU를 통해 발현되는 폰 노이만 병목현상이다. 아키텍처는 1945년 이후로 바뀌지 않았다. 바뀐 것은 워크로드다. 왜 AI가 이 병목현상을 다시 수면 위로 끌어올렸는가 수십 년 동안 폰 노이만 병목현상은 실제 엔지니어들이 우회 기법을 통해 해결하던 교과서적인 문제에 불과했다. CPU의 캐시 용량은 커졌고, 컴파일러는 프리페치 능력이 향상되었다. 메모리 계층 구조는 더 촘촘해졌고(L1, L2, L3, DRAM), 버스는 빨라졌다. 그러나 AI 워크로드는 다음과 같은 여러 이유로 인해 이 모든 우회 기법들을 한꺼번에 무력화했다. 첫 번째 이유는 모델의 크기다. FP16 포맷의 700억 개 파라미터(70B) 모델은 크기가 140기가바이트(GB)에 달한다. 이는 기존의 어떤 캐시 계층 구조에도 들어가지 않는다. 무조건 HBM(고대역폭 메모리)에 상주해야 하며, 순방향 연산이 일어날 때마다 이 거대한 데이터의 상당 부분이 연산 장치를 통과해야 한다. 두 번째 이유는 KV 캐시다. 모든 트랜스포머는 자신이 거쳐온 모든 토큰의 키와 값에 대한 실행 기록을 보존한다. 콘텍스트 창이 길어지면 이 상태 값은 세션당 수십 기가바이트로 불어날 수 있다. 10만 토큰의 콘텍스트를 대상으로 30분 동안 실행되는 현대적인 AI 에이전트 루프는 파라미터를 읽는 것보다 캐시를 읽는 데 더 많은 메모리 대역폭을 소모한다. 세 번째 이유는 배치 크기다. 학습 단계에서는 하나의 배치 안에서 수천 개의 샘플에 걸쳐 파라미터 로드 비용을 분할 상쇄하기 때문에 산술 연산 밀도가 높게 유지된다. 반면 추론, 특히 낮은 지연 시간을 요구하는 실제 서비스 환경에서는 대개 배치 크기 1 또는 32 수준에서 실행되므로 산술 연산 밀도가 무너진다. 결국 칩이 멈춰 서게 된다. 네 번째 이유는 ...

승리할 모델을 예측하려는 시도를 멈추고, 그 모든 모델의 밑바탕을 지탱하는 물리적 바닥을 매핑하기 시작하라. 곡괭이와 삽 프레임워크, 4대 초크포인트, 그리고 달력에 표시된 주요 날짜들. 이 질문은 매주 똑같은 방식으로 제기된다. 누군가 엔비디아에 대한 기사를 읽고, 주가 차트를 본 뒤, 이미 너무 늦었다고 판단한다. 그러고는 내게 어떤 형태로든 질문을 던진다. "지수를 통째로 소유하고 싶지 않다면, AI 병목현상에 실제로 어떻게 투자해야 합니까?" 짧은 답변은 승리할 모델을 고르려는 노력을 멈추고, 그 모든 모델 아래에 깔린 물리적 바닥을 매핑하라는 것이다. 긴 답변은 이 에세이가 존재하는 이유다. 나는 생업으로 대규모 인프런스를 실행하는 사람이다. 아래의 수치들은 실적 발표, 공급망 공시, 그리고 내가 비용 청구서 내부에서 직접 목격한 것들에 기반한다. 그 어떤 것도 투자 권유가 아니다. 이 모든 내용은 내가 3년 전에 미리 내 앞에 놓여 있었기를 바랐던 프레임워크일 뿐이다. AI 병목현상이란 정확히 무엇인가? AI 병목현상이란 전체 AI 구축이 의존하고 있는 물리적 및 물류적 투입 요소의 레이어를 말한다. 이는 수표를 더 빨리 발행한다고 해서 확장될 수 없으며, 오직 공장을 지어야만 확장할 수 있는 영역이다. 컴퓨트는 병목이 아니다. 컴퓨트는 결과물이다. 병목은 컴퓨트로 전환되는 투입 요소들의 집합이다. 랙들을 연결하는 레이저용 인듐 인화물(InP) 웨이퍼, 로직 반도체 위에 메모리를 쌓는 하이브리드 본더, 그리드에 에너지를 공급하는 가스 터빈, 전력을 감압하는 변압기, 랙을 보호하는 개폐장치, 단일 섀시에서 120킬로와트의 열을 끌어내리는 냉각 시스템, 그리고 이 모든 것을 설치하는 숙련된 현장 인력들이 바로 그것이다. 이러한 각각의 레이어는 단 한 장의 종이, 심지어 어떤 것은 포스트잇 한 장에 다 적을 수 있을 정도로 좁은 공급업체 기반을 가지고 있다. 이것이 게임의 전부다. 당신은 오픈AI와 앤트로픽 중 누가 이길지 예측하려 노력할 필요가 없다. 공급업체 기반이 단 두 개의 회사로 좁혀져 있고, 주문서가 꽉 차 있으며, 경쟁사가 그 용량을 사가지 않으면 자신이 뒤처지기 때문에 가격에 둔감한 고객들이 포진한 스택의 레이어를 식별해내면 된다. 프레임워크: 탑다운이 아닌 바텀업 2024년과 2025년의 대부분의 AI 투자는 탑다운 방식이었다. 모델 연구소를 고르고, 하이퍼스케일러를 고르고, GPU 벤더를 골랐다. 전체 스택이 동일한 지수함수적 곡선에 연동되어 있었기 때문에 그 거래는 유효했다. 하지만 지금 작동하는 거래는 다르다. 곡선이 꺾였기 때문이다. 컴퓨트 자본지출은 계속 올라가고 있다. 토큰 가격은 1년 만에 대략 100분의 1로 폭락했다. 마진은 더 얇아졌다. 하이퍼스케일러들은 자사의 자본지출 예산 내부에서 차별화를 시작하고 있다. 이러한 환경에서는 곡괭이와 삽의 수학이 모델 연구소의 수학을 이긴다. 이유는 간단하다. 곡괭이와 삽 공급업체는 고객의 매출총이익률이 50%이든 20%이든 상관없이 동일한 달러 금액을 지급받는다. 반면 모델 연구소의 매출은 그 상위 레이어에서 발생하는 매 분기의 가격 압박에 그대로 노출된다. 따라서 모든 기업의 이름 앞에서 던져야 할 질문은 이것이다. "이 회사가 가격 결정력을 잃으려면 무엇이 사실이어야 하는가?" ASML 같은 반도체 장비 벤더의 경우, 답은 "EUV가 더 이상 필요하지 않다"이다. 베시의 경우 "하이브리드 본딩이 더 저렴한 다른 기술로 대체된다"이다. AXTI의 경우 "중국이 수출 통제를 영구적으로 해제하고 스미토모가 18개월 내에 생산 능력을 두 배로 늘린다"이다. GE 버노바의 경우 "하이퍼스케일러들이 기가와트 급 캠퍼스 구축을 중단한다"이다. 이 답변들 중 그 어떤 것도 1년의 지평 내에서 실현되지 않는다. 일부는 결코 실현되지 않을 수도 있다. 초크포인트란 바로 그런 모습을 하고 있다. 2026년부터 2030년까지의 구축을 가로막는 4가지 물리적 제약 2년 동안 이 실타래를 붙잡고 늘어진 끝에, 나는 계속해서 동일한 4개의 레이어로 돌아오게 된다. 이것들이 스택 내의 유일한 초크포인트는 아니지만, 가장 높은 볼록성을 가지고 있고, 공급업체 기반이 가장 명확하며, 촉매제가 가장 뚜렷하게 식별되는 영역들이다. 1. 화합물 반도체 기판 현대적인 AI 랙 내부에 들어가는 모든 레이저는 잘 연마된 인듐 인화물(InP) 웨이퍼 위에서 시작된다. 이 기판이 없으면 레이저는 빛을 발할 수 없다. 레이저가 없으면 트랜시버는 링크를 구동할 수 없다. 링크가 없으면 랙은 수백 개의 GPU 수준을 넘어 확장될 수 없다. 중국을 제외한 공급업체 기반은 단 두 이름뿐이다. 캘리포니아 프리몬트에 위치한 AXTI와 일본의 스미토모 전기다. AXTI의 역대 최고 InP 수주 잔고는 2026년 초에 1억 달러를 돌파했으며, 회사는 2027년에 또 ...

HBM/DRAM 스토리에 대한 몇 마디, 메모리 제조사들, 현재 추론 최적화가 어디까지 갈 수 있는지, 누가 잘 자리 잡고 있는지, 그리고 2027년에 새로운 용량이 가동되기 시작하면서 어떤 변화가 생기는지에 대해 - 네비우스 제품 마케팅 전문가 딜런 브리스토 메모리 공장들이 전환되었던 시기 조립 라인의 수가 고정된 자동차 공장을 상상해 보라. 어느 날 새로운 고객이 찾아와 특별한 툴링, 전용 작업대, 그리고 단위당 훨씬 더 많은 공간을 필요로 하는 슈퍼카에 대해 차량당 5배 더 높은 가격을 지불하겠다고 제안한다. 공장은 이 경제성을 실현하기 위해 새로운 라인을 건설할 필요가 없다. 그저 기존 라인을 전환하기만 하면 된다. 이로 인해 일반 차량 생산은 압박을 받는다. 공장이 여전히 전체 가동률로 돌아가고 있음에도 불구하고, 일반 자동차는 구하기 힘들어지고 가격은 비싸진다. 이것이 바로 메모리 분야의 첨단 웨이퍼 생산 능력(캐파)에서 일어난 일이다. 메모리 제조업체들은 제한된 수의 하이엔드 웨이퍼 투입량(Wafer Starts)을 기반으로 운영된다. 고대역폭 메모리(HBM)는 기존 DRAM보다 웨이퍼당 훨씬 높은 매출과 마진을 창출한다. 또한 가용 비트(usable bit)당 약 3배의 생산 능력을 소비한다. 다이(Die) 크기가 더 크고, 실리콘 관통 전극(TSV)으로 인해 공정 단계가 추가되며, 적층된 레이어를 거치면서 수율 손실이 누적되기 때문이다. 하이퍼스케일러들이 프리미엄 가격으로 다년 계약을 체결하자, 이러한 자원 재배치는 합리적인 선택이 되었다. SK하이닉스(000660.KS)가 가장 먼저, 가장 공격적으로 움직였다. 마이크론(MU)은 이후 의미 있는 점유율을 확보하기 시작했다. 삼성전자는 로직과 낸드(NAND) 분야의 입지를 보호하는 동시에 HBM 생산을 늘리려 노력하며 보다 신중하게 전환을 진행했다. 재무 결과는 이러한 변화를 반영한다. SK하이닉스: 최근 분기에 70%대의 영업이익률을 기록했다. 마이크론: 업황이 좋은 시기에 75%에 가까운 매출총이익률에 도달했다. 이것은 일반적인 주기적 고점(시클리컬 피크)이 아니다. 웨이퍼당 가장 높은 수익을 제공하는 제품을 향해 희소한 생산 능력을 의도적으로 이동시킨 결과다. 전방 산업(Downstream)에 미친 영향 생산 라인이 재조정되면 그 여파는 확산된다. 기존 DRAM과 낸드는 사실상 잔여 생산물이 되었다. 부문 전반에서 가격이 급등했으며, 일부 부문은 1년 이내에 60% 이상의 상승률을 보였다. 서버 OEM, PC 제조업체, 산업용 구매자 모두가 동일하게 제한된 공급을 두고 경쟁했다. 추론 워크로드 역시 간접적으로 압박을 받았다. 토큰당 메모리 대역폭은 많은 AI 모델이 전제했던 것처럼 저렴하거나 풍부하지 않게 되었다. 동시에 GPU당 HBM 탑재량이 증가하면서 랙(Rack) 수준의 전력 밀도가 높아졌고, 이는 이미 까다로웠던 전력 및 그리드(전력망) 제약 문제를 가중시켰다. 현재의 추론 기술이 실제로 도달할 수 있는 범위 CXL 메모리 분리(Disaggregation), KV 캐시 티어링 및 오프로딩, 압축 방법, 투작적 디코딩(Speculative...