AI 데이터센터 병목과 돈이 될 길목, 한눈에 정리 (김지현 SK 부사장)

핵심은 AI를 “모델”이 아니라 “토큰을 생산하는 공장”으로 보면, 투자 포인트가 반도체, 전력·냉각, 네트워크, 데이터로 순서 있게 보인다는 내용입니다. 영상은 특히 AI 데이터센터의 병목이 GPU·HBM에서 전력, 네트워크, 데이터로 확장되고 있으며, 이 병목을 푸는 기업들이 돈이 될 길목이라고 설명합니다.

• 오프닝과 핵심 문제 제기

  • AI 인프라의 첫 병목은 GPU, 다음은 HBM을 포함한 반도체였고, 이후 병목은 전력·냉각, 네트워크, 그리고 1~2년 뒤 데이터로 이동할 수 있다는 큰 그림을 먼저 제시합니다

• 토큰 생산자 관점의 세 지표

  • AI를 쓰는 소비자 관점이 아니라 토큰을 생산하는 공급자 관점에서는 “초당 몇 개의 토큰을 만들 수 있는가”, “1W당 몇 개의 토큰을 만들 수 있는가”, “100만 토큰을 얼마에 만들 수 있는가”가 핵심 지표라고 설명합니다

• 초당 토큰 생산량

  • 데이터센터는 토큰 생산 공장과 같기 때문에 GPU·HBM 같은 고성능 컴퓨팅 자원이 많을수록 초당 토큰 생산량이 늘어나지만, 실제로는 GPU가 쉬지 않도록 가동률과 내부 데이터 흐름을 최적화하는 것이 중요하다고 말합니다

• GPU 가동률과 병목

  • 프롬프트 수요가 부족하거나, 메모리·GPU 간 데이터 전달이 지연되면 일부 GPU가 놀게 되고, 이 때문에 이론상 생산 능력보다 실제 토큰 생산량이 낮아진다고 설명합니다

• 메모리 공유와 내부 처리 효율

  • A GPU가 처리한 결과를 B GPU가 빨리 받아야 하는데, 복사·전송·대기 시간이 길어지면 전체 시스템 효율이 떨어지므로 HBM뿐 아니라 메모리 접근, 공유, 전송 구조가 중요해진다고 설명합니다

• 와트당 토큰 생산량

  • 데이터센터가 구축된 뒤 가장 큰 운영비는 전력이기 때문에, 같은 전력으로 더 많은 토큰을 생산하는 능력, 즉 에너지 효율이 두 번째 핵심 지표라고 설명합니다

• 냉각이 투자 포인트가 되는 이유

  • 데이터센터 전력의 상당 부분이 열을 식히는 데 쓰이므로, 공랭보다 액체냉각 같은 방식이 에너지를 절감하고 와트당 토큰 생산량을 높이는 수단이 될 수 있다고 설명합니다

• 구리선에서 광으로 가는 이유

  • 서버 내부와 데이터센터 간 데이터 이동은 전기 신호와 구리선에 의존해 왔지만, 구리선은 공간을 차지하고 열과 손실이 발생하므로 실리콘포토닉스와 광케이블이 효율 개선 수단으로 부상한다고 설명합니다

• 실리콘포토닉스와 네트워크 병목

  • 광케이블은 더 많은 데이터를 낮은 손실로 전송할 수 있기 때문에 데이터센터 내부로 들어오고 있으며, 엔비디아가 관련 기업에 대규모 투자를 한 배경도 네트워크 병목을 선점하려는 움직임으로 해석합니다

• 100만 토큰당 원가

  • 토큰 생산의 세 번째 지표는 100만 토큰을 만드는 데 드는 원가이며, 여기에는 GPU·HBM·서버·데이터센터 투자비의 감가상각, 전력비, 가동률이 모두 영향을 준다고 설명합니다

• GPU만이 답이 아닌 이유

  • 100만 토큰을 더 싸게 만들려면 모든 작업에 고가 GPU를 쓰기보다 NPU·MPU나 저렴한 메모리 구성을 활용하는 방식이 필요하고, 이 때문에 인텔, AMD, 퀄컴, 리벨리온, ...