[AI] GPU & TPU 현황 요약 (안될공학)

안될공학 채널의 영상 "CUDA 때문에 절대 안된다? 구글 TPU 사태의 본질, 엔비디아가 급해진 이유"에 대한 제미나이 요약입니다.

GPU & TPU 현황에 대해 잘 설명해주고 있어서 관심있는 분들은 풀영상 시청을 추천드립니다.

TPU의 부상과 자체 칩 트렌드에도 불구하고, CUDA 생태계는 여전히 엔비디아의 강력한 경제적 해자다.

R&D 등 유연성이 필요한 분야에서는 개발 효율성과 범용성 때문에 엔비디아의 지배력이 유지될 것으로 보인다.

다만, 엔비디아의 큰 매출 비중을 차지하는 빅테크들은 대규모의 Capex가 부담되어 TPU로 충분히 전환을 고려할 수 있을 것이다.

고려할 수 있다는 것 자체가 엔비디아와의 가격 협상에 레버리지로 사용될 수 있을 것이고, 최근 메타가 TPU 사용을 고려한다는 뉴스를 띄운 것도 이에 일환이 아닐까 싶다.

내년 상반기에 엔비디아 주요 고객의 매출 감소가 있는지, 마진이 감소하지는 않는지를 주의깊게 봐야할 듯 하다.

(상위 4개사 매출 56%(2Q) -> 61%(3Q) -> ?)

핵심 내용 요약

1. 구글 TPU의 부상과 엔비디아의 위협

• 제미나이 3.0 Pro의 성과: 구글이 자체 설계한 TPU만으로 학습시킨 제미나이 3.0 Pro가 압도적인 성능을 보여주며 TPU의 경쟁력이 증명되었습니다.

• TPU의 강점: TPU는 초기부터 전성비(전력 대비 성능)가 우수했으며, 3D 토러스(Torus) 인터커넥트 구조를 통해 별도의 고가 스위치 장비 없이 칩끼리 직접 연결되어 비용 효율성이 매우 높습니다 [17:37].

• 확장성: 구글은 자사 서비스뿐만 아니라 외부 기업에도 TPU를 공급하기 시작하며 엔비디아의 GPU 독점 체제를 위협하고 있습니다.

2. 엔비디아의 강력한 해자, CUDA

• CUDA의 진정한 가치: 전 세계 AI 엔지니어의 상위 1%인 '커널 엔지니어'들이 하드웨어 최적화를 위해 CUDA를 ...