
KV
구독자 72명구독중 16명
Go to bed smarter than when you woke up.
- Charlie Munger

번역 영상) 2026 AI, 모든 길은 메모리로 통한다
원문) NVIDIA AI Podcast - Lowering the Cost of Intelligence With NVIDIA's Ian Buck - Ep. 284
개요
NVIDIA AI 팟캐스트에서 NVIDIA 가속 컴퓨팅 담당 총괄 이안 벅(Ian Buck) 부사장은 AI 기술의 핵심인 Mixture of Experts(MOE) 아키텍처와 이를 뒷받침하는 NVIDIA의 하드웨어 혁신을 논의함. 이안 벅은 MOE가 거대한 모델을 효율적으로 나누어 필요한 전문가만 활성화함으로써 연산 비용을 절감하고, NVIDIA의 NVLink와 같은 기술을 통해 GPU 간 고속 통신을 보장하는 '극단적 공동 설계'가 AI의 토큰당 비용을 획기적으로 낮추면서도 지능을 높이는 미래 발전의 핵심임을 전달하고자 함
MoE (Mixture of Experts)
하나의 거대한 모델을 사용하는 것에 대비되는 방식. 여러 전문가로 구성된 모델이 문제 해결에 필요한 전문가 영역만 연산에 활용함. 이를 통해 모델 운영 비용을 감소시킴
뇌가 어떤 질문에 필요한 뉴런(=파라미터)만 사용하고, 모든 ...