
똘랑
구독자 198명구독중 44명
미국 동부에 사는 흔한 직장인
현재 마이크로소프트($MSFT)의 고위 임원이 진행한 매우 가치 있는 인터뷰로, 그는 향후 추론(inference)과 학습(training) 모두에서 커스텀 ASIC보다 여전히 $NVDA의 GPU 수요가 훨씬 더 높다고 보고 있습니다:
일부 사용 사례에서는, GPT-4 같은 템플릿 모델로부터 새로운 모델을 학습시키는 경우, GPU 대신 ASIC을 선택하기도 합니다. 내부적으로나 고객 입장에서 이러한 일부 경우에 ASIC을 선택하는 주된 이유는 비용 절감입니다. 그는 직접적으로 묻자, ASIC이 $NVDA의 H100 대비 학습 비용 면에서 2배 더 효율적이라고 답했습니다.
사람과의 상호작용이 중심이 되거나, 사람이 모델을 반복적으로 ...