엔비디아 이슈 체크(03.10) Decode 병목을 누가 가장 먼저 구조적으로 해결하는가?

◼︎ 실적 호조에도 엔비디아(NVDA)가 하락한 세 가지 이유

이날 S&P 500 지수 하락분의 43%는 단 하나의 기업, 엔비디아(-5.5%)에서 비롯되었습니다. S&P 500 지수는 전일 대비 54bp 하락했고 나스닥 100 지수는 116bp 하락한 채 마감했는데요. 골드만삭스의 AI 관련 주식 페어 수익률은 무려 544bp나 급락하며 과거 '딥시크(DeepSeek)' 사태 이후 최악의 하루를 보냈다고 평가했습니다. 실제로 증시 전반의 상승 동력을 나타내는 시장 폭 자체는 건전한 편이어서, 하락세가 기술주에만 집중된 모습을 보였다고 분석했습니다.

사실 엔비디아는 전분기 대비 10%대 중반의 매출 성장을 가이던스로 제시하며 훌륭한 실적을 발표했습니다. 그럼에도 불구하고 주가가 하락하며 밸류에이션이 낮아지는 현상이 나타나고 있는데요. 현재 엔비디아의 주가는 골드만삭스가 예상하는 2027년 주당순이익(EPS) 기준 약 15배 수준에서 거래되고 있습니다. 즉, 타 AI 관련 기업들이 높은 밸류에이션을 받는 것과 달리, 유독 엔비디아만이 지속적인 AI 모멘텀을 주가에 담아내지 못하는 상황이라는 것이죠. 골드만삭스는 실적이 좋은데도 시장이 차갑게 반응하는 이유를 세 가지로 꼽았습니다.

• 첫째, 기대감의 선반영입니다. 실적 발표 전 월요일부터 수요일 사이 이미 주가가 3%가량 상승했는데요. 골드만삭스 트레이딩 데스크에 따르면 실적 발표 직전까지 강력한 매수세가 유입되었으나, 정작 발표 당일에는 매수세가 증발하며 반도체 섹터 전반에 광범위한 매도 물량을 촉발시켰다고 전했습니다.

• 둘째, '2027년 이후'에 대한 시장의 불안감입니다. 빅테크 기업들의 AI 설비투자(Capex)가 언제 정점을 찍을지, 엔비디아의 이익 성장이 2027년 이후에도 지속될 수 있을지에 대한 강한 의구심이 시장에 자리 잡고 있다는 뜻입니다.

• 셋째, 대형 이벤트 대기에 따른 관망세입니다. 향후 몇 주간 외부 컨퍼런스와 엔비디아의 GTC 행사 등 굵직한 일정들이 대기하고 있어 매수 심리를 위축시킨 것으로 보인다고 진단했습니다.

1️⃣ 추론 과정: Pre-fill vs Decode — 왜 Decode가 병목인가?

LLM 추론은 크게 두 단계로 나뉜다.

① Pre-fill 단계 (프롬프트 해석)

• 사용자가 입력한 전체 문장을 한 번에 처리

• 예: “이 코드를 최적화해줘” + 코드 블록 전체

• 모델이 모든 토큰을 한 번에 attention 연산으로 처리

• 계산은 크지만 병렬 처리가 가능

👉 GPU에 매우 적합
(대량 행렬 연산 + 병렬 처리)

② Decode 단계 (토큰을 한 개씩 생성)

• 모델이 단어를 하나씩 생성

• 예:

  • 첫 단어 생성

  • 그 결과를 다시 입력

  • 다음 단어 생성

  • 반복…

이건 구조적으로 순차적(sequential)이다.

다음 토큰은 이전 토큰이 나와야 계산 가능

즉:

• 병렬화 어려움

• latency(지연 시간) 증가

• 메모리 대역폭이 핵심

• 실시간 응답에서 가장 큰 비용 구간

왜 Decode가 특히 느릴까?

훈련(training)은:

• 대량 데이터

• 완전 병렬화

• GPU 효율 극대화

하지만 추론(decode)은:

• 배치(batch) 작음

• 순차적

• 대규모 GPU 연산 유휴 발생

👉 GPU는 “너무 큰 트럭” 같은 존재 / 작은 실시간 응답 처리에는 비효율

2️⃣ Groq 아키텍처가 여기서 강한 이유

Groq LPU(Language Processing Unit)의...