
밥풀
구독자 109명구독중 48명
섹터 공부 열심히 하자
LLM에서 토큰(token)은 텍스트를 쪼갠 단위.
“얼마나 많은 토큰을, 얼마나 싸게, 얼마나 빠르게” 생산/서빙하느냐가 핵심 KPI
“$ / 1M tokens(토큰당 비용)이 내려가고 있나?”
“tokens/sec per GPU(GPU당 처리량)가 올라가고 있나?”
“피크 트래픽 때도 지연시간(SLA)을 지키나?”
젠슨황 - 추론의 시대가 왔다
도구를 사용하는 단계로 진화
AI시대의 화폐 = 토큰
토큰을 대량으로 값싸게 만드는 것이 경쟁력 -> 전력, 메모리
openrouter로 집계되는 ai agent 들의 token 사용량

AI 팩토리 = 토큰을 찍어내는 ‘설비(자본+운영체계)’
토큰 원가 = (컴퓨팅 비용 + 메모리/대역폭 비용 + 전력/냉각 + 운영 오버헤드) / 생산 토큰 수
토큰 원가 하락 속도 vs 토큰 수요 증가 속도

원재료: 데이터(프롬프트/문서/로그)
생산설비: GPU/TPU + 네트워크 + 메모리(HBM/VRAM) + 스토리지 + 전력/냉각
공정관리(MLOps/LLMOps): 배포, 모니터링, 비용통제, 안전/정책
출하품: ...

글 잘 읽고 갑니다~~ 다만 저랑은 조금 생각이 다르신 부분이, 메모리가 GPU보다 숏티지가 심하다고 하셨는데, GPU가 숏티지가 아니라고 판단하신 근거가 있을까요?? 엔비디아 투자를 눈여겨 보고 있어서 저랑 시각이 다른 부분이 있으면 참고하려 합니다~~

안녕하세요!
개인적으로 숏티지 관련 내러티브가 24년 GPU -> 25년 전력 -> 26년 메모리로 이동을 하고 있어서, 최근 메모리 숏티지에 좀 더 집중이 된다고 생각하는데
GPU 숏티지 역시 최근 렌탈시장이 극단적으로 타이트해질 정도로 심해져, 엔비디아 투자도 괜찮다고 생각합니닷!
(최근 H100 1년 렌탈 계약 단가가 약 +40% 급등, 온디맨드/스팟 포함 전 구간에서 ‘매진’에 가까운 타이트함, 계약 기간이 길어지는 방향 등)
레퍼런스)
semianalysis 리포트: https://newsletter.semianalysis.com/p/the-great-gpu-shortage-rental-capacity?_gl=1*z4khm5*_ga*MjAyMTY1NTYyNi4xNzc1OTA1NTM4*_ga_FKWNM9FBZ3*czE3NzU5MDU1MzckbzEkZzAkdDE3NzU5MDU1MzckajYwJGwwJGgxODEwOTE4MTM1
![[산업 > 반도체] 후공정(패키징, 소켓/검사공정, OSAT)](https://post-image.valley.town/KREwgYZHizisuwShS56xF.png)
![[산업 > 반도체] 시스템 반도체(파운드리), 메모리반도체(D램, 낸드)](https://post-image.valley.town/QL-lMg7w0Ox9qLeLq8QeR.png)
![[산업>반도체] 반도체 산업구조, 전공정](https://post-image.valley.town/2X4yEK6Y16q6-1tOeMllO.png)