1. 토큰

LLM에서 토큰(token)은 텍스트를 쪼갠 단위.

“얼마나 많은 토큰을, 얼마나 싸게, 얼마나 빠르게” 생산/서빙하느냐가 핵심 KPI

• “$ / 1M tokens(토큰당 비용)이 내려가고 있나?”

• “tokens/sec per GPU(GPU당 처리량)가 올라가고 있나?”

• “피크 트래픽 때도 지연시간(SLA)을 지키나?”

젠슨황 - 추론의 시대가 왔다

• 도구를 사용하는 단계로 진화

• AI시대의 화폐 = 토큰

• 토큰을 대량으로 값싸게 만드는 것이 경쟁력 -> 전력, 메모리

openrouter로 집계되는 ai agent 들의 token 사용량

• https://openrouter.ai/rankings

2. AI 팩토리

AI 팩토리 = 토큰을 찍어내는 ‘설비(자본+운영체계)’
토큰 원가 = (컴퓨팅 비용 + 메모리/대역폭 비용 + 전력/냉각 + 운영 오버헤드) / 생산 토큰 수
토큰 원가 하락 속도 vs 토큰 수요 증가 속도

구성

• 원재료: 데이터(프롬프트/문서/로그)

• 생산설비: GPU/TPU + 네트워크 + 메모리(HBM/VRAM) + 스토리지 + 전력/냉각

• 공정관리(MLOps/LLMOps): 배포, 모니터링, 비용통제, 안전/정책

• 출하품: ...