안녕하세요, 슈크림빵입니다.🧁
오늘은 새로운 소식을 물고 왔습니다!
요즘 AI 업계 뉴스를 보다 보면 '훈련(training)'과 '추론(inference)'이라는 단어가 자주 등장하죠?
훈련은 말 그대로 모델에게 데이터를 먹이고 가르치는 과정이고, 추론은 우리가 챗GPT나 클로드한테 질문을 던졌을 때 답을 만들어내는 그 순간을 말해요.
그동안 AI 칩 시장의 주인공은 엔비디아의 GPU였는데요. GPU는 훈련에 최적화된 칩이에요.
동시에 어마어마하게 많은 단순 계산을 처리할 수 있어서 "모델을 가르치는" 일에 아주 잘 맞거든요.
그런데 이번 주 구글이 라스베이거스 행사에서 8세대 TPU(Tensor Processing Unit)를 공개했어요.
이번 세대가 특별한 이유는, 처음으로 '추론 전용' 칩이 따로 나왔다는 점이에요. 훈련용과 추론용을 아예 분리해서 내놓은 거죠.
왜 갑자기 추론이 중요해졌을까요
구글 클라우드 CEO 토마스 쿠리안은 이런 이야기를 했어요.
추론이 없으면 훈련 비용을 감당할 수 없다. 결국 추론 시장은 훈련 시장만큼, 아니 그보다 더 커질 것이다.
배경에는 요즘 뜨거운 'AI 에이전트' 붐이 있어요.
구글 클라우드 AI 인프라 담당 부사장 마크...
