
슈크림빵
구독자 218명구독중 17명
AI Engineer로 일하고 있습니다.
안녕하세요, 슈크림빵입니다.🧁
오늘은 새로운 소식을 물고 왔습니다!
요즘 AI 업계 뉴스를 보다 보면 '훈련(training)'과 '추론(inference)'이라는 단어가 자주 등장하죠?
훈련은 말 그대로 모델에게 데이터를 먹이고 가르치는 과정이고, 추론은 우리가 챗GPT나 클로드한테 질문을 던졌을 때 답을 만들어내는 그 순간을 말해요.
그동안 AI 칩 시장의 주인공은 엔비디아의 GPU였는데요. GPU는 훈련에 최적화된 칩이에요.
동시에 어마어마하게 많은 단순 계산을 처리할 수 있어서 "모델을 가르치는" 일에 아주 잘 맞거든요.

그런데 이번 주 구글이 라스베이거스 행사에서 8세대 TPU(Tensor Processing Unit)를 공개했어요.
이번 세대가 특별한 이유는, 처음으로 '추론 전용' 칩이 따로 나왔다는 점이에요. 훈련용과 추론용을 아예 분리해서 내놓은 거죠.
구글 클라우드 CEO 토마스 쿠리안은 이런 이야기를 했어요.
추론이 없으면 훈련 비용을 감당할 수 없다. 결국 추론 시장은 훈련 시장만큼, 아니 그보다 더 커질 것이다.
배경에는 요즘 뜨거운 'AI 에이전트' 붐이 있어요.
구글 클라우드 AI 인프라 담당 부사장 마크...




