OpenAI o1 이후 LLM 트렌드는 Pre-train scailing에서 test-time scailing으로 전환 되었습니다. DeepSeek R1 이후로는 reasoning 모델 코드와 학습 방법이 공개 되었고, 트렌드는 보다 강화 되었습니다.
test time scailing 단계적 사고 (CoT)를 얼마나 오래, 많이 하느냐에 따라 모델의 성능이 향상 된다는 것을 의미하며, 학습 컴퓨팅에 이어 추론 컴퓨팅 시장의 확장을 예고 합니다.
<출처>
[Scaling up Test-Time Compute with Latent Reasoning ]
test time scailing 에서도 효율을 높이는 기술들이 나오기 시작 했습니다. 최근 연구 중에 가장 눈에 띄는 것은 o1, o3, r1 등과 달리 토큰 사용 없이 Latent space 상에서 Reasoning을 수행하는 기술입니다. 안될공학 애러님의 설명 영상
논문에서는 test time 컴퓨팅 확장을 위한 잠재 공간 기반 반복 추론 아키텍처를 제안합니다. 이 모델은 기존 CoT 접근법과 달리 명시적 토큰 생산 없이 내부 반복 계산을 수행합니다. 쉽게 말해, 기존의 CoT가 쓰면서 생각하는 방식이라면, Latent Reasoning은...
