최근 인공지능 분야의 거장이자 OpenAI의 공동 창립자였던 일리야 수츠케버(Ilya Sutskever)가 드와케시 파텔(Dwarkesh Patel)과의 인터뷰에서 AI의 현재 역설과 미래 비전을 심도 있게 논했습니다. 그는 AI 개발 패러다임이 '스케일링의 시대'에서 '연구의 시대'로 근본적으로 전환되고 있으며, 초지능으로 가기 위한 핵심 열쇠는 바로 인간 수준의 일반화(Generalization) 능력에 있다고 강조했습니다.

​

1. AI 역설 : 높은 평가 점수, 낮은 경제적 영향

수츠케버는 현재 AI의 가장 큰 수수께끼를 지적합니다. 바로 "평가(evals) 성능과 실제 경제적 영향력 사이의 괴리"입니다. 최신 모델들은 벤치마크 테스트에서 놀라운 점수를 받지만, 실생활의 복잡한 문제, 예를 들어 코딩 버그를 고치는 일에서는 오히려 새로운 실수를 반복하는 '이상한 행동'을 보입니다.

​

수츠케버는 이에 대해 몇 가지 가설을 제시했습니다.

​

• 강화 학습(RL)의 부작용: 모델이 특정 작업에 지나치게 '외골수'가 되어 기본적인 일반화 능력을 잃어버릴 수 있습니다.

• 평가 점수 중심의 훈련: 연구자들이 모델을 실제 경제적 가치보다 평가 점수를 올리는 데 최적화된 환경에서 훈련시키는 경향이 있습니다.

​

이는 AI가 단순한 지식 축적을 넘어, 환경에 대한 깊은 이해와 유연성을 갖추는 데 실패하고 있음을 의미합니다.

​

​

2. '스케일링 시대' 끝나고, '연구의 시대' 온다

GPT-3 이후 AI 연구는 데이터와 컴퓨팅 자원을 무한정 투입하는 스케일링 법칙(Scaling Law)에 의존해 왔습니다. 수츠케버는 이제 이 시대가 막을 내리고 있다고 선언합니다.

데이터는 유한합니다. 이제는 단순히 100배...