알파고(Alphago), 알파제로(AlphaZero) 프로젝트를 주도했던 구글 딥마인드의 수석 연구 과학자 David Silver와 현대 강화학습의 창시자 중 한 명인 Richard S. Sutton. 최근 이들이 발표한 논문 Welcome to the Era of Experience에서는 인공지능이 이제 새로운 전환점을 맞이했다고 말합니다.
ChatGPT에서 뽑은 요약본입니다.
🧠 요약: 새로운 AI 시대의 전환 – 경험의 시대(The Era of Experience)
이 논문은 AI 발전이 이제 인간 데이터 기반 학습에서 벗어나, ‘경험’을 통한 자율 학습 중심으로 전환되어야 한다고 주장합니다.
📌 핵심 주장
1. 인간 데이터의 한계
LLM(대형 언어 모델)들은 인간 데이터 기반 학습을 통해 광범위한 작업을 수행하게 되었지만,
수학, 코딩, 과학 등의 영역에서는 인간 지식만으로는 한계에 도달해가고 있음.
인간 지식 기반 학습만으로는 새로운 발견이나 초인간적 성능은 달성하기 어려움.
2. 경험의 시대 (The Era of Experience)
자율적인 상호작용을 통해 AI가 스스로 경험을 축적하고 학습하는 방식이 중요해짐.
예: AlphaProof는 기존 10만 개 수학 증명을 학습한 후, 스스로 1억 개 증명을 생성해 IMO 수상 수준에 도달.
🔄 경험 기반 AI의 특징
1. 스트림 기반 학습 (Streams)
인간처럼 긴 시간에 걸쳐 누적되는 경험을 기반으로 학습하고 개선.
예: 건강 모니터링 AI는 수개월 간 웨어러블 데이터를 분석해 맞춤형 피드백 제공.
2. 행동과 관찰의 확장 (Actions and Observations)
인간과의 텍스트 상호작용에 국한되지 않고, 디지털 및 물리 세계를 직접 조작함.
예: 원격 망원경 조작, 실험 장비 제어 등.
3. 보상의 변화 (Rewards)
기존에는 인간 평가자 기준으로 보상을 제공했지만,
이제는 실제 환경에서 측정된 수치(건강, 성능, 생산성 등) 기반 보상으로 대체.
보상 함수도 사용자 피드백을 반영해 적응 가능해야 함.
4. 계획과 추론 (Planning and Reasoning)
단순한 언어 추론에서 벗어나, 세계 모델(world model)을 구축해 행동의 결과를 예측하고 계획 수립.
예: 체력 향상을 위해 다양한 옵션의 미래 결과를 시뮬레이션.
🤖 왜 지금인가?
과거 시뮬레이션 기반 RL(알파고 등)은 뛰어난 성과를 보였지만, 실제 세계에는 적용하기 어려움.
LLM의 부상은 일반화에는 성공했지만, 자율성 및 새로운 지식의 발견 능력은 부족.
최근에는 LLM과 RL을 융합하여 실제 환경과 상호작용하는 자율 에이전트의 기반이 마련됨.
🧩 향후 과제 및 영향
✅ 기대효과
맞춤형 건강/교육/과학 에이전트의 출현.
자율적인 과학 실험을 통한 기술 및 의학의 급속한 발전.
⚠️ 잠재적 위험
일자리 대체, 해석 가능성 감소, 통제 어려움.
하지만, 경험 기반 AI는 변화 감지 및 자가 수정 가능성 등 안전 측면에서도 유리할 수 있음.
🏁 결론
경험의 시대는 인간 데이터의 한계를 뛰어넘는 초인간적 AI ...
