LLM이 해결해야 할 문제들 (05.2025)




"하지만 앞으로 나아갈 수 있는 아이디어들이 있습니다. 모든 지능적인 동물과 인간이 할 수 있지만 현재의 AI 시스템은 할 수 없는 것들을 수행할 수 있는 시스템을 만드는 아이디어들 말입니다. 저는 물리적 세계를 이해하고, 영구적인 기억(persistent memory)을 가지며, 추론하고 계획할 수 있는 능력에 대해 이야기하는 것입니다. 이 네 가지 특징이 반드시 필요합니다."
26년 현 시점 AI 분야에서 가장 큰 화두는 'LLM 스케일 업으로 AGI 도달이 가능한가?' 입니다. Demin Hassabis, Dario Amodei, Elon Musk와 같은 현재 AI 씬을 주도하는 기업의 CEO들은 스케일 업에 배팅을 하였습니다.
반면, AI God Father 중 한명이자 과거 Meta FAIR의 수장이었던 Yann LeCun은 LLM이 막다른 길, 한계에 도달했다고 이야기 합니다. 25년 LLM의 dead-end 논쟁이 치열했지만 결과적으로 Llama의 실패로 인해 Yann은 97년생 Alexandr Wang에게 밀려 Meta를 나오게 됩니다.
San Fransisco Consensus를 보면 LLM 스케일업 논쟁은 끝난것 처럼 보입니다. 그럼에도 불구하도 25년 5월에 진행된 Yann과 Alex Kantrowitz의 인터뷰는 주목해볼만 합니다. 우리는 이 인터뷰를 통해 LLM이 해결해야 할 구체적인 문제점들을 확인할 수 있으며, 앞으로 나아갈 방향에 대해서도 배울 수 있습니다.
얀 르쿤은 단순히 대규모 언어 모델(LLM)의 크기를 키우고 데이터를 더 많이 학습시키는 현재의 방식만으로는 결코 인간 수준의 AI(AGI)에 도달할 수 없으며, 향후 2년 내에 획기적인 도약이 일어날 것이라는 기대는 현실성이 없다고 단언했습니다. 그는 현재의 AI 시스템이 방대한 지식을 검색하고 조합하는 능력은 탁월하지만, 인간처럼 물리적 세계를 이해하거나 새로운 문제를 해결하기 위해 추론하고 계획하는 능력은 결여되어 있다고 지적했습니다.
현재 빅테크 기업들이 진행 중인 막대한 인프라 투자는 미래의 기술적 혁명보다는 당장 늘어나는 사용자 수요를 감당하기 위한 현실적인 필요에 의한 것입니다. 그러나 실제 기업 현장에서는 AI의 환각 현상과 신뢰성 문제로 인해 개념 증명(PoC) 단계에서 상용화로 넘어가는 데 어려움을 겪고 있으며, 이는 마치 자율주행 기술이 완벽한 신뢰성을 확보하는 '마지막 단계(Last Mile)'에서 고전하는 것과 유사한 상황입니다.
르쿤은 단순히 텍스트 데이터 학습을 늘려 AGI를 달성할 수 있다고 믿는 투자는 위험하다고 경고하며, 진정한 지능을 갖춘 AI는 비디오 등 자연 센서를 통해 세상의 작동 원리를 배우는 새로운 아키텍처를 통해 구현될 것이라고 보았습니다. 이러한 발전은 특정 기업의 비밀스러운 발명이 아니라 전 세계 연구 커뮤니티의 협력을 통해 앞으로 3~5년에 걸쳐 점진적으로 이루어질 것이라고 전망했습니다.
얀 르쿤:단순히 대규모 언어 모델(LLM)의 규모를 키우는(scaling up) 것만으로는 인간 수준의 AI에 도달할 수 없습니다. 그런 일은 일어나지 않을 겁니다. 네, 그게 제 관점입니다. 절대 불가능합니다. 네, 정말로 불가능해요. 제 모험심 강한 동료들이 뭐라고 하든, 향후 2년 안에는 그런 일이 일어나지 않을 것입니다.
거친 표현을 용서하십시오만, 지옥에 떨어져도(absolutely no way in hell) 그런 일은 없습니다. 데이터 센터 안에 '천재들의 나라'가 생길 것이라는 생각은 완전히 헛소리(complete BS)입니다. 정말 말도 안 되는 얘기죠.
우리가 갖게 될 것은 아마도 충분히 방대한 양의 데이터로 훈련되어, 합리적인 사람이 물어보는 어떤 질문이든 그 시스템을 통해 답을 찾을 수 있는 시스템일 것입니다. 마치 옆에 박사 학위자가 앉아 있는 것처럼 느껴지겠지만, 그것은 당신 옆에 있는 박사가 아닙니다. 그건 거대한 기억력과 검색 능력을 갖춘 시스템일 뿐, 새로운 문제에 대한 해결책을 발명해 낼 수 있는 시스템이 아닙니다. 새로운 것을 발명하는 것이야말로 진짜 박사들이 하는 일이니까요.
이건 숄이 쓴 글과도 연결되는데, 새로운 것을 발명한다는 것은 단순히 기본 구성 요소들로부터는 얻을 수 없는 종류의 기술과 능력을 필요로 합니다. (역주: 문맥상 Keras 창시자 프랑수아 숄레의 "On the Measure of Intelligence", "The implausibility of intelligence explosion" 등을 언급하는 것으로 추정)
그래서 큰 의문이 생깁니다. 지금 이루어지고 있는 투자는 당장 내일을 위한 것이 아닙니다. 향후 몇 년을 위한 것이죠. 적어도 메타 입장에서 투자의 대부분은 추론을 위한 인프라 구축에 쓰입니다.
자, 올해 ...

호우! 좋은 글 정말 감사합니다!

르쿤옹은 LLM 초기부터 지적하셨던 것 같은데 곤조가 있으시네요. 당시엔 아직 LLM도 미숙한데 충분히 explore하기 전부터 찬물을 끼얹는 것 같다는 생각을 했었는데, 이젠 (투자 규모가 유지된다면..) 업계에서 수용할 만한 준비가 된 것 같습니다. LLM 성능이 충분히 올라왔고 multi-modal 모델들의 성능도 제법 발전했으며, 시행착오를 위한 시뮬레이션 퀄리티와 실제 로봇도 빠르게 늘고 있습니다.
다만 아직도 제대로 해결되지 않는 문제 중 하나가 continual learning입니다. 학습 목표와 데이터 분포가 계속 바뀌는데 robustness를 잃지 않고 학습을 이어갈 방법을 언젠가 찾을 수 있을까요? 아니면 지금 LLM에서 하듯 타협하게 될까요? 아마 당분간은 후자겠죠. fine-tuning과 기록으로 on-device의 필요를 충족시키는 한편 유의미한 학습은 중앙에서 허가받은 데이터로 따로할텐데, 이런방식으론 AGI는 나오지 못할 것이라고 개인적으로 전망합니다.

목적함수를 동적으로 정의하고 다시 action으로 인한 환경 변화를 관찰하면서 목적함수를 교정하는, 이런 목적함수 수준에서의 탐구가 가능해야 한다고 생각합니다. 아쉬운 점은 이런 강화학습 세팅이 i.i.d 학습에 최적화된 딥러닝에 적합하지 않았고, (절 포함한..) 연구자들이 벤치마크 성능을 높이기 위해 단순히 학습 데이터를 i.i.d-스럽게 넣어주는 방식으로 이 문제를 회피해왔다는 점입니다. 이 문제가 해결되지 않는다면 아무리 여러 modality에서 성능이 좋아져서 대부분의 인간 노동력을 대체하더라도, 저는 "이런건 AGI가 아니야" 라는 아쉬움이 남을 것 같습니다.
