모델 임베딩이나 경량화 이야기가 나올 때마다 이 사진이 떠오른다.
뇌의 90%가 손상되었음에도 별다른 불편 없이 생활했던 한 화이트칼라 노동자의 뇌 CT 사진이다.
이는 우리가 뇌의 지극히 일부만 사용하더라도 일상생활은 물론, 상당한 수준의 지식 노동까지 수행할 수 있음을 보여준다.
인간의 뉴런과 시냅스는 청소년기에 폭발적으로 증가했다가 중장년이 되면서 점차 줄어든다. 그렇다고 해서 그 사람의 모든 능력이 감소하는 건 아니다. 일상생활을 영위하는 데는 아무런 지장이 없다.
줄어든 것은 '학습 능력'일 뿐이다.
AI도 이와 비슷하다. 학습 단계에서는 거대해야 한다. 새로운 모델을 만든다면 그 규모는 필연적으로 더 커질 것이다. 그러나 추론 단계에서는 충분히 작아질 수 있다. 10분의 1로 줄어도 괜찮다.
리처드 서튼이나 얀 르쿤 같은 학자들은 스스로 세상을 탐험하며 배우는, 아이와 같은 AI를 지향한다.
하지만 비행기는 새의 날개를 본떴을지언정 날갯짓은 하지 않는다. 그럼에도 시속 1000km로 하늘을 난다.
학습과 추론을 분리한 지금의 시스템이 오히려 더 효과적일 수 있다. 적어도 실용적인 측면에서는 분명히 그렇다.
X: https://x.com/BSPK_/status/2012726951115706639?s=20
