핵심 내용 요약

본 문서의 핵심은 AI에 급격한 발전과 파급에 대해 사회적 인식과 준비가 미비함을 알리고 경고하는 것에 있습니다.

• 해당 문서에서 AGI는 대학 졸업생과 유사한 수준의 인공지능을, Superintelligence는 인간의 모든 지적 능력을 초월하여 인간이 이해하거나 통제하기 어려운 수준의 인공지능을 의미

AI 기술 전망 문제에 있어 저자의 발언이 파급력을 가지는 이유를 설명하고자 약력을 추가합니다.

AI 기술의 현황 및 향후 2~3년간 전망에 대한 프레임워크를 다루는 Chapter1이 가장 중요합니다. Chapter 2 이후는 AI가 인간의 지적 능력을 초월한 시점에서 발생할 문제를 다룹니다. 따라서 본 요약자료는 Chapter1 위주로 작성되었습니다.

• 특히, OOMs과 Unhobbling 개념이 중요합니다.

저자 약력

레오폴드 애쉔브레너(Leopold Aschenbrenner)는 통계, 수리, 경제학 전공으로 21년 19세에 콜롬비아 대학을 수석졸업하고, 23년까지 옥스퍼드 대학교의 글로벌 프라이어리티 연구소(Global Priorities Institute)에서 장기 경제 성장에 대한 연구를 수행하였습니다. 이후 OpenAI의 핵심 맴버인 일리아 슈츠케버(Ilya Sutskever)가 이끌고 있던 초정렬(Superalignment) 팀에 입사하고 약 1년간 근무하며 Superintelligence(초지능)AI가 인간의 가치와 목표에 부합하도록 동작하도록 보장하는 연구를 수행하였습니다. 주요 기여로 약한 감독(weak supervision)을 통해 강력한 AI 모델을 제어하는 방법론인 약-강 정렬(Weak-to-Strong Generalization) 접근법이 있습니다.

• 간단하게 설명해서 초지능의 입장에서 인간은 '부족한 관리자' 입니다. 부족한 관리자의 지도는 초지능의 성능을 하락 시키거나 인간의 의도와 다른 행동을 유발하게 됩니다. 애쉔브레너는 Bootstrapping이라는 통계학 기법을 바탕으로 강력한 generalization 을 이용하여 모델이 인간의 의도대로 행동하게 유도 하였습니다.

이후 OpenAI의 보안 조치가 "심각하게 불충분하다"고 판단하고, 모델 가중치나 알고리즘 비밀이 외부 행위자(특히 중국 정부와 연관된 조직)에게 도난당할 위험성을 경고하는 메모를 작성하여 몇몇 동료와 외부 연구자들에게 공유 하였습니다. 해당 사유로 24년 4월 해고 됩니다. (5월 Superalignment 팀 해산, 팀 리더인 Ilya Sutskever와 Jan Leike 퇴사)

24년 6월 인공지능(AI)의 연구의 최전선에서 지켜본 경험을 바탕으로 향후 10년간 인공지능의 급격한 발전, 특히 범용 인공지능(AGI) 및 초지능으로의 전환이 임박하였고 AGI를 둘러싼 기술적, 경제적, 지정학적 영향을 예측한 "Situational Awareness: the decade ahead" 를 공개 하였습니다. 공식적으로 초정렬팀 리더였던 Ilya Sutskever에게 헌정된 문서입니다.

Situational Awareness: the decade ahead

내용 요약

지난 1년 동안, AI 개발 경쟁은 급격히 가속화되며 100억 달러 규모의 컴퓨팅 클러스터에서 조 단위 클러스터로 확장되고 있습니다. 기업들은 10년간 사용할 전력 계약과 변압기를 확보하기 위해 치열하게 경쟁하고 있으며, 미국 산업은 전례 없는 수준의 동원 태세를 갖추고 있습니다. 이로 인해 미국의 전력 생산은 수십 퍼센트 증가할 것이며, 수백만 개의 GPU가 가동될 예정입니다. AGI(범용 인공지능) 경쟁이 본격적으로 시작되었습니다.

2025~2026년에는 기계가 대학 졸업생을 능가하는 지능을 갖게 되고, 10년이 끝날 무렵에는 인간을 초월한 초지능에 도달할 것입니다. 이 과정에서 국가 안보와 관련된 대규모 프로젝트가 시작될 가능성이 높으며, 운이 좋으면 중국과의 경쟁이 될 것이지만, 운이 나쁘면 전쟁으로 이어질 수도 있습니다.

현재 많은 사람들이 AI에 대해 이야기하고 있지만, 대부분은 그 파급력을 제대로 이해하지 못하고 있습니다. 일부 전문가들은 여전히 AI를 단순한 "다음 단어 예측" 정도로 간주하거나 기존 인터넷 기술 수준의 변화로만 인식하고 있습니다. 그러나 소수의 사람들(주로 샌프란시스코와 AI 연구소에 있는 수백 명)은 이러한 상황을 정확히 파악하고 있으며, 과거 AI 발전을 예측했던 이들입니다. 이들이 향후 몇 년간의 변화를 얼마나 정확히 예측할지는 미지수지만, 그들은 역사적인 인물들(예: 실라드, 오펜하이머)과 비교될 만큼 중요한 역할을 할 가능성이 있습니다. AGI, Superintelligence 개발을 맨하튼 프로젝트에 비견할 만한 파급력을 지닐 것이며, 국가 패권의 핵심이 될 것입니다.

1. From GPT-4 to AGI: Counting the OOMs

1-1 OOMs

저자는 지수적 성능 증가를 의미하는 Order of Magnitudes (OOMs) 개념을 이용하여 GPT-4에서 AGI 수준의 AI도달까지 2~3년내 도달 가능함을 주장합니다.

• OOD 1증가 = 성능 10배 향상

현 상황(GPT-4 ~= 고등학생 수준)을 기준으로 앞으로 ~5 OOMs (10만배) 성능 향상시 AGI가 구현될...