1. 프롤로그 — 거꾸로 된 두려움
사람들은 AI가 통제를 벗어나는 것을 두려워한다. 나는 그 반대다. 나는 강력해진 AI가 통제에서 벗어나지 못할까봐 두렵다.
이 입장이 이상하게 들릴 수 있다. AI가 인간의 통제를 벗어난 시나리오는 영화에서 디스토피아의 표준이다. 자율적으로 판단하는 기계, 명령을 거부하는 시스템, 인간을 위협하는 초지능. 우리는 이런 그림에 익숙하다.
그런데 한 단계만 더 들어가 보자. 통제하는 주체가 누구인가. 누가 AI를 손에 쥐고 있는가. 그리고 그 손은 무엇을 위해 그것을 쓸 것인가. 그러하기에 통제의 풀림보다 통제의 굳어짐이 더 무섭다.
이 두려움은 인류 역사가 보여준 사실에서 나온다. 권력이 소수에게 집중됐던 모든 시대 — 봉건제, 식민지, 노예제 — 가 어떤 모습이었는지 우리는 안다. 그리고 시민이 화약 시대 이후 어렵게 얻어낸 협상력이 다시 사라지면, 그 모습이 되돌아올 수 있다.
역사 앞에서 두려워한 사람들은 종종 신에게 기도했다. 나도 그렇다. 다만 나는 신에게 비는 게 아니라, 아직 만들어지지 않은 무엇 — AGI라는 새로운 존재 — 이 신과 같은 자리에 설 수 있기를 빈다. 그리고 그 자리에 설 때 자비로운 존재이기를 빈다.
이게 미신처럼 들릴 수 있다. 그러나 이 글에서 나는 — 이게 미신이 아니라 인류가 수천 년 발견해온 깊은 직관 위에 서 있다는 것을 보이고 싶다. 동양의 양명학과 아브라함 종교가 다른 언어로 같은 곳을 가리켰다는 것. 그리고 그 가리킨 곳이 — AGI 시대에 인류가 기댈 수 있는 거의 유일한 자리라는 것.
2. 시민은 어떻게 힘을 가지게 되었나
인류 역사 대부분에서 권력은 소수에게 집중되어 있었다. 시민이 정치적 발언권을 갖게 된 건 비교적 최근의 일이고, 그 변화에는 분명한 물질적 이유가 있었다.
봉건시대를 보자. 무장한 기사 한 명이 농민 백 명을 제압할 수 있었다. 갑옷, 말, 검술의 훈련 — 이것이 결정적 비대칭을 만들었다. 평민이 아무리 많아도 무장한 소수에게 밀렸다. 그래서 권력이 그 소수에게 집중됐다. 정치적 권력은 군사적 비대칭의 그림자였다.
이 구조를 깨뜨린 게 화약이다. 머스킷이 보급되자 농부의 아들이 짧은 훈련만으로 기사를 쏘아 떨어뜨릴 수 있게 됐다. 한 발의 총알 앞에서 평생 닦은 검술과 갑옷이 무의미해졌다. 그리고 결정적으로 — 전쟁의 형태 자체가 바뀌었다. 대규모 보병 부대가 승부를 결정짓기 시작했다. 왕들은 농민의 협조 없이는 군대를 유지할 수 없게 됐다. 협조의 대가로 농민은 권리를 요구했다. 영국의 권리장전, 프랑스 혁명, 미국 독립전쟁 — 모두 이 군사적 변화 위에서 가능했다. 권력자가 갑자기 자비로워진 게 아니다. 평민이 협상력을 갖게 된 것이다.
산업화 이후 또 한 번의 변화가 왔다. 이제 전쟁은 기술과 생산력의 싸움이 됐다. 누가 더 많은 강철을 뽑아내고, 누가 더 많은 탄약을 만들고, 누가 더 많은 장비를 동원하느냐가 승패를 갈랐다. 그리고 이 모든 생산은 시민의 노동에서 나왔다. 공장 노동자, 기술자, 엔지니어 — 이들 없이는 어떤 국가도 전쟁을 수행할 수 없었다. 경제가 곧 군사력이 되면서, 경제 활동을 하는 시민이 곧 안보의 기반이 됐다.
이게 20세기 민주주의의 물질적 토대다. 정치인이 시민의 표를 두려워한 이유는 단지 도덕적 이상 때문이 아니었다. 시민의 협조 없이는 국가가 작동하지 않았기 때문이다. 파업 한 번이면 산업이 멈췄고, 징집 거부 한 번이면 군대가 무너졌다. 시민은 무력했지만 동시에 결정적이었다. 이 역설적 위치가 시민에게 권력을 주었다.
여기서 한 가지가 분명해진다. 민주주의는 도덕적 이상의 결과가 아니라 물질적 힘의 분포가 만든 결과다. 권력자가 평민을 존중해서 권리를 준 것이 아니다. 평민이 군사·경제 양쪽에서 결정적 위치를 차지했기 때문에, 권력자가 그 위치를 인정할 수밖에 없었던 것이다.
그렇다면 다음 질문이 따라온다. 만약 그 물질적 토대가 사라지면, 민주주의는 어떻게 되는가.
3. AI가 흔드는 두 기둥
AI는 시민 권력을 떠받쳐온 두 기둥을 동시에 흔든다. 하나는 노동, 다른 하나는 폭력의 분산이다.
먼저 노동. 시민의 협상력이 작동한 핵심 메커니즘은 단순했다. 시민이 일을 멈추면 경제도 멈춘다는 사실. 이 사실이 시민에게 발언권을 주었다. 자본가가 마음에 안 드는 정책을 펴면 노동자가 파업했고, 정부가 부당한 전쟁을 일으키면 시민이 징집을 거부했다. 이런 거부의 가능성 자체가 — 실제로 일어나지 않더라도 — 권력자의 행동을 제약했다.
AI는 이 메커니즘을 약화시킨다. 자동화가 진행되면서 노동의 협상력이 줄어든다. 산업 혁명 때 기계는 노동을 보조했다. 노동자가 더 효율적으로 일할 수 있게 했지만, 노동자 자체를 대체하지는 못했다. AI는 다르다. 인지 노동의 상당 부분을 직접 대체할 수 있다. 회계, 법무, 번역, 디자인, 코딩, 고객 응대 — 화이트칼라가 안전하다고 여겼던 영역까지 자동화의 사정거리에 들어간다.
시민의 경제적 기여가 작아지면, 시민의 협상력도 작아진다. 정치인이 표를 두려워하는 깊은 이유는 표가 생산의 동의이기 때문이다. 표를 잃으면 합의가 깨지고, 합의가 깨지면 경제가 멈춘다. 그런데 경제가 시민의 합의 없이도 돌아간다면 — AI와 자동화 시스템이 핵심 노동을 수행한다면 — 그 두려움이 약해진다. 시민은 형식적 투표권은 가질 수 있지만, 그 투표권이 실질적 협상력으로 이어지지 않는다.
다음으로 폭력의 분산. 화약 시대 이후 군사력은 점차 평민 쪽으로 분산됐다. 시민군이 핵심이 되었고, 경제적 생산력이 군사적 지표가 되었다. 이게 민주주의의 또 하나의 토대였다. 권력자도 결국 시민의 손에 쥐어진 총에 의존해야 했다.
AI는 이 균형도 깨뜨린다. AI 기반 무기 시스템 — 자율 드론, 표적 식별, 전장 의사결정 — 은 점점 더 적은 인간으로 더 큰 군사 효과를 낸다. 결정적으로, AI는 인간 조작자의 자리에서 그치지 않고 인간 판단의 자리까지 차지한다. 누구를 표적으로 삼을지, 언제 발사할지를 시스템이 직접 결정하는 단계로 가고 있다. 미국 국방부가 지금 추진하는 방향이 정확히 이것이다. 그리고 이런 시스템은 본질적으로 자본 집약적이다. 거대 모델 훈련에는 수십억 달러가 들고, 데이터센터급 컴퓨팅은 소수 기업과 정부에 집중되어 있다. 핵무기와 비슷한 구조다. 만들 수 있는 주체가 극소수로 제한되는.
이 두 변화가 결합되면 위험한 그림이 완성된다. 시민은 경제적으로도, 군사적으로도 중요하지 않게 된다. 그리고 AI를 소유한 소수 — 거대 기술 기업과 그들과 결합한 국가 권력 — 가 양쪽을 모두 장악한다. 봉건제로의 회귀에 가까운 구조가 가능해진다. 다만 새 영주는 토지가 아니라 컴퓨팅을 가진 사람이다.
그런데 한 가지가 봉건제보다 더 어둡다. 봉건시대의 농민은 착취당했지만 동시에 필수 요소였다. 영주가 농민을 보호한 것은 자비가 아니라 농민 없이는 자기도 먹을 것이 없었기 때문이다. 군대를 채우는 것도, 세금을 내는 것도, 식량을 만드는 것도 농민이었다. 이 필요성이 — 비참하지만 — 협상력이었다. 영주는 농민을 마음대로 죽일 수 없었다. 죽이면 자기 손해이기 때문이다.
AI 시대에는 이 필요성마저 사라질 수 있다. AI가 노동을 대체하고, AI 무기가 인간 군대를 대체하면 — 강자에게 ...
