LLM 덕분에, 말에 대해서 다시 생각해보게 되었다. 말은 생각을 전달하기 위한 수단이지만, 생각과는 정 반대로 동작한다. 생각은 서로 다른 것들을 연결하여 새로운 것을 창조하지만, 말은 같은 것도 정의에 따라서 다른 것으로 구분짓게 만든다. 강물은 상류에서 하류로 경계 없이 흐르지만, 언어는 '상류'와 '하류'라는 단어로 그 흐름을 끊어내는 것과 같다. 이러한 차이는 언어를 확률론으로 배운 LLM이 절대로 넘을 수 없는 구조적 한계이고, 사람의 절대적인 엣지를 알려주는 대목이라고 생각한다.
비트겐슈타인 책들 추천드립니다. :)
개인적으로, 언어철학의 시대를 끝내는건 역설적으로 언어모델이 될거라고 봅니다. LLM으로써 사람들은 언어의 한계를 직시하게 될 테니까요. 논리철학논고는 결국 언어의 집합론적 한계를 극복하지 못했고, 그런 상태로 확장된 언어게임이라는 개념은 인식론적 한계를 부각할 따름이니까요. 이런 문제들을 극복하기 위한 새로운 패러다임이 필요하다고 봅니다.
이미 기호에 대한 초기 비트겐슈타인과 후기 비트겐슈타인의 역설이 있었던 만큼 각자 생각하기 나름이라는 생각이 듭니다. 의사소통 과정이나 인지과정 등 정보의 변환이 나타나는 과정에서 제한된 컨택스트와 자원에 기반해 아날로그 데이터나 고차원 디지털 데이터를 저차원의 데이터로 변환하는 과정에서 발생하는 정보 손실은 피할 수 없다는 생각이 듭니다. LLM이라는 개념 자체에서 다루어지는 임베딩의 차원과 모델에 집어넣는 데이터들을 지금처럼 스케일링하면 비효율적이겠지만 몇 만 년 지나면 인간을 뛰어넘을 수도 있겠죠. 이 과정에서 전자 기반 트렌지스터를 개선하거나 교체할 수도 있겠죠. 저는 이미 시대의 흐름이 알아서 잘 가고 있다고 생각합니다. 패러다임은 진작에 던져졌고요. :)
제가 지적한 언어철학의 본질적 한계를 데이터 손실이나 스케일링 같은 양적 문제로 회피하시는 듯한 인상을 받습니다. 언어는 본질적으로 이산적 기호의 집합론적 시스템입니다. 임베딩 차원을 무한히 높이고 트랜지스터를 개조한다 해도, 그것은 격자를 더 촘촘히 만들고 해상도를 높이는 것일 뿐 강물처럼 경계 없이 흐르는 연속적인 생각이 될 수는 없습니다. GAN으로 MDP를 못 따라하는 것처럼요. 비트겐슈타인의 언어 게임 역시 결국 집합론적 체계 안에서 벗어나지 못하고, 격자 너머의 흐름을 포착하지 못한 인식론적 한계를 지닙니다. 이 구조적 간극을 메우는 것은 데이터의 집합론이 아닌 '비선형적 사고'와 '직관'의 영역입니다. 이 차이를 고민해보고 싶으시다면, 베르그송이 말한 '지성'과 '직관'의 차이를 공부해보시는걸 추천드립니다. 지성은 흐름을 끊어 분석할 뿐이지만, 직관만이 그 흐름 자체에 올라탈 수 있으니까요. 그리고 저는 아직 이러한 패러다임이 주류로 올라오지는 못한 것으로 보고 있습니다
그리고 첨언하자면, 최근 학계에서는 전기와 후기 비트겐슈타인을 단순한 '역설'이 아닌 개념적 연속성과 확장으로 보는 관점이 주류라고 알고 있습니다. 칸트적인 개념으로 설명을 보조하자면, 전기에는 선험적인 틀이 하나뿐이라고 봤다면, 후기에는 생활 양식을 공유하는 사람들끼리만 같은 선험적 틀을 공유한다는 느낌으로요.
+ '기호 접지 문제'에 대해서 한 번 알아보시면 도움이 될 듯 합니다.
그렇군요. 제가 잘 모르는 분야를 잘 아시는 것 같습니다. 그렇다면 사람들은 이산적이지 않은 연속적인 데이터를 이해할 수 있다고 보시는 거군요?
저는 인간조차도 유효숫자 내의 적당히 연속적인 데이터를 다룬다고 생각합니다. 어떻게 인간이 완벽히 연속적인 데이터를 다룰 수 있을까요? 결국 얼마나 엄밀할 것인가를 선택하기 위해서는 그만한 기호가 필요하다고 봅니다. 인간이 공유하는 맥락이 완전히 엄밀히 동일하다고 보시나요?
저는 반대로 여쭈어보고 싶습니다. 인간이 다루는 상류와 하류라는 개념조차도 연속적이라고 보신다고 하시지만 저는 유효숫자 범위의 차이라고 봅니다.
(철학적인 맥락에서 살아오신 분 같습니다. 철학에서 다루어지는 것 같은 기호들을 전달해주시려는 목적이 있으신 것 같은데, 정말 아쉽게도 저는 금방소유님과는 맥락이 달라서 무슨 소리인지 잘 모르겠습니다. 말씀해주신 부분들을 공부해보도록 하겠습니다. 그때의 저와 금방소유님이 서로 맥락을 공유할 수 있으면 좋겠네요. ^^b)
저는 인간 또는 의식을 구성하는 요소들을 유사하게 복제할 수 있다면 의식을 가진 인격체에 준하는 존재를 만들어낼 수 있다고 믿는 만큼 금방소유님과의 의견차이가 나타나는 것 같습니다.
사람은 강의 상류와 하류를 보면서, 단순히 그 지역적 특징뿐만 아니라 물이 위에서 아래로 내려오고 물고기는 거슬러 올라가기도 한다는 사실을 압니다. 정보를 얻을 때 단편적인 지식이 아니고 맥락을 입체적으로 이해할 수 있으니까요. 하지만, LLM은 그 맥락을 명시적으로 꺼내주지 않는 한, 그 지역적인 특징에 매몰되어 복합적인 판단을 하지 못합니다. 사람마다 볼 수 있는 면의 방향은 다르기 때문에, 맥락이 아닌 파편화된 언어로 소통해야 정확한 의미를 전달할 수 있는거구요. 그러다보니 생활 양식을 공유하는 사람들끼리는 같은 선험적 틀을 공유할 수 있는거지만, 반대로 언어의 세계에 갇혀버린 LLM은 깊은 생각이 불가능하겠죠.
저도 원래는 초등학교를 졸업하면서 컴퓨터과학에 빠져서 모든걸 디지털로 보고는 했지만, 비트코인이 주었던 신선함과 최근 오태민 작가님의 인문학적 해석을 보고 새로운 공부를 시작했습니다. 컴퓨터공학은 결국 개념적인 이상을 현실에 구현할 방법론에 불과하다는걸 깨달았거든요.
당연히 뇌를 포함한 인간의 육체도 정보 덩어리에 불과하기 때문에, 디지털 세상에서 복제하는 것은 가능하다고 봅니다. 예쁜꼬마선충을 성공적으로 구현한 것처럼요. 하지만, 언어 모델로는 불가능합니다. 언어를 학습할 뿐, 세상을 학습하지는 못하니까요. 그나마 LLM이 가지는 MDP의 일부 특성을 활용해서 이미지도 처리하는듯 하지만, 그마저도 흉내내는 것에 불과하기 때문에, 모델 전반에 근본적인 개혁이 필요하다고 봅니다.