LLM 확률적 모델링의 핵심 원리（１／??）

TLDR；

태생적으로 공돌이 출신이다 보니, 글보다 수식이 편한경우가 많다. LLM기반의 AI는 과연 정체가 무엇인가에서 시작하여 Convex hull과 매니폴드 가설을 지나 분포 밖 문제를 해결하는 방법이 있는지에 대한 가능성을 탐색해볼 거창한 계획을 지니고 있다. 이후, 인간문명의 퀀텀점프와 RSI(Recursive Self Improvement)가 구현된 AI도 퀀텀점프가 가능한 것인지? 타진을 해보고,,,
만약 인간은 문명의 퀀텀점프가 가능했는데 AI는 불가능하다면 그건 왜때문인지? 그리고 로보틱스로 나아갔을때 감각의 체화가 AI에게 어떤영향을 줄지? LLM은 결국 언어모델이니, 언어의 한계와 이해의 영역의 차이는 무엇인지? 그리고 결과적으로 내가 가장 관심갖고있는 SaaS 기업과 AI의 역할분담은 어떻게 될것인지?에 대한 뇌피셜로 그득한 기나긴 여정의 선발대 글 이다. 물론 탈고 따윈 없으므로 각종 오타와 띄어쓰기 안된 문구가 난무할 예정이라 의식의 흐름만 남기고자 한다.
어랏..그런데 왜 LaTex 수식이 복붙이 안되지..........!두둥...(너무 오랫만에 쓰는 엘레건트한 라테흐는 적응이 안된다)
그리고 기억을 더듬어 LaTeX로 수식을 넣었는데 inline이 얼라인먼트가 잘 안된다..슬프다;;

주요 원리

1. 연쇄법칙

   $$P(x_1,x_2,…,x_n )=∏_{t=1}^n P (x_t |x_{<t} )$$

   이 식은 한 문장 전체의 확률이 각 단어가 등장할 조건부 확률의 곱이라는 의미를 지닌다. 예를 들어 “나는 바보다” 라는 문장의 확률은 P(나는) x P(바보다|나는)으로 분해된다. 문장 전체의 확률을 한번에 계산하기는 어렵지만, 단어를 하나씩 차례로 예측하는 것은 가능하다. 즉, 한 토큰씩 다음 토큰을 예측하는 문제로 쪼개는 것이다. 이 연쇄법칙은 자기회귀(Autoregressive)방식이며, 현존하는 모든 GPT계열 모델이 작동하는 근본 원리이다. 우리가 보는 제미나이, 챗지피티, 클로드 모두 여기에서 벗어나지 못한다.

2. 조건부확률

   $$P(x_{t+1} |x_1,x_2,...,x_t )$$

   이 식은 LLM의 본질이다. 지금까지 본 단어들이 x_1~x_t일 때 그다음에 올 단어 x_{t+1}이 무엇일지를 확률적으로 접근하는 식이다. 예를 들면 “오늘 아침에 나는 커피를…” 이라는 문장에서 어떤 단어가 올지를 추론한다. 아마도 마셨다, 끓였다, 던졌다 등 단어에 확률을 부여하게 된다. 이 식이 LLM의 본질인 이유는 파라미터 theta를 가진 신경망(Transformer)가 근사하는 대상이 이 분포이기 때문이다.

3. 소프트맥스 분포 생성

   $$P(x_i )=e^{z_i/T}/∑_j {e^{z_j/T}}$$

   모델의 마지막 단계에서, 숫자를 확률로 변환시키는 변환식이다. 모델 내부에는 각단어마다 점수(logit, z)를 계산하는데, 위 예시의 마셨다=8, 끓였다=5, 던졌다=3.5 등 이 숫자들은 점수일뿐 확률은 아니다. 음수일수도 있으며 합이 1도 아니다. 소프트맥스 함수는 이값을 확률로 변환시켜준다. 지수합수를 이용해 모든값을 양수로 만들고, 큰 값은 더 크게 변환한다. 여기서 큰 값을 더 크게 만들어주는 역할은 T값인데, T가 낮으면 가장높은 점수의 단어에 확률이 크게 쏠리게되고 모델이 안전하고 뻔한 답을 하게된다. 반대로 T가 높으면 확률이 골고루 퍼지고 모델은 다양한 답을 하게 된다. 분모의 시그마는 전체 합을 계산해주며 이를 통해 모든 확률의 합이 1이 되게 만들어준다. API에는 T(Temperature) 설정이 가능하며, 채팅 인터페이스에는 보통 디폴트값이 설정되어있다.

4. KL 최소화

   $$D_{KL} (P_{data} ||P_θ )=∑_x^{} P_{data} (x) \log( P_{data (x)}/P_θ (x) )$$

   이 식은 이론적 목표를 정의한다. $P_{data}$는 언어분포(인간이 쓰는 글의 통계적 ...