Why Language Models Hallucinate?
- Open AI & Georgia Tech 연구 팀 - 25.9.5.
https://openai.com/ko-KR/index/why-language-models-hallucinate/
저희가 LLM모델을 특히 금융에서 사용할 때 가장 주의해야할 점은 할루시네이션 현상일 것입니다. 사실이 아닌 일을 그럴듯하게 말하는 현상인데, 위 논문에서는 이러한 현상을 완벽히 줄일 수는 없다고 설명합니다. 저는 아는 만큼 보인다고 생각하는 사람으로써 할루시현상을 어쩔 수 없는 것으로 넘어가는 것을 넘어 왜 이러한 할루시현상이 일어나는지 알고 LLM 모델을 쓴다면 보다 LLM 활용도가 높아지지 않을까? 라는 생각으로 이 논문 내용을 공유하고자 합니다.
일단 할루시 현상이란 무엇을 말할까요? 언어 모델의 Hallucination이란 언어 모델이 불확실할 때 불확실성을 인정하기 보다는 추측하여 그럴듯하지만 틀린 진술을 생성하는 오류입니다.
이 오류가 생성되는 원인으로는 크게 Pre-training(사전 훈련) 영역과 Post-training(사후 훈련) 영역으로 나누어 설명하고 있는데 일단 구조적으로 통계 기반 모델이기 때문에 100% 정확성은 달성할 수 없다는 것 입니다.
통계 기반 모델이라 100% 정확성을 달성할 수 없다...? 이게 무슨 말일까요? 이걸 이해하기 위해서는 LLM이 단어 생성을 어떻게 하는 지에 대한 이해가 필요합니다. 많이...
