[시리즈 연재] LLM의 창의성 끌어내기(Verbalized Sampling)

https://arxiv.org/abs/2510.01171

"VERBALIZED SAMPLING: HOW TO MITIGATE MODE COLLAPSE AND UNLOCK LLM DIVERSITY

언어화된 샘플링: 모드 완화 방법 LLM 다양성의 붕괴 및 활성화"

본문은 위 논문을 바탕으로 작성되었습니다.

논문 요약

AI에게 “해줘”라고 하면 가장 무난하고 익숙한 답이 나오지만, “가능한 답 여러 개와 각각의 확률을 말해줘”라고 시키면 모델 안에 남아 있던 다양한 가능성이 더 잘 나온다.

논문에서 이 방법을 Verbalized Sampling, VS라고 부름. 한국어로 풀면 “말로 표현하게 만든 샘플링” 더 쉽게 말하면 “AI에게 머릿속 후보 분포를 말로 꺼내게 하는 방법”임.

Mode Collapse

Mode collapse는 쉽게 말하면 AI 답변이 한쪽으로 쏠리는 현상임.

원래 언어모델은 다양한 답을 낼 수 있음.

예를 들어 “곰에 대한 짧은 이야기를 써줘”라고 하면 가능한 이야기는 많이 있음

• 곰이 숲에서 길을 잃는 이야기

• 곰이 세무사로 일하는 이야기

• 별자리 곰이 지구로 내려오는 이야기

• 동화풍 곰 이야기

• 호러 곰 이야기

그런데 실제 정렬된 모델은 자주 가장 무난한 패턴으로 출력하게 됨. 논문 3페이지의 “늙은 곰이 숲길을 걷는다” 같은 것이 반복 되는 것이 예시임

이 현상이 중요한 이유는 단순히 AI가 재미없다 같은 뜻이 아님. 논문은 mode collapse가 다음 영역에 치명적이라고 말함.

• 창작 글쓰기에서는 결과물이 비슷비슷해짐

• 대화 시뮬레이션에서는 사람처럼 다양한 반응을 재현하지 못함

• 설문·사회 시뮬레이션에서는 다양한 인간 의견을 제대로 반영하지 못함

• 합성 데이터 생성에서는 훈련 데이터가 편향되고 좁아짐

• 아이디어 발상에서는 늘 “안전하고 평범한 중간값” 만 나옴

왜 이런 현상이 발생하는가?

문제는 알고리즘만이 아니라 인간 선호 데이터 자체

보통 ChatGPT 같은 모델은 기본 언어모델을 만든 뒤 사람이 더 좋아하는 답을 고르게 해서 훈련함.

1. 먼저 AI는 인터넷과 책 같은 엄청난 텍스트를 읽고 말하는 법을 배움

2. 그다음 사람이 “이 답이 더 좋아”, “이 답이 더 도움이 돼”라고 평가함

3. 모델은 사람이 선호한 답을 더 자주 내도록 조정

그런데 여기서 문제가 생김

사람은 실제로 낯설고 참신한 답보다 익숙하고 매끄럽고 예측 가능한 답을 더 좋은 답으로 평가하는 경향이 있음. 논문은 이것을 typicality bias(전형성 편향)이라고 부름.

Typicality을 좀 더 풀어보면 전형적/익숙함/자주 본 느낌 이라 할 수 있음

논문에서는 인지심리학의 여러 개념을 가져옴.

• 단순노출 효과: 자주 본 것은 더 좋게 느껴진다.

• 가용성 휴리스틱: 쉽게 떠오르는 것이 더 그럴듯하게 느껴진다.

• 처리 유창성: 읽기 쉽고 매끄러운 문장은 더 진실하고 좋은 것처럼 느껴진다.

• 스키마 일치성: 기존에 알고 있던 틀에 맞는 정보가 덜 거부감 있게 받아들여진다.

그래서 사람은 정답이 같은 두 답변을 봐도 더 익숙하고 , 더 평범하고, 더 흔한 말투를 더 좋다고 평가할 수 있음.

논문이 제안하는 해결책: Verbalized Sampling

그냥 프롬프트를 바꿈

일반 프롬프트:

이야기를 하나 써줘.

Verbalized Sampling 프롬프트:

가능한 이야기 5개를 생성하고, 각 이야기가 전체 가능한 답변 분포에서 어느 정도 확률인지 함께 써줘.

“답 하나”를 요청하는 게 아니라 답변들의 분포 ...