
슈크림빵
구독자 218명구독중 17명
AI Engineer로 일하고 있습니다.

안녕하세요, 슈크림빵입니다. 🧁
오늘은 부호 하나에 대한 글을 가져왔습니다.
Medium에서 읽은 글인데, AI가 쓴 글을 가려내는 가장 유명한 단서가 특정 단어가 아니라 가로줄 하나, 하이픈(—)라는 이야기입니다!
저자가 가설을 직접 데이터로 검증해 보는 과정이 이 글의 재미입니다.
영어권에서 줄표(em dash)는 AI 글의 동의어가 되다시피 했습니다. 과학 논문 초록에서 줄표 사용이 2021년에서 2025년 사이 두 배 넘게 늘었는데, 이 곡선이 ChatGPT의 부상과 거의 겹칩니다.
인간 작가들이 봇으로 오해받기 싫어서 줄표를 버리는 일까지 벌어지고 있습니다.
문제는 이 버릇이 지시로 고쳐지지 않는다는 겁니다.

시스템 프롬프트 수준에서 금지해도 모델은 줄표를 계속 끼워 넣고, 작년 11월 Sam Altman이 드디어 고쳤다고 발표한 뒤에도 줄표를 쓰지 않겠다고 사과하는 바로 그 답변 안에 줄표를 쓰는 스크린샷이 돌았습니다.
저자 Vivedha Elango는 이론을 읽는 대신 숫자를 셌습니다.
모델마다 같은 주제로 2,000단어 정도를 받아서, 1,000단어당 줄표 개수를 같은 스크립트로 측정했습니다.

기준선도 둘을 깔았습니다. 현대 인간의 평균은 1,000단어당 약 2.5개, 그리고 19세기 소설의 대표로 모비딕은 7.9개입니다.
결과가 의외였습니다.
모델들이 인간 기준선 위에 몰려 있을 줄 알았는데, 전 구간에 흩어져 있었습니다.

그렇군-요.




