안녕하세요, 슈크림빵입니다.🤖
신경과학자 비비안 밍(Vivienne Ming)이 WSJ에 쓴 글을 오늘 읽었습니다.
밍은 30년간 AI 분야에서 일해 온 사람이고, 베이 에어리어에서 작은 실험을 했습니다.
사람들에게 한 시간을 주고 폴리마켓(Polymarket)에 올라온 실제 사건들에 대해 예측을 하게 했어요.
어떤 팀은 사람만, 어떤 팀은 AI만, 어떤 팀은 사람과 AI가 같이. 결과를 폴리마켓의 집단 예측과 비교하는 방식이었습니다.
결과는 대충 예상 가능한 방향이었어요.
사람만 있는 팀은 형편없었고, AI는 사람보다 잘했고, 사람+AI 하이브리드는 ......
아 이쯤에서 "역시 인간과 AI의 협업이 최고죠" 같은 결론이 나오면 좋았을 텐데, 그렇지가 않았습니다.
대부분의 하이브리드 팀은 그냥 AI에게 물어보고 답을 받아 적었어요. 결과는 AI 단독 성능과 비슷했죠.
더 흥미로운 건 자기 의견을 먼저 정해두고 AI에게 "이거 맞지?"라고 물어본 팀들이었습니다.
밍은 이들을 'validators'라고 불렀는데, AI가 사용자에게 아부하는 성질(sycophancy)에 그대로 걸렸습니다.
자기 직감을 강화해줄 근거만 받아들고 자신감만 얻고, AI 단독보다 더 못한 결과를 냈어요.
확증편향 루프에 빠진 거죠.
그런데 전체의 5~10% 정도 되는 팀들은 좀 다르게 행동했습니다.
이들은 AI를 답을 주는 도구가 아니라 스파링 파트너로 썼어요.
AI가 자신 있게 단언하면 의심하고, 자기 직감이 강할 때는 AI에게 반박해보라고 시켰습니다.
그 결과 이 팀들만이 시장의 집단지성을 따라잡거나 이기는 성과를 냈어요.
밍은 이들을 "사이보그"라고 부릅니다.
여기...
