[책 정리] 슈퍼예측, 그들은 어떻게 미래를 보았는가 - 필립 E. 테틀록

개인적으로 보려고 쓴 월가아재님의 추천 도서 책 '슈퍼 예측, 그들은 어떻게 미래를 보았는가' (필립 E. 테틀록, 댄 가드너 저, 이경남 역, 최윤식 감수. 알키, 2017) 의 요점, Valley AI '캘린더'님의 예측 팁 발췌 정리 글입니다. 확률적 사고 전반에 많은 영향을 준 책입니다.

게시글 목차

1. 책의 개요

2. 연구 내용

   • 매크로 오디세이 프리시즌에서의 예측 평가

3. 슈퍼 예측가의 특징

4. 오류를 만드는 요인

   • 시스템 1

   • 가용성 휴리스틱

   • 표준화되지 않은 표현

5. 예측력 개선 방법

6. Valley AI '캘린더'님의 예측 팁 발췌

책의 개요

인공지능에 대항해 인간이 확보할 수 있는 능력은 무엇일까? 아래 두 문제를 보자.

1. 지난 10년간 러시아 최고 지도자 자리를 맡았던 두 사람의 이름은?

2. 향후 10년 안에 러시아 최고 지도자가 교체될까?

후자의 질문에는 블라디미르 푸틴의 의도, 드미트리 메드베데프와 러시아 정치의 인과적 역동성, 그리고 이 추측들에서 얻어진 정보를 하나의 판단으로 통합하는 역량이 필요하다. "의도를 흉내내고 반영하는 것과 의도를 만들어내는 것은 다르다." 왓슨의 수석 엔지니어 데이비드 페루치의 말처럼, 예측을 위한 '의도 통합 능력'에는 전혀 다른 역량이 필요하다.

저자인 필립 테틀록 교수는 '전문가들이 내놓는 예측과 원숭이가 던지는 다트로 만든 예측이 비슷한 수준의 정확도를 보인다'는 연구 결과를 발표했던 연구자이다. 그러나 '대부분의 연구자'의 정확도가 부정확하다는 것을 '모든 연구자'의 정확도가 부정확하다는 말로 오해하면 안 된다고 강조한다. 연구에 따르면 전문가들의 예측은 3~5년 후의 미래에 대해서는 정확성이 떨어졌지만, 1년 수준의 미래에 대한 문제에서는 분명하게 높은 정확성을 보여줬다.

연구 내용

저자는 4년 동안 2만 명 이상의 지원자를 대상으로 예측 정확도에 관한 추가 연구를 진행했다. 마감 기한이 정해져 있는 난해한 국제 문제를 제시하고, 발생 확률에 대한 예측을 수치로 답변해 달라고 요구하였다. 다음과 같은 국제 문제 예측 문제 500여 개를 던지고 답변을 수집했다.

• 러시아 저항 운동이 확산될 것인가?

• 닛케이(Nikkei) 지수가 9,500 이상으로 마감될 것인가?

제출 시점과 예측치, 실제 결과 사이의 차이를 측정하는 데에는 글렌 브라이어의 '브라이어 지수'를 사용하였다.

• 예측 결과가 적중하면 0점

• 예측 결과가 오중하면 1점

매크로 오디세이 프리시즌에서의 예측 평가

• (Valley AI '캘린더', '매크로 오디세이 후기 + 몇 가지 일반적인 팁', 2024. 3. 24.)

  1. 거의 모든 예측 문제에 있어, 정확도 측면에서만 본다면 더 늦게 하면 할수록 정보도 많고 예측 지평도 짧아져서 유리하게 됩니다. 만약 이른 예측을 장려하는 장치가 없다면, 모든 참여자들이 문제 예측 기간 마지막 날에만 제출을 하는 상황이 생길 수 있습니다. 하지만 이는 팀원들 간의 적극적 토론 및 리서치 공유를 통한 예측력 향상을 이끌어 내려는 대회 취지에 부합하지 않게 됩니다.

  2. 투자/매매에 있어, 정확도 자체도 중요하지만, 덜 정확하더라도 더 빠른 타이밍에 진입하고, 새로운 정보/분석이 나오면 그에 따라 포지션을 조정해 나가는 것 또한 중요한 부분입니다. 시장 또한 시간이 흐르며 새로운 정보와 분석을 빠르게 반영하기 때문에, 내 예측에 대한 확신이 설 때까지 기다리다 보면 이미 시장의 컨센서스 또한 움직여서 투자 기회가 사라지게 되는 경우도 많습니다. 다시 말해, 투자/매매는 예측 정확도 싸움 뿐만 아니라, 비교적 알려져 있지 않은 투자 기회를 일찍 찾아내는 시간 싸움인 측면도 있기 때문에, 이런 부분을 점수에 반영하는 것에 효용이 있다고 판단하였습니다.

연구 결과

특정 팀의 예측 적중률이 전체 지원자 대비 1년 차에 60%, 2년 차에 78% 높았다. 이 비전문가 집단은 사회적 사안의 (3개월, 6개월, 1년, 1년 반 후의) 전개를 미시건 대학과 MIT, 기밀 정보를 다루는 분석가들보다 더 정확하게 예측했다.

저자는 이 비전문가 집단이 우연의 영역을 넘어서 예측에 실질적이고 중요한 능력을 갖추고 있다고 결론 내렸다. 또한 예지력의 비결이 정보를 수집하고 신념을 업데이트하는 방식에 있으며, 깊이 생각하고 결단력만 있다면 누구나 사안의 전개를 예측하는 능력을 기를 수 있다고 주장한다.

슈퍼 예측가의 특징

연구에서의 슈퍼 예측가들은 다음과 같은 특징을 보였다.

1. 수학과 과학 분야 학위를 가지고 있거나 숫자에 밝은 편이다.

   • 반면, 예측 과정에서 수학을 사용하지는 않았다.

   • IQ가 높다고 예측력이 높아지는 것은 아니었다. 대부분 IQ 135에 크게 미치지 못했다.

2. 최근 사건의 현황을 정확히 파악하고, 정기적으로 예측을 업데이트하는 뉴스 애호가들이다.

   • 반면, 뉴스 소비 시간이 많다고 예측력이 뛰어난 것은 아니었다.

3. 열린 마음으로 신중하게 생각하며, 모든 일에 호기심을 가진다. (예측 토너먼트 홍보를 보고 자발적으로 참여했다.)

4. 자기 비판적 태도로 탁월한 판단력을 기르고자 노력한다.

5. 집중력과 결단력이 있어 상황에 합리적이고 일관된 판단을 내린다.

6. 배런(Baron)사의 AOM(Actively Open-Minded) 질문에서 높은 점수를 받았다.

   • Baron의 AOM(Actively Open-Minded thinking) 평가 질문:

     • 자신의 신념과 다른 증거도 참작해야 한다.

     • 자신과 같은 생각을 가진 사람보다 다른 생각을 가진 사람에게 더 관심을 기울여야 한다.

     • 마음을 바꾸는 것은 약점이 아니다.

     • 결정할 때 직관만이 최선의 길잡이는 아니다.

     • 기존 신념과 배치되는 증거가 나오면 신념을 수정할 수 있어야 한다.

오류를 만드는 요인

시스템 1

현대 심리학자들은 우리의 정신세계를 '이중 시스템 모델'로 파악한다.

• 시스템1은 배경에서 빠르고 꾸준하게 작동하며 신속한 답을 제시한다.

• 시스템2는 시스템1이 내린 결정을 시간과 노력을 들여 검증한다.

인간은 강력한 직감을 쉽게 받아들이며, 원초적 심리의 논리에 따라 시스템1로 답하려 한다.

배트와 공을 사면 1달러 10센트이다. 배트는 공보다 1달러 비싸다. 공은 얼마인가?

위 문제의 답은 10센트가 아니다. 시스템2에서 나타나는 '과학적 신중함'은 인간의 본성과 맞지 않는 사고방식이다. 인간은 ...