1950년 4월, 미국 상무부(United States Department of Commerce)는 날씨 예측의 정확도를 측정하는 방식을 영원히 바꿀 논문을 월간 기상 평론(Monthly Weather Review)에 게재했습니다.
그 호에서 글렌 W. 브라이어(Glenn W. Brier)는 오늘날 그의 고전으로 불리는 확률로 표현된 예측의 검증(Verification of Forecasts Expressed in Terms of Probability)을 발표했습니다. 그 출판물에서 날씨 예측의 정확도를 측정하는 새로운 공식이 명확하게 제시되었습니다.
브라이어는 이후 통계적 방법이 기상학 및 기후학에서 사용되는 방식에 엄청난 영향을 미쳤습니다. 그의 공헌은 앞으로도 이 분야에 영향을 미칠 것입니다.
투자자이자 사업가로서, 뛰어난 수익을 달성하는 핵심 기술 중 하나는 좋은 예측을 하는 능력입니다.
이러한 기상 과학의 연구 결과를 예측 능력을 향상시키는 데 사용할 수 있을까요? 개인 투자자들이 이러한 기술을 활용하여 더 나은 예측을 하고 그 결과 더 나은 투자 결정을 내릴 수 있을까요? 마이클 J. 모부신(Michael J. Mauboussin)과 필립 E. 테트록(Phillip E. Tetlock)은 그럴 수 있다고 생각합니다.
과학은 예측 기술에 관해 무엇을 말하는가?
예측 분야의 가장 위대한 전문가 중 한 명은 의심할 여지 없이 필립 E. 테트록(Philip E. Tetlock) 교수이며, 그는 펜실베이니아 대학교(University of Pennsylvania)에서 교수로 재직 중이며, 그의 저서 "전문가 정치적 판단(Expert Political Judgment)"에서 우리가 사회-정치적 사건을 예측하는 능력이 얼마나 좋은지 분석합니다.
결론적으로 우리는 꽤 형편없다는 것입니다. 테트록 교수는 정확도 면에서 다트를 던지는 침팬지와 크게 다르지 않다고 말합니다.
그렇다면 예측 능력을 대폭적으로 향상시키는 것이 가능할까요? 분명히 가능하다고 합니다.
테트록 교수와 함께 다양한 학자들이 BIN 모델로 알려진 모델을 제안했습니다. B는 편향(Bias), I는 정보(Information), N은 잡음(Noise)을 나타냅니다.
분명히 이 세 가지 차원이 예측을 분석하고 개선할 수 있는 영역입니다. BIN 모델에 대해서는 나중에 더 자세히 다루겠습니다.
지금까지 우리는 예측 능력을 향상시키기 위한 프레임워크를 갖추었습니다. 사업 또는 투자 결정을 실제로 개선하려면 무엇이 더 필요할까요?
배우고 싶은 어떤 기술이든 향상시키는 가장 중요한 측면 중 하나는 환경으로부터 피드백을 받는 속도입니다. 이것은 올바른 방향으로 가고 있는지 아닌지를 알려주기 때문에 중요합니다.
자전거 타는 법을 배우는 것은 피드백이 즉각적이기 때문에 상대적으로 학습 곡선이 짧습니다. 우리는 넘어지거나 자전거를 탑니다.
투자 또는 사업 결정에서의 피드백 루프에 관한 문제는 오늘 내린 투자 결정의 결과가 도출되는 데 3년, 4년 또는 5년이 걸릴 수 있다는 것입니다.
좋은 투자자 또는 좋은 자본 배분가가 되는 과정은 느리고 수년간의 축적된 경험이 필요합니다.
피드백을 받는 속도를 향상시키기 위해 학습 과정을 가속화할 수 있다면 어떨까요?
결국, 회사에 투자할지 말지, 새로운 기술에 투자할지 말지에 대한 결정은 그 회사 또는 그 투자 프로젝트의 미래 현금 흐름에 대한 예측과 관련이 있습니다.
이는 우리가 탐구하고자 하는 원래의 질문으로 이어집니다:
BIN 모델 하에서 피드백 루프의 빈도를 늘림으로써 예측 능력을 향상시키는 것이 가능할까요? 살펴보겠습니다.
예측 정확도 향상에 BIN 모델 활용하기
앞서 언급했듯이 BIN 모델은 세 가지 차원에 초점을 맞춰 예측 능력을 향상시킵니다:
편향(Bias): 동일한 사람 또는 그룹의 예측이 실제 결과와 비교하여 체계적이고 지속적인 차이가 있을 때 발생합니다.
정보(Information): 예측가가 사건 발생 확률을 추정하기 위해 사용 가능한 정보를 어떻게 활용하는지를 나타냅니다.
잡음(Noise): 동일한 유형의 사건에 대해 동일한 사람의 여러 예측 간에 큰 차이가 있을 때, 또는 여러 예측가가...
