다모다란 교수님의 특강: 군중의 지혜와 광기: 정치적 예측 지표로서의 시장 가격!(The Wisdom and Madness of Crowds: Market Prices as Political Predictors!)

원문: Musings on Markets: The Wisdom and Madness of Crowds: Market Prices as Political Predictors! (aswathdamodaran.blogspot.com)

본글은 chatGPT로 번역했음을 알립니다(저도 틈만 나면 다시 쉽게 읽을수 있도록, 이미지도 번역해놓았습니다.)

2024년 11월의 첫 번째 주, 이번 주의 주요 뉴스는 미국 대통령 선거가 화요일에 절정에 달하면서 정치적 이슈가 주를 이뤘습니다. 하지만 저는 정치에 관한 글을 쓰지 않습니다. 정치적 견해가 없어서가 아니라, 그런 견해는 제 가족과 친구들을 위해 남겨두기 때문입니다. 제 글의 초점은 항상 시장과 기업, 즉 거시적인(매크로) 관점보다는 미시적인 관점에 맞춰져 있습니다. 제가 누구에게 투표했고 왜 그런 결정을 내렸는지에 대해 말하는 것은 여러분에게도 불편하게 느껴질 것입니다. 이번 선거에서도 연예인과 스포츠 스타들이 그들의 투표 계획을 공개하는 걸 보며 저 역시 마찬가지의 감정을 느꼈습니다. 그러나 이번 글은 시장에 대한 내용을 담긴 했지만, 정치적 주제를 중점으로 담고 있습니다. 이번 대선에서는 거의 모든 선거 세부 사항을 예측할 수 있는 선거 시장이 활발히 운영되었고, 이는 정치적 담론에도 큰 영향을 미쳤습니다. 저는 이 글에서 선거를 앞두고 시장이 어떻게 움직였는지를 살펴보고, 나아가 시장이 잘하는 것과 못하는 것, 즉 군중의 지혜를 믿는 사람들과 그 광기를 지적하는 사람들 간의 오랜 논쟁을 재조명하는 보다 일반적인 논의로 논의를 확장해보고자 합니다.

선거 예측: 여론조사에서 정치 예측시장까지 (Election Forecasts: From polls to political markets)

며칠 전 저는 영화 "콘클라베 Conclave"를 보았습니다. 이 영화는 교황의 죽음과 후임자를 선출하기 위해 열린 회의를 다룬 내용입니다. (제가 좋아하는 작가 중 한 명인 로버트 해리스의 소설을 원작으로 하고 있습니다.) 영화에서 100명 이상의 가톨릭 추기경들이 시스티나 성당에 모여 교황을 선출하기 위해 모였을 때, 주요 후보들이 서로의 지지를 탐색하고 선거 전 지지층을 확인하는 모습이 인상 깊었습니다. 영화와 소설은 허구이지만, 교황 선출을 위한 콘클라베가 수 세기 동안 비공식적인 방식의 여론조사로 후보 예측을 했을 것이라는 생각이 들었습니다. 실제로 최초의 민주주의가 자리 잡은 고대 그리스와 로마에서도, 투표권에 제한이 있었음에도 불구하고 선거 결과를 사전에 예측하려는 시도가 있었습니다.

최초로 기록된 공식 여론조사는 1824년 대통령 선거를 앞두고 Raleigh Star와 North Carolina Gazette가 504명의 유권자를 대상으로 실시한 것으로, 이들은 앤드루 잭슨(Andrew Jackson)이 존 퀸시 애덤스(John Quincy Adams)를 이길 것이라rh (올바르게) 예측했습니다. 1916년부터 Literary Digest가 정치 설문 조사를 시작하여 독자들에게 여론을 묻기 시작했고, 이후 4번의 선거를 정확히 예측했으나, 1936년 선거에서 크게 예측 실패했습니다(프랭클린 D. 루스벨트(FDR)를 상대로 앨프 랜던(Alf Landon)이 승리할 것이라는 예측했으나, 오히려 앨프 랜던은 압도적인 패배를 당했습니다). 여론조사는 그 이후 통계적 기초를 다지기 시작했지만, 초기에는 1948년 토머스 듀이(Thomas Dewey)가 해리 트루먼(Harry Truman)을 이길 것이라는 예측이 선거 당일 뒤집히며, 시카고 트리뷴의 유명한 헤드라인을 남기기도 했습니다.

이후 수십 년 동안 여론조사는 샘플링 편향에 대해 많은 교훈을 얻었고, 기술 발전의 도움을 받아 여론 조사 기관의 수가 급증했습니다. 21세기에 접어들며 여론조사 기관들은 주요 문제들을 대부분 해결했다고 믿었으나,여론조사가 정점에 달했을 때도 여론조사에는 노이즈(표준 오차)가 존재했고, 여론조사 기관이 이를 항상 투명하게 공개하지는 않았지만 대중은 여론조사 추정치를 사실로 받아들이는 경향이 있었습니다.

개별 여론조사가 편향되지 않더라도 추정치에는 범위가 포함되어 있어 노이즈가 존재한다는 점 때문에 여론조사 데이터를 집계하는 여론조사 집계자들이 등장했습니다. 이들은 개별 여론조사를 모아 평균을 내어 보다 정밀한 추정치를 제공하고자 했습니다. 예를 들어, Real Clear Politics (RCP)는 미국의 대선 주기에 최소 네 차례에 걸쳐 여론조사 데이터를 집계하여 선거일(11월 5일)에 이르는 동안 이러한 값을 제공했습니다:

여론조사 데이터를 집계하는 원래의 목적은 편향을 줄이기 위함이었지만, 집계자들은 어떤 여론조사를 포함하고 배제할지를 결정하거나 가중치를 부여하는 방식에서 여전히 편향을 유발할 수 있습니다. RCP는 단순 평균을 사용하지만, 일부 다른 집계자들은 과거 선거에서의 정확성을 기준으로 여론조사에 가중치를 부여합니다. 그러나 이런 방식에서도 미세하게 편향이 발생할 수 있습니다.

개별 여론조사나 집계 여론조사 기반의 예측에 대한 반발은 유권자의 이력과 선호도에 대한 기본 사항을 놓칠 수 있다는 점입니다. 지난 세 번의 주기 동안, 여론조사 데이터를 집계하고 기본 요소에 대한 이해를 바탕으로 선거 승자를 예측하려는 몇몇 여론조사 전문가들이 있었습니다. 가장 잘 알려진 두 사람은 뉴욕타임스의 일부였으나 현재는 ABC가 소유하고 있는 538.com과Nate Silver's personal assessment이며, 선거를 앞두고 이들의 선거에 대한 평가는 다음과 같습니다::

두 곳 모두 시스템에 입력된 데이터를 기반으로 몬테카를로 시뮬레이션(Monte Carlo simulations)을 통해 추정치를 산출합니다. 그러나 지난 10년 동안 여론조사, 집계된 여론조사, 그리고 여론조사 기반의 판단은 여전히 여러 문제에 부딪혀왔으며, 그중 일부는 해결이 어려운 문제일 수 있습니다. 첫 번째 문제는 스마트폰의 등장입니다. 유선 전화가 사라지고, 통화 차단 기능으로 특정 전화를 받지 않을 수 있게 ...