서문
(읽기 복잡하신 분들은 마지막 결론만 보셔도 됩니다)
현재 1, 2기 Fellow 분들과 진행되고 있는 Valuation Challenge 기업 분석 대회에는 많은 양질의 작품들이 올라오고 있습니다. 지난 6월 초에 첫 매치가 시작되서 지금 두번째 매치가 진행되고 있고, 첫 매치의 결과가 몇 주 전에 발표되었는데요.
과연 Valley AI의 훈련과정을 열심히 듣고, ValC 대회에서 우수한 성적을 거둔 사람은 초과수익도 거둘 수 있을까?
이건 아마 저희뿐만 아니라 모든 Valley 참가자분들이 궁금하시는 부분일 겁니다.
이에 대해, 매치 1에서 제출된 155개의 작품들에 대해서,
평가점수가 높은 작품일수록 가격 예측력이 높을 것이다
라는 명제를 한번 3개월이 된 시점에 가볍게 검토를 해 보았습니다.
오차에 대한 측정
먼저, 가격 예측력은 ValC 제출 시점(주로 6월) 당시에 제시했던 목표가와 그로부터 3개월이 지난 현재 가격의 괴리를 측정했습니다. 그런데 제출 시점에 $100인 주식의 향후 주가가 $120일 거라고 낙관적으로 평가한 작품이 있다고 해 볼 때,
주가가 $120을 넘어 $140까지 가 버린 경우
주가가 $120에 가지 못하고 $100에 머물고 있는 경우
실험1: 단순한 괴리로만 측정할 경우, 위 두 가지 케이스가 동일한 $20의 괴리를 보이게 됩니다. 하지만 이 작품은 주가가 향후 20% 상승할거라고 낙관/매수 스탠스를 보였던 만큼, 전자는 그 방향에 합치한다고 판단하는 것이 맞겠죠. 그래서 제출 작품이 목표가를 추정하는 방향(매수/매도)으로 목표가를 초과할 경우는 목표가를 달성한 것(괴리 = 0)으로 계산하고, 그에 미달하거나 반대 방향으로 갈수록 가격 괴리율, 즉 '예측 오차'는 높아지는 것으로 계산해 보았습니다.
실험2: 위와 동일한 실험에 대해 그냥 목표주가를 맞추는 방향으로 가면 괴리가 마이너스로 간다고 가정하고 모델링할 수도 있습니다. t-분포의 가정을 감안하면 이쪽이 더 낫고, 아래는 실험2에 대한 결과인데, 실험1과 실험2의 결과가 대동소이하게 나타났습니다.
검증 방법
그러면 이 '예측 오차'가
항목별 평가점수
오라클 티켓 득표
두 가지와 어떤 관계를 가지고 있나 살펴 보겠습니다.
그런데, 가격의 예측 정도에 영향을 주는 것은 채점된 점수뿐 아니라 다른 요인도 영향을 줄 수 있습니다. 예를 들어 종목의 변동성이라는 변수가 높은 종목에 대한 제출작일수록, 자연스럽게 예측 오차의 절대적인 수치는 클 수가 있습니다. 이러한 효과들을 전부 통제한 채로 모델링을 해야할 것입니다.
즉,
단순히 가격 예측 오차와 평가점수의 관계가 어떠한지가 아니라,
"종목의 변동성이 동일하다 가정했을 때" 가격 예측 오차와 평가점수의 관계가 어떠한지
를 봐야 하는 것이죠.
그래서 아래의 3가지 통제 변수를 도입하였습니다.
변동성: 제출된 분석글의 대상이 되는 종목의 변동성입니다. 변동성이 높은 종목일수록 예측 오류가 클 것이라는 가정 하에 포함하였습니다.
투자 지평: 제출된 분석글이 제시한 투자 지평입니다. 일반적으로 현재보다 먼 시점의 가격을 예측할 수록 예측 오류가 클 것이라는 가정 하에 포함하였습니다.
경과 일자: 제출된 분석글이 업로드된 후 경과된 일자입니다. 오래 전에 게시된 글일 수록 가격 예측 오류가 클 것이라는 가정 하에 포함하였습니다.
최종적으로, ...