시장 상황을 읽는 주가 예측 Transformer





이번에 살펴볼 논문은 MASTER: Market-Guided Stock Transformer for Stock Price Forecasting이다. 이름 그대로 주식 가격 예측을 위한 Transformer 계열 모델이다. 단순히 종목별 시계열만 보는 것이 아니라, 시장 상황과 종목 간 관계를 함께 반영한다는 점이 핵심이다. 여기서 말하는 Transformer는 ChatGPT 같은 LLM에 사용되는 Transformer와 같은 원리를 공유한다. 입력 토큰들이 서로를 참고하면서 중요한 정보를 섞는 구조다. 다만 세부 사항은 다르다.LLM은 주로 텍스트 토큰을 대상으로 causal attention을 사용해 다음 토큰을 예측한다. 반면 MASTER는 종목-시점별 숫자 피처를 입력으로 받아 미래 정규화 수익률을 예측한다. 절대 가격이나 단순 방향성을 맞히는 모델이라기보다, 같은 날짜의 종목 universe 안에서 어느 종목의 상대 수익률이 더 좋을지를 추정하는 구조에 가깝다.
주가 예측이 어려운 이유는 명확하다. 주가는 개별 기업의 실적만으로 움직이지 않는다. 거시경제, 수급, 투자자 심리, 산업 내 연쇄 반응, 이벤트 등이 동시에 작동한다. 따라서 어떤 종목의 움직임을 예측하려면 그 종목 하나만 보는 것보다, 다른 종목들이 언제 어떻게 반응했는지를 함께 보는 것이 중요하다.
기존 주식 예측 모델도 종목 간 관계를 반영하려는 시도를 해왔다. 같은 산업에 속한 종목을 연결하거나, 그래프 구조를 만들어 종목 간 관계를 학습하는 방식이 대표적이다. 하지만 이런 방식에는 한계가 있다. 종목 간 관계는 항상 고정되어 있지 않다. 같은 산업에 속한 종목이라도 어떤 날은 같이 움직이고, 어떤 날은 반대로 움직인다. 또 어떤 종목은 특정 이벤트에 바로 반응하고, 다른 종목은 며칠 뒤에 반응한다. MASTER는 이런 관계를 momentary and cross-time stock correlation, 즉 순간적이고 시간차가 있는 종목 간 상관관계로 보고, 이를 모델 안에서 직접 다루려 한다. 그리고 시장 상태에 따라 유효한 피처가 달라진다는 점을 반영하기 위해 market-guided feature selection을 모델 안에 넣는다.
이 논문의 핵심은 한 문장으로 정리할 수 있다. '종목 간 관계는 고정된 산업 분류표가 아니라, 시장 상황과 시간차 속에서 동적으로 나타난다.'
예를 들어 원자재 가격이 급등했다고 하자. 원자재 생산 기업은 먼저 반응할 수 있다. 반대로 원자재를 투입재로 쓰는 downstream 기업은 며칠 뒤 비용 부담으로 반응할 수 있다. 같은 이슈에 노출되어 있어도 반응 시점은 다르다. 즉, A 종목의 오늘 움직임이 B 종목의 며칠 뒤 움직임과 관련될 수 있다.
기존 모델은 대체로 다음 흐름을 따른다. 1) 먼저 각 종목의 과거 데이터를 하나의 벡터로 요약한다. 2) 그다음 요약된 종목 벡터들 사이의 관계를 학습한다. 3) 마지막으로 각 종목의 미래 수익률을 예측한다.
문제는 첫 단계에서 이미 시간 정보가 많이 뭉개진다는 점이다. 주식시장에서는 '무엇이 발생했는가'만큼 '언제 발생했는가'가 중요하다. 특정 종목의 3일 전 움직임, 다른 종목의 오늘 거래량, 또 다른 종목의 어제 가격 변동이 서로 연결될 수 있다. 그런데 종목별 과거를 하나의 벡터로 압축하면 이런 세밀한 시간차 관계를 놓치기 쉽다.
MASTER는 이를 두 단계로 나누어 처리한다:
첫 번째는 Intra-Stock Aggregation이다. 한 종목 안에서 과거 시점들끼리 정보를 주고받는다. 예를 들어 삼성전자의 최근 8일 데이터를 볼 때, 각 날짜의 피처가 다른 날짜의 피처를 참고하면서 이 종목 안에서 중요한 시계열 패턴을 정리한다.
두 번째는 Inter-Stock Aggregation이다. 같은 시점에서 여러 종목끼리 정보를 주고받는다. 예를 들어 오늘의 삼성전자, SK하이닉스, 현대차, POSCO 등의 표현을 서로 비교하면서 어떤 종목이 어떤 종목과 관련이 있는지 attention으로 학습한다.
이 구조의 장점은 시간축 정보와 종목...

재밌는 논문 알려주셔서 감사합니다




