머신러닝의 궁극적인 목적은 주어진 데이터를 통해 패턴을 학습하고, 이를 바탕으로 미지의 데이터에 대해 정확한 예측을 수행하는 것이다. 이때 우리가 만든 모델이 얼마나 우수한지를 판단하기 위해서는 객관적인 평가 기준이 필요하다. 경험 오차 및 과적합 가장 먼저 고려해야할 지표는 오차율이다. 오차율은 모델이 전체 데이터를 판단했을 때 얼마나 실수를 했는지에 대한 비율이다. m: 전체 샘플 수 a: 잘못 분류한 샘플 수 💡이와 반대되는 개념으로 정확도가 있다. 모델이 정답을 맞힌 비율(1-E)을 계산한다. 그 다음, 샘플 값 자체와 실제 예측 값 사이의 오차가 있을 수 있다. 학습기가 훈련 세트상에서 만들어낸 오차를 훈련 오차, 혹은 경험 오차라고 부르며, 학습기와 새로운 샘플 사이의 오차는 일반화 오차라고 한다. 대개 우리는 일반화 오차가 가장 적은 학습기를 원하게 된다. 그러나 학습기가 훈련 데이터에서 학습을 과도하게 잘하면 모든 훈련 데이터의 특성을 일반적인 성질이라 오해하게 되고, 결국 모델이 과적합으로 빠지게 된다. 이와 반대되는 개념으로는 훈련이 덜 된, 과소적합이 있다. 테스트 기법 앞서 말했듯, 우리는 훈련이라는 과정을 통해 학습기의 일반화 오차에 대해 평가를 진행하고 모델을 선택해야한다. 일반화 오차와 그냥 오차를 구분해서 과소적합, 과적합을 회피할 수 있는 방법에는 무엇이 있을까? 바로 데이터 세트를 훈련 세트와 테스트 세트로 구분하는 것이다. 홀드아웃 홀드아웃은 데이터세트 D를 겹치지 않는 두 집합 훈련 세트 집합 S와 테스트 세트 집합T로 나눈다. 주의해야할 점은 데이터 분포인데, 훈련 세트와 테스트 세트의 데이터 분포가 같도록 나눠야 한다는 점이다. 이러한 분류 작업을 층화 추출법 이라고 한다. 이 외에도 중요한 것은 데이터 수의 비율이다. 훈련 세트가 너무 많으면 전체 데이터로 학습한 모델과 비슷해진다는 장점이 있지만, 테스트 데이터가 부족해 평가 결과가 불안정해질 수 있다. 반대로 테스트 세트가 너무 많을 땐 평가가 안정적이지만 학습 데이터가 부족해 실제 전체 데이터로 학습했을 때의 성능과 차이가 커진다. 이 문제에 완벽한 정답은 없지만, 휴리스틱한 관점에서 다음과 같은 비율을 많이 사용한다. 훈련 세트: 전체의 2/3 ~ 4/5 테스트 세트: 전체의 1/5 ~ 1/3 교차 검증 교차검증은 다음과 같은 방법을 k번 반복해서, k개의 테스트 결과값을들 평균 내어 최종 성능으로 사용하는 검증 방법이다. 데이터세트를 층화 추출법으로 k개의 서로소 집합으로 나눈다. k-1개의 조각으로 모델을 학습시키고, 나머지 1개의 조각으로 성능을 테스트한다. 주의사항 데이터를 나누는 과정에서 편향이 발생할 수 있으므로, 데이터를 랜덤하게 섞고 나누는 과정을 반복한다. (즉, fully 교차검증을 n번 시행하되, 매번 데이터를 랜덤하게 섞어서 실행하고 이 결과를 최종 평균함) 일반적으로 10차 10겹 교차검증을 주로 사용함 교차 검증 방법의 변형인 LOOCV라는 방법도 있다. 1개의 관측값을 제외하고 나머지는 모두 훈련 데이터 세트로 사용하는 방법 Bootstrap 부트스트랩은 이러한 LOOCV의 단점을 보완해 줄 수 있는 샘플링 기법이다. 데이터 세트 D로부터 샘플링을 통해 데이터 세트 D'을 만든다. 이 과정을 m번 반복한다. m개의 D' 데이터 세트로 훈련을 시킨다. D'에 한번도 뽑히지 않은 데이터의 집합을 테스트 세트로 활용한다. m번의 샘플링 과정 중 샘플이 한 번도 뽑히지 않을 확률은 다음과 같다. 즉, 부트스트랩을 사용하면 데이터 세트 D 중 36.8%의 샘플은 D'에 샘플링되지 못하고 테스트세트로 활용할 수 있다. 💡OOB 샘플이란 부트스트랩 샘플링 중 나머지(Out of Bag)를 가지고 테스트 세트로 활용하는 것 처럼 모델의 성능을 별도의 검증 데이터셋 없이 추정하는데 사용하는 기법이다. 모델 성능 측정 이 절에서는 학습기의 일반화 성능에 대해 평가하기 위해 사용하는 다양한 지표에 대해 알아본다. 모델의 좋고 나쁨을 결정하는 것은 알고리즘과 데이터가 아닌 데이터 분석 목적(정답 데이터)에 달렸다. 예측을 위해 사용하는 데이터 샘플 D가 아래와 같이 있다면, 정답 데이터인 y_i와 예측 결과인 f(x_i)를 비교해야 한다. 평균 제곱 오차 회귀분석에서 가장 자주 사용하는 성능 측정 방법이다. (연속확률 분포에 대한 정의)더 일반적으로 표현하면 다음과 같다. 오차율과 정확도 오차율 정확도 F-1 스코어 오차율과 정확도는 자주 사용되지만 한계가 있다. 분류 결과 혼동행렬을 시각화 해보면, 오차율과 정확도 뿐만 아니라 정밀도와 재현율이 중요하다는 점을 알 수 있다. 정밀도P와 재현율R은 다음처럼 정의된다. 일반적으로 정밀도와 재현율은 트레이드오프 관계이다....

머신러닝은 컴퓨터라는 도구로 하여금 경험을 활용해 시스템 자체를 개선해 나가는 학문이다. 컴퓨터 시스템에서 일반적으로 경험은 데이터라는 형식으로 존재하고, 따라서 머신러닝이 연구하는 주요 내용은 학습 알고리즘, 즉 컴퓨터를 활용해 데이터에서 하나의 모델(이 책에서 사용하는 ‘모델’은 데이터를 통해 학습한 결과를 뜻한다)을 만들어내는 알고리즘이라 할 수 있다. 머신러닝의 기본 용어 잘 익은 수박을 고르는 상황을 가정하자. 줄이 선명한 수박을 찾아 두드려 보고, 청명한 소리가 나는지 이것저것 확인해 본다. 세개 정도 확인해 보니 다음과 같은 수박이 있다고 기록했다. 이 표를 통해 머신러닝에서 쓰이는 용어들을 정의할 수 있는데, 다음과 같다. 데이터셋 관련 용어 data set: 모든 기록의 집합 sample(instance): 표의 행(하나의 수박에 대한 기록) attribute(feature): 열의 제목(수박의 속성) attribute value: 청록색, 곧음 등의 속성을 나타내는 값 attribute space: 각 열에 대한 1차원 공간 sample space: 각 열로 이루어진 n(여기서는 3)차원 공간 dimensionality: 열의 개수 feature vector: 샘플이 샘플 공간에서 표현된 벡터 데이터셋 관련 수학적 표현 m개의 샘플을 가진 데이터 세트 샘플 x_i는 d차원 샘플공간 X위 하나의 벡터이다. x_{ij}는 i번째 샘플의 j번째 속성값이다. 학습 관련 용어 learning(training): 데이터를 통해 모델을 만들어 가는 과정 training data(training set): 훈련 과정에서 사용된 데이터(데이터셋) training sample: 훈련 과정에서 사용된 데이터 중 하나의 샘플 hypothesis: 훈련된 모델이 따른다고 제기되는 규칙 ground truth: 훈련된 모델이 따른다고 확인된 규칙 learner(학습기): 모델의 또다른 방언 prediction: 훈련 과정에서 사용되지 않은 데이터를 모델에 입력했을 때 나오는 결과 ...

서론 금융 계열 데이터는 잦은 차익 거래로 낮은 신호 대 잡음 비율을 보인다. 더 심각한 것은 정수 미분과 같은 표준 정상성 변환이 기억을 지움으로써 신호를 더 감소시킨다는 것이다. 가격 계열 데이터는 모든 값이 이전 가격 히스토리에 종속되어 있지만 수익률과 같은 정수 미분 계열 데이터에서는 기억이 단절된다. 통계학자들은 잔차 신호를 추출하고자 복잡한 수학 기법에 의존하게 되는데, 기억이 단절된 데이터에 복잡한 기법을 적용하면 당연히 잘못된 결과를 얻게 될 것이라는 점은 그리 놀랍지 않다. 5장에서는 최대한 기억을 보존하면서 데이터의 정상성을 보장하는 데이터 변환 기법을 소개한다. 분수 차분 분수 차분은 시계열 데이터 분석에서 데이터의 정상성을 확보하면서도 원본 데이터가 가진 기억을 최대한 보존하기 위해 사용하는 기법이다. 정의 분수차분 연산자 정의 분수차분계수 일반식과 전개 B: 분수차분 연산자 d: 차분계수 (1인경우 1차미분) w₀ = 1 wₖ = wₖ₋₁(d-k+1)/k 분수차분계수 재귀식 분수 차분의 한계 이론적인 분수차분은 과거의 무한한 데이터를 필요로 하지만, 실제 시계열 데이터는 시작점이 정해져 ...

4장에서는 금융 응용에 늘 존재하는 문제인 관측값이 IID(Independent and Identically Distributed)가 아닌 문제를 해결하는 방법을 배운다. 중첩된 결과 이전 장에서는 관측 특성에 레이블을 배분했다. 하지만 이전 데이터의 결과가 확정되기 전에 다음 데이터가 이미 시작된 경우 (데이터 샘플링 시 구간이 중첩될 때) 공통의 수익률 구간이 발생하고, 데이터는 IID가 아니게 된다. 물론 샘플링 시 구간이 중첩되지 않도록 할 수 있지만, 저자는 이것이 예측 기간을 제한시키고 트리플 배리어 방법과 반하게 되며 샘플링 빈도가 낮아져 모델이 투박해질수밖에 없다고 경고한다. 금융 응용은 이러한 측면에서 다른 분야와는 다르게 특수하다. 다른 분야들은 표본이 독립적이지만, 금융은 그렇지 못하다. 이번 장에서는 중첩된 결과의 지나친 영향을 교정하고자 표본 추출과 가중값 설계 방법으로 해결해보고자 한다. 공존 레이블의 개수 두 레이블이 적어도 하나의 공통 수익률을 가지면 구간 t_0~t_1에서 공존한다 라고 하자. 지금부터는 특정 시점에 얼마나 많은 레이블이 겹쳐 있는가?를 수학적으로 카운트 해보고, 이를 통해 각 데이터의 희소성이나 가중치를 계산하고자 한다. 이진 배열 만들기 만약 i번째 레이블의 기간t_0~t_1이 시점 t를 포함하면 1, 그렇지 않으면 0으로 쓴다. 공존구간 합산 각 이진배열을 원소별로 더한다. (중첩되는 절대 시간 구간이 합산되도록) 레이블의 평균 고유도 앞서 계산한 특정 시점 t에서의 공존 레이블의 개수를 c_t라고 하자. 그렇다면 특정 시점 t에서의 고유성은 다음처럼 정의될 수 있다. 1_{t,i}는 해당 시점에서 레이블 i가 존재하면 1, 아니면 0이다. 만약 특정시점 t에서 5개의 레이블이 겹쳐있다면 각 레이블은 그 시점의 수익정보를 1/5만큼 나누어 가졌다고 보기 위해서 사용한다. 고유도 값의 기준을 만들 수 있다면 어떤 데이터가 새롭고 독특한 정보(중복된 데이터가 아닌)인지 알 수 있다. 따라서 평균을 활용해 레이블 i의 평균 고유성을 계산하면, 다음과 같다. 어떤 레이블 i가 총 3시간동안 살아있다고 가정해보자. 1시간째: 나 혼자 있음 c_t=1 → 내 지분 u_{t,i} = 1/1 2시간째: 다른 애랑 둘이 있음 c_t=2 → 내 지분 u_{t,i} = 1/2 3시간째: 다른 애들 포함 4명 있음 c_t=4 → 내 지분 u_{t,i} = 1/4 이제 이 레이블의 평균 고유성은? 내가 평생 모은 지분 총합 → 1.0 + 0.5 + 0.25 = 1.75 나의 수명(Lifespan) → 3시간 ...

3장에서는 지도 학습을 위해 금융 데이터를 레이블하는 방법을 알아본다. 고정 기간 기법 금융에 있어서 거의 모든 머신러닝 논문은 고정 기간 기법으로 관측값을 레이블한다. 고정 기간 기법이란 다음과 같은 방법이다. 특정 시점에서 데이터를 추출한 후, 정해진 시간(horizon)이 지난 뒤의 수익률을 바탕으로 라벨을 경정하는 방식 라벨링 방식: 수익률이 임계값 보다 높으면 1, 낮으면 -1, 그 사이라면 0으로 설정 수익률 정의 하지만 이러한 고정 기간 기법은 다음과 같은 이유로 사용을 피해야 한다. 2장에서 다뤘듯, 시간을 기준으로 샘플링하는 방법은 통계적 성질이 좋지 못하다. 관측된 변동성에 따라 임계값이 달라져야 하는데, 그렇지 못하다. 따라서, 다음과 같은 방법을 사용하는게 좋다. 수익률의 지수 가중 표준 편차를 측정해 그 값이 변하는 임계값에 대해 레이블 하는 것 거래량 바나 달러 바의 변동성이 훨씬 상수에 가까우므로 이를 이용하는 것 결과(종가)만 보고라벨링 하는 것은 현실의 매매를 반영하지 못하므로(청산, 손절 등) 가격의 경로가 반영되어야 한다. 동적 임계값 계산 베팅애 내재된 위험 함수로 이익실현과 손절 한도를 설정하는 방법이다. 지수 가중 이동 표준편차를 일정 간격만큼 적용한다. 해당 변동성에 특정 배수를 곱하여 그 시점의 라벨링 기준으로 삼는다. 삼중 배리어 기법 다음과 같은 세개의 기준 중 최초로 만족된 기준에 따라 관측값을 레이블 하는 방법이다. 수익률 상단 목표 수익률 지점에 도달한 경우 1(매수 성공)로 레이블링 수익률 하당...