탄광속 카나리아가 울기 시작했다

Valley AI 경제지표 열람 업데이트 기념, 이것저것 만지다 깨달은 것들을 정리 1) 미국 민간 비농업 상품 고용은, 데이터 상으로 가장 명백하고 강력한 경기 침체 선행 지표다 선행 지표로 이용하기 위해서는 1. 패턴이 명확하면서 일정해야하고 2. 이벤트와 큰 시간차이를 두지 않고 선행적으로 나타나는 신호가 관찰되어야 하며 3. 조건을 만족했을 때 위양성(False positive), 즉 경기 침체를 잘못 진단하는 경우가 적어야 한다 아래 그림을 보면, 민간 비농업 제조업 고용은, 점진적으로 상승하다, 경기 침체를 선행해서 고점을 형성 한 뒤 꺾인다, 그리 곧 경기침체가 찾아온다 라는 뚜렷하고 명징한 패턴이 있음을 알 수 있다. 1960-2024년까지의 총 9번의 경기 침체 케이스들을 하나씩 정리해보면, 민간 비농업 상품 고용의 고점이 8번이나 경기 침체를 선행했으며(빨간색 박스), 다른 1번의 케이스는 코로나로 인한 셧다운과 급작스런 경기 침체로 인해, 고용과 경기 침체가 동행했다(회색 박스). 비농업 민간 상품 고용이 꺾일 때, 경기 침체가 나타나지 않은 경우도 1번 밖에 없다(검은색 박스). 반면 민간 비농업 전체 고용과, 민간 비농업 서비스 고용의 경우, 상품과 제조업 고용에 비해 선행성이 미미하다. 아래 그림을 보면 사실상 경기 침체와 동행하는 것으로 보인다. < 초록선 - 비농업고용:민간 부문, 노란선 - 비농업고용:민간 부문:서비스업 > 관찰을 통해 특정한 현상이 반복되는 것을 귀납적으로 관찰 했을 때, 해당 현상이 앞으로도 반복될 것인지를 논하기 위해서는 합리적인(연역적인) 설명이 필요하다. 왜 제조업은 경기 침체에 선행하고, 서비스업은 경기 침체에 동행하는가를 생각해 보면 제조업이란, 레버리지를 차입해 자본을 조달하여, CAPEX로 설비를 투자하고, 지속적인 생산 시스템을 갖추어 끊임없이 상품을 공급하는 사업 형태다. 상품에 대한 수요가 공급을 초과할 때 제조업은 이익 극대화를 위해 생산량을 늘린다. 이 과정에서 설비 투자와 고용을 확장해 생산을 증대시킨다. 그렇게 늘어난 생산량으로 인해 상품 공급이 수요를 초과하게 되면 재고가 과잉으로 쌓이기 시작하고, 차입한 레버리지와 생산 설비는 부채가 되면서 산업 전체에 구조조정을 촉발한다. 이 과정에서 노동자의 실업, 가계의 구매력 감소가 이어지기 때문에 => 제조업 고용 감소는 경기 침체를 '유발하는' 선행 요인이 된다 반면 서비스업은 제조업과 달리, 레버리지나 CAPEX에 크게 의존하지 않으며, 설비나 재고 관리 부담도 상대적으로 적다. 그렇기 때문에 ...

티모씨님의 글 "실질실효환율에 비해 지나친 USD/KRW 상승... 국장 복귀는 지능 순?"을 보고, https://blog.valley.town/@timocy/post/676cf5ee4c519f051174e0f5 실질실효환율 역축 대비 USD환율의 강세 현상이 한국과 원화 특이적인 현상인지 아니면 달러 강세로 인해 나타나는 글로벌한(비특이적인) 현상인지에 대한 궁금증이 생겨서 확인 작업을 수행해 보았다. 오늘 실질실효환율 데이터를 찾다가 처음으로 FRED란 곳에 들어가게 되었는데 이렇게 방대한 자료들이 무료로 제공된다는 것에 놀랐고, 인터페이스도 굉장히 편리하다. 앞으로 자주 사용하게 될 듯 티모씨님께 감사함을 전한다. 실질실효환율의 단순 역축을 사용하신 것 같아서, 1/a가 아니라 -a를 사용하여 USD환율대비 실질실효환율 그래프를 정렬하였다. 1. 한국 티모씨님 그림과 동일하지는 않지만, 유사함 실질실효환율과 USD/KRW이 어느정도 동행하다가 2023년 이후 USD/KRW의 급격한 상승 이격(파란선)이 관찰 2. 브라질 마찬가지로, 실질실효환율과 USD/BRL의 동행이...

1편을 쓰고 나서 글을 다시 읽어보니, 인사이트도 부족하고 설명은 복잡하기만 해서 이게 무슨 도움이 될까 싶어 사실 2편은 쓰지 않으려 했다. 유튜브에 이미 수 많은 영상들이 넘쳐나는데, 개발자도 아닌 비전문가가 굳이 소음을 더할 필요가 있나 싶었는데 감사하게도 몇몇 분들이 2편 작성을 요청해주셔서, 부족하지만 용기내서 소음을 좀 더 보태본다. 이 글은 어디까지나 데이터를 다루는 사람이, 데이터에 익숙하지 않은 이들을 위해 작성한 글이다. 1편에서는 'Ontology'의 중요성에 대해서 설명했고, 2편에서는 이 과정에서 어떤 지점들이 해자로 작용할 수 있는지, 그리고 팔란티어(PLTR)가 이를 지켜내는게 가능할지를 최대한 쉽게 풀어보려 한다. 데이터를 다루는 입장에서 개인적인으로 생각할 때, 해자가 될 수 있는 주요 지점은 세 가지다. 비정형 데이터의 처리 데이터 학습과 분석 알고리즘의 고도화 데이터 보안 1. 비정형 데이터의 처리 당연한 이야기지만 컴퓨터는 사람이 아니다. 때문에 인공지능을 만들기 위해 데이터를 학습하는 컴퓨터의 모델은, 우리 사람이 사용하는 '자연어'와 같은 '비정형 데이터'들을 이해하지 못한다. '정형 데이터'는 1편에서의 예시와 같은 규칙을 가진 데이터 테이블을 의미하고, '비정형 데이터'는 데이터베이스나 표 형식에 맞춰 정리되지 않고, 특정한 규칙 없이 저장된 모든 데이터를 의미한다. <정형 데이터의 예시 - 1편의 의료 정보 테이블> 데이터를 생산하는건 우리 인간인데, 컴퓨터에게 인간의 언어인 '자연어'는 전처리(Pre processing) 없이는 이해할 수 없는 비정형 데이터다. 데이터를 이용하려는 입장에서 이거 참 답답한 일이다. 그래서 과거부터 데이터 학습(Data learning)에 있어서 가장 중요한 작업은 데이터를 목적에 맞는 형태로 변환하는 것이었다. 이를 위해 Feature, Phenotype, Category와 같은 정보 객체(Object)를 데이터에 할당하는 과정이 필요하다. 이 과정이 바로 데이터 처리과정(Data processing)이며, 사실상 이게 데이터를 다루는 '사람'이 하는 알파이자 오메가이다. (데이터를 Encoding하고, Cleaning하기도 하고, Trimming하기도 하고, Transformation하기도 한다. 이 부분은 몰라도 된다.) 그리고 요즘에는 이러한 데이터 처리 과정을 자동화하는 기술에 많은 연구가 집중되고 있다. 당연하지만, 우리가 일상에서 나누는 대화나 다른 비정형 데이터들도 각기 고유한 규칙을 가지고 있다. 이 '규칙'이 있기 때문에 우리가 그것을 해석하고 이해할 수 있는 것이다. 다만, 이러한 규칙들은 컴퓨터 모델이 이해할 수 있게 조건문으로 분류하기엔 너무 복잡하고, 규칙을 지키지 않는 예외들도 존재하기 때문에, 비정형 데이터를 컴퓨터가 인식할 수 있는 구조화된 데이터로 자동 전환하는 데에는 많은 난관이 존재한다. 예를들어, 저녁 메뉴를 정할 때 점심에 먹은 메뉴와 겹치지 않게 하기 위해, 상대방에게 '오늘 점심에 무엇을 먹었는지'를 묻는 상황을 생각해보자. 수도 없이 다양한 표현들이 있지만, 간략하게 아래의 다섯 문장만 살펴보면 1) '야, 너 오늘 점심 어떤거 먹었어?' 2) '사장님, 오늘 오찬은 어떤 걸 드셨습니까?' 3) '뭐 먹었어, 너 오늘 점심?' 4) '님, 점심 뭐 먹? 5) '마, 니 오늘 점심 때 뭐 뭇노?' 이때 표준을 1)이라고 하면, 1)과 비교해서 2)는 점심 식사란 단어 대신 '오찬'이란 한자어로 축약되어 사용되었다. 존댓말이 쓰였다. 3)은 문장에 쓰인 단어의 어순이 바뀌었다. 4)는 축약어가 사용되었다. 온전한 이해를 위해서는 대화 맥락이 필요할 수도 있다. 5)는 표준어가 아닌 사투리로 사용 단어들이 바뀌었다. 의 차이점을 가지고 있다. 단어가 사용되는 위치와 사용된 단어 자체에 뭐 하나 일관성이 없음에도 불구하고 모두 상대에게 '오늘 점심에 무엇을 먹었는지'를 묻는 문장이다. 간단한 문장도 이런데, 더 긴 문장들과 다양한 상황은 얼마나 더 복잡하겠는가? 거기에 동음 이의어는? 때문에 자연어의 복잡성과 규칙의 예외성으로 인해, '연역적' 방식으로 이 문제를 해결하기에는 한계가 있다. 그래서 해당 한계를 극복하기 위해 현대의 자연어 처리(NLP, Natural Language Processing) 모델은 일부 연역적 규칙 아래에 수많은 문장을 학습하고, 이를 통해 규칙과 패턴을 역으로 추론하는 귀납적 방식으로 데이터 처리를 자동화하는 방식을 택했다. 이게 어느 단계까지 왔냐면, 요즘은 병원에서 수기로 작성하던 환자 차트도 의사와 환자의 문진 대화 -> 음성언어를 텍스트 데이터화 -> 텍스트 데이터를 바탕으로 환자 차트 작성 -> 작성된 환자 차트에서 필요한 데이터를 추출하여 환자 정보 테이블을 작성 까지 자동화해주는 프로그램이 도입되기 위해 테스트가 진행 중에 있다. 1편에서 실제 예시 설명을 위해 첨부한 환자 정보 테이블의 경우도 그렇게 만들어졌다. 물론 프로그램의 차트 작성이 완벽하지 못해서, 작성된 차트 내용이 정확한지 검수하는 작업이 반드시 필요하다. 그리고 꽤 많이 수정이 들어간다. 아직까지는 완벽한 자동화가 아니라, 수고를 줄여주는 보조적 기능에 그친다고 봐야하지만 비정형 데이터 처리를 위해 ...

가끔 초면인 사람들에게 내가 하는 일을 짧게 소개해야될 때가 있다. 그럴 때 데이터, 정보, 분석 같은 단어가 들어가다보니, 사람들이 나를 근사한 데이터 과학자로 오해해 난처할 때가 많다. 사실 나는 기껏해야 반쪽자리 정보학자일 뿐이라, 그럴 때마다 고평가의 후환이 두려워 오해를 바로잡고 싶지만 초면인 타 분야 사람들에게 괜히 인상을 망치지 않으면서(너드의 역설-너드 아니라고 하면 너드임), 이 차이를 간단히 설명하는 것도 내 역량 범위 밖이라, 대게는 그냥 오해를 받는 편을 택한다. 학위 과정 동안 데이터를 다뤄온 것은 맞지만, 감히 Data Scientist라는 말을 입에 담기에는 통계 지식과 활용 능력이 턱없이 부족했다. 지금도 크게 다르지 않다. 그래서 우리는 스스로를 자조적으로 가짜 데이터 과학자(Psuedo Data Scientist)라고 불렀다. 이럴 줄 알았으면 학부 때 통계 공부좀 제대로 할걸. 각설하고, 주식 얘기를 하자. Valley에서도 그렇고, 다른 곳에서도 그렇고 요즘 팔란티어(Palantir, PLTR) 주식이 핫하다. Valley 기업 딥다이브: https://www.valley.town/studio-valley/company-analysis/671b5689078a15ca9a5dd292 Valley Valuation Challenge: https://www.valley.town/events/valuation-challenge/analysis/66e305c85399ab5cc3ce483b 이효석 아카데미: https://www.youtube.com/watch?v=YV1nCiMHlGc 신고가를 돌파하고 미래 전망이 밝아보이는 성장주가 으레 그렇듯, 여기저기서 정보가 쏟아지며 사람들의 FOMO를 자극하고 있다. 많은 사람들이 각자의 방식으로 정보를 수집하고, 비지니스를 이해하려 애쓰며, 이 주식이 '넥스트 엔비디아'가 될 수 있을지 적정 주가를 판단하기 위해 촉각을 곤두세우고 있는 모습이다. 이번만큼은 그 기회를 놓치지 않기 위해. 덕분에 이번 기회에 나도 '팔란티어'라는 기업을 처음으로 공부하게 되었다. 공부한 김에, 관련 산업에 살짝 발을 담구고 있는 사람으로서, '데이터'에 대한 지식이 없는 분들도 접근할 수 있도록 최대한 쉬운 용어로 이 기업의 비즈니스를 풀어보고자 한다. 내가 느낀 팔란티어의 핵심은 'Ontology'다. 학위 과정에서 Ontology라는 용어와 분석 방식을 지겹게 사용했음에도 불구하고, 나는 이게 철학을 전공한 PLTR의 창업자인 Peter Thiel과 CEO인 Alex Karp이 정의한 개념인지를 오늘에서야 처음 알았다. 와우! Ontology를 한 문장으로 간단하게 설명하면, '세상 모든 데이터에 카테고리를 매기겠다(Categorization of the world)'로 설명할 수 있다. 조금 더 자세히 설명하면, '데이터와 그 데이터가 갖는 의미간의 관계를 정의하고 구조화하여 ...