경제는 잘 모르지만, 데이터만 놓고 논하는 경기 침체

티모씨님의 글 "실질실효환율에 비해 지나친 USD/KRW 상승... 국장 복귀는 지능 순?"을 보고, https://blog.valley.town/@timocy/post/676cf5ee4c519f051174e0f5 실질실효환율 역축 대비 USD환율의 강세 현상이 한국과 원화 특이적인 현상인지 아니면 달러 강세로 인해 나타나는 글로벌한(비특이적인) 현상인지에 대한 궁금증이 생겨서 확인 작업을 수행해 보았다. 오늘 실질실효환율 데이터를 찾다가 처음으로 FRED란 곳에 들어가게 되었는데 이렇게 방대한 자료들이 무료로 제공된다는 것에 놀랐고, 인터페이스도 굉장히 편리하다. 앞으로 자주 사용하게 될 듯 티모씨님께 감사함을 전한다. 실질실효환율의 단순 역축을 사용하신 것 같아서, 1/a가 아니라 -a를 사용하여 USD환율대비 실질실효환율 그래프를 정렬하였다. 1. 한국 티모씨님 그림과 동일하지는 않지만, 유사함 실질실효환율과 USD/KRW이 어느정도 동행하다가 2023년 이후 USD/KRW의 급격한 상승 이격(파란선)이 관찰 2. 브라질 마찬가지로, 실질실효환율과 USD/BRL의 동행이...

1편을 쓰고 나서 글을 다시 읽어보니, 인사이트도 부족하고 설명은 복잡하기만 해서 이게 무슨 도움이 될까 싶어 사실 2편은 쓰지 않으려 했다. 유튜브에 이미 수 많은 영상들이 넘쳐나는데, 개발자도 아닌 비전문가가 굳이 소음을 더할 필요가 있나 싶었는데 감사하게도 몇몇 분들이 2편 작성을 요청해주셔서, 부족하지만 용기내서 소음을 좀 더 보태본다. 이 글은 어디까지나 데이터를 다루는 사람이, 데이터에 익숙하지 않은 이들을 위해 작성한 글이다. 1편에서는 'Ontology'의 중요성에 대해서 설명했고, 2편에서는 이 과정에서 어떤 지점들이 해자로 작용할 수 있는지, 그리고 팔란티어(PLTR)가 이를 지켜내는게 가능할지를 최대한 쉽게 풀어보려 한다. 데이터를 다루는 입장에서 개인적인으로 생각할 때, 해자가 될 수 있는 주요 지점은 세 가지다. 비정형 데이터의 처리 데이터 학습과 분석 알고리즘의 고도화 데이터 보안 1. 비정형 데이터의 처리 당연한 이야기지만 컴퓨터는 사람이 아니다. 때문에 인공지능을 만들기 위해 데이터를 학습하는 컴퓨터의 모델은, 우리 사람이 사용하는 '자연어'와 같은 '비정형 데이터'들을 이해하지 못한다. '정형 데이터'는 1편에서의 예시와 같은 규칙을 가진 데이터 테이블을 의미하고, '비정형 데이터'는 데이터베이스나 표 형식에 맞춰 정리되지 않고, 특정한 규칙 없이 저장된 모든 데이터를 의미한다. <정형 데이터의 예시 - 1편의 의료 정보 테이블> 데이터를 생산하는건 우리 인간인데, 컴퓨터에게 인간의 언어인 '자연어'는 전처리(Pre processing) 없이는 이해할 수 없는 비정형 데이터다. 데이터를 이용하려는 입장에서 이거 참 답답한 일이다. 그래서 과거부터 데이터 학습(Data learning)에 있어서 가장 중요한 작업은 데이터를 목적에 맞는 형태로 변환하는 것이었다. 이를 위해 Feature, Phenotype, Category와 같은 정보 객체(Object)를 데이터에 할당하는 과정이 필요하다. 이 과정이 바로 데이터 처리과정(Data processing)이며, 사실상 이게 데이터를 다루는 '사람'이 하는 알파이자 오메가이다. (데이터를 Encoding하고, Cleaning하기도 하고, Trimming하기도 하고, Transformation하기도 한다. 이 부분은 몰라도 된다.) 그리고 요즘에는 이러한 데이터 처리 과정을 자동화하는 기술에 많은 연구가 집중되고 있다. 당연하지만, 우리가 일상에서 나누는 대화나 다른 비정형 데이터들도 각기 고유한 규칙을 가지고 있다. 이 '규칙'이 있기 때문에 우리가 그것을 해석하고 이해할 수 있는 것이다. 다만, 이러한 규칙들은 컴퓨터 모델이 이해할 수 있게 조건문으로 분류하기엔 너무 복잡하고, 규칙을 지키지 않는 예외들도 존재하기 때문에, 비정형 데이터를 컴퓨터가 인식할 수 있는 구조화된 데이터로 자동 전환하는 데에는 많은 난관이 존재한다. 예를들어, 저녁 메뉴를 정할 때 점심에 먹은 메뉴와 겹치지 않게 하기 위해, 상대방에게 '오늘 점심에 무엇을 먹었는지'를 묻는 상황을 생각해보자. 수도 없이 다양한 표현들이 있지만, 간략하게 아래의 다섯 문장만 살펴보면 1) '야, 너 오늘 점심 어떤거 먹었어?' 2) '사장님, 오늘 오찬은 어떤 걸 드셨습니까?' 3) '뭐 먹었어, 너 오늘 점심?' 4) '님, 점심 뭐 먹? 5) '마, 니 오늘 점심 때 뭐 뭇노?' 이때 표준을 1)이라고 하면, 1)과 비교해서 2)는 점심 식사란 단어 대신 '오찬'이란 한자어로 축약되어 사용되었다. 존댓말이 쓰였다. 3)은 문장에 쓰인 단어의 어순이 바뀌었다. 4)는 축약어가 사용되었다. 온전한 이해를 위해서는 대화 맥락이 필요할 수도 있다. 5)는 표준어가 아닌 사투리로 사용 단어들이 바뀌었다. 의 차이점을 가지고 있다. 단어가 사용되는 위치와 사용된 단어 자체에 뭐 하나 일관성이 없음에도 불구하고 모두 상대에게 '오늘 점심에 무엇을 먹었는지'를 묻는 문장이다. 간단한 문장도 이런데, 더 긴 문장들과 다양한 상황은 얼마나 더 복잡하겠는가? 거기에 동음 이의어는? 때문에 자연어의 복잡성과 규칙의 예외성으로 인해, '연역적' 방식으로 이 문제를 해결하기에는 한계가 있다. 그래서 해당 한계를 극복하기 위해 현대의 자연어 처리(NLP, Natural Language Processing) 모델은 일부 연역적 규칙 아래에 수많은 문장을 학습하고, 이를 통해 규칙과 패턴을 역으로 추론하는 귀납적 방식으로 데이터 처리를 자동화하는 방식을 택했다. 이게 어느 단계까지 왔냐면, 요즘은 병원에서 수기로 작성하던 환자 차트도 의사와 환자의 문진 대화 -> 음성언어를 텍스트 데이터화 -> 텍스트 데이터를 바탕으로 환자 차트 작성 -> 작성된 환자 차트에서 필요한 데이터를 추출하여 환자 정보 테이블을 작성 까지 자동화해주는 프로그램이 도입되기 위해 테스트가 진행 중에 있다. 1편에서 실제 예시 설명을 위해 첨부한 환자 정보 테이블의 경우도 그렇게 만들어졌다. 물론 프로그램의 차트 작성이 완벽하지 못해서, 작성된 차트 내용이 정확한지 검수하는 작업이 반드시 필요하다. 그리고 꽤 많이 수정이 들어간다. 아직까지는 완벽한 자동화가 아니라, 수고를 줄여주는 보조적 기능에 그친다고 봐야하지만 비정형 데이터 처리를 위해 ...

가끔 초면인 사람들에게 내가 하는 일을 짧게 소개해야될 때가 있다. 그럴 때 데이터, 정보, 분석 같은 단어가 들어가다보니, 사람들이 나를 근사한 데이터 과학자로 오해해 난처할 때가 많다. 사실 나는 기껏해야 반쪽자리 정보학자일 뿐이라, 그럴 때마다 고평가의 후환이 두려워 오해를 바로잡고 싶지만 초면인 타 분야 사람들에게 괜히 인상을 망치지 않으면서(너드의 역설-너드 아니라고 하면 너드임), 이 차이를 간단히 설명하는 것도 내 역량 범위 밖이라, 대게는 그냥 오해를 받는 편을 택한다. 학위 과정 동안 데이터를 다뤄온 것은 맞지만, 감히 Data Scientist라는 말을 입에 담기에는 통계 지식과 활용 능력이 턱없이 부족했다. 지금도 크게 다르지 않다. 그래서 우리는 스스로를 자조적으로 가짜 데이터 과학자(Psuedo Data Scientist)라고 불렀다. 이럴 줄 알았으면 학부 때 통계 공부좀 제대로 할걸. 각설하고, 주식 얘기를 하자. Valley에서도 그렇고, 다른 곳에서도 그렇고 요즘 팔란티어(Palantir, PLTR) 주식이 핫하다. Valley 기업 딥다이브: https://www.valley.town/studio-valley/company-analysis/671b5689078a15ca9a5dd292 Valley Valuation Challenge: https://www.valley.town/events/valuation-challenge/analysis/66e305c85399ab5cc3ce483b 이효석 아카데미: https://www.youtube.com/watch?v=YV1nCiMHlGc 신고가를 돌파하고 미래 전망이 밝아보이는 성장주가 으레 그렇듯, 여기저기서 정보가 쏟아지며 사람들의 FOMO를 자극하고 있다. 많은 사람들이 각자의 방식으로 정보를 수집하고, 비지니스를 이해하려 애쓰며, 이 주식이 '넥스트 엔비디아'가 될 수 있을지 적정 주가를 판단하기 위해 촉각을 곤두세우고 있는 모습이다. 이번만큼은 그 기회를 놓치지 않기 위해. 덕분에 이번 기회에 나도 '팔란티어'라는 기업을 처음으로 공부하게 되었다. 공부한 김에, 관련 산업에 살짝 발을 담구고 있는 사람으로서, '데이터'에 대한 지식이 없는 분들도 접근할 수 있도록 최대한 쉬운 용어로 이 기업의 비즈니스를 풀어보고자 한다. 내가 느낀 팔란티어의 핵심은 'Ontology'다. 학위 과정에서 Ontology라는 용어와 분석 방식을 지겹게 사용했음에도 불구하고, 나는 이게 철학을 전공한 PLTR의 창업자인 Peter Thiel과 CEO인 Alex Karp이 정의한 개념인지를 오늘에서야 처음 알았다. 와우! Ontology를 한 문장으로 간단하게 설명하면, '세상 모든 데이터에 카테고리를 매기겠다(Categorization of the world)'로 설명할 수 있다. 조금 더 자세히 설명하면, '데이터와 그 데이터가 갖는 의미간의 관계를 정의하고 구조화하여 ...