특화 AI 모델의 생존 조건: LLM 시대의 해자 분석 / Case study: APP vs UPST

최근 LLM(Large Language Model)은 다양한 분야에서 빠르게 확산되고 있습니다. 그에 따라 LLM이 만들어내는 텍스트·이미지·코드 등의 창출물도 기하급수적으로 늘어나는 중입니다. LLM의 학습 방식은 대체로 Transformer 기반으로, 세상 전반에 존재하는 방대한 텍스트 데이터를 학습합니다. 그리고 학습된 분포를 바탕으로 다음에 올 단어(토큰)를 가장 높은 확률로 예측해 문장을 이어 붙이며 출력을 만들어냅니다. 이 구조만 놓고 보면 LLM은 “진보된 사고를 하는 존재”라기보다, 가장 그럴듯하고 평균적인 답에 수렴하도록 설계된 시스템에 가깝습니다. 즉, 특별한 인사이트를 제공하기보다 “대체로 사람들이 납득할 만한 말”을 생성하는 데 초점이 맞춰져 있다고 볼 수 있습니다. 물론 이것만으로도 충분히 유의미합니다. 인간 개인의 경험과 기억이 담을 수 있는 데이터보다 훨씬 큰 규모의 텍스트를 기반으로 답변을 내놓기 때문입니다. 그럼에도 질문은 남습니다. “LLM이 일반적인 답을 넘어, 더 ‘특별한 인사이트’를 주도록 만들 수 있을까?” 1) ‘성능이 좋은 모델’이란 무엇인가 현재 개발되는 LLM의 목표는 대체로 명확합니다. 성능이 좋은 모델을 만드는 것입니다. 그런데 성능이 좋다는 말은 여러 방식으로 정의될 수 있습니다. 사람들이 더 선호하는 모델 지능이 높은 모델 효용이 높은 모델 정확한 정보를 주는 모델 하지만 훈련 관점에서 보자면, “성능이 좋은 모델”은 결국 평가 지표에서 점수를 잘 받는 모델에 가깝습니다. 모델은 보상(점수)이 주어지는 방향으로 최적화되기 때문입니다. 2) “독특한 답변”에 보상을 주면 인사이트가 생길까? 만약 평가 지표에서 독특한 답을 더 높게 보상한다면, 모델이 그 방향으로 훈련되도록 유도할 수는 있을 것입니다. “평균적인 ...

가상화폐가 포트폴리오에 들어오고 있다는 사실 “가상화폐(특히 비트코인)를 자산 포트폴리오의 한 축으로 볼 수 있느냐”는 질문이 더 이상 마이너한 화두는 아닙니다. 특히 미국에서는 현물 ETF, 스테이블코인 규제, 트럼프 행정부의 친(親)크립토 스탠스 등으로 제도권 편입 논의가 본격적으로 진행 중이죠. 이 흐름의 가장 큰 장점은 단순합니다. 포트폴리오 자산으로 인정받는 순간, 들어올 수 있는 돈의 ‘절대 규모’가 달라진다. 연기금, 보험, 대형 자산운용사, WM(자산관리) 채널까지 열리면, 지금까지의 사이클과는 다른 ‘체급’의 수요가 들어올 수 있습니다. 하지만 동시에, 여기서 우리가 꼭 짚고 넘어가야 할 지점이 하나 있습니다. 기관자금은 “무조건 좋은 돈”이 아니라, 룰에 따라 “기계적으로 나가는 돈”이기도 하다. 특정 자산군 비율이 떨어지면 리밸런싱 매도 변동성이 커지거나 마진/위험 한도를 넘으면 강제 축소 규제/지수 규칙이 바뀌면 자동 매도(인덱스 추종) 가상화폐처럼 변동성이 큰 자산군에서 이런 “룰 기반 자금”이 비중을 키우기 시작하면, 상승 국면에서는 폭발적인 랠리를 만들 수 있는 대신, 하락 국면에서는 “한꺼번에 문으로 몰리는” 매도 압력이 될 수 있습니다. 먼저 제 입장부터 분명히 해두겠습니다. 가상화폐(특히 비트코인)가 앞으로도 오를 수 있느냐? → 네, 오를 수 있다고 생각합니다. 금리 인하 사이클과 유동성 기대 그 이유 중 하나는 금리 인하 사이클과 유동성 환경입니다. 금리 인하(또는 인하 기대)는 → 현금·단기채의 매력을 줄이고 → 위험자산에 대한 기회비용을 낮추는 역할을 합니다. 가상화폐는 펀더멘털이 약한 대신 “유동성 + 심리”에 더 민감한 자산이라, 이런 환경에서 고베타(고위험) 플레이로 선택받기 좋습니다. 그런데 최근 티모씨님 글이나 매크로 환경을 보면 이 흐름이 원활하게 흘러가고 있지는 않은 것 같습니다. 이 부분은 좀 더 디테일하게 들어가야 할 부분이라 따로 정리해보도록 하겠습니다. 최근에 많이 떨어진 자산이기도 하고 적어도 미국은 금리인하 사이클인 만큼 가상화폐는 현재 가격보단 오를 수 있지 않을까? 라는 생각은 하고 있습니다. 스테이블코인과 미국 재정·달러 패권의 교차점 조금 더 구조적인 관점에서 보자면, 레오성님의 글 중 설득력이 있다고 느끼는 논리가 있습니다. 트리핀 딜레마(달러 패권 vs 제조업/경상수지)와 스테이블코인을 통한 미국 단기국채(T-bill) 수요 창출, 그리고 이를 뒷받침하기 위한 친(親)크립토 정책. 아주 단순화하면 이런 그림이죠. 미국은 여전히 달러 패권과 재정 부담(막대한 국채 발행)을 안고 있다. 스테이블코인을 완전히 규제된 달러 토큰으로 인정하고, 발행량만큼 단기국채·현금·레포를 담보로 잡게 만들면, → 자연스럽게 미국 단기국채의 상시 수요원을 만들 수 있다. 이 구조를 키우려면, 크립토/스테이블코인을 정면으로 때리기보다는 제도권 안으로 끌고 와서 관리 가능한 형태로 키우는 게 미국 입장에서도 합리적일 수 있다. 이건 “가상자산 전체의 정당성”을 조금씩 높이는 방향으로 작용할 수 있고, 그만큼 “가상화폐를 포트폴리오에 넣어야 할 ...

최근 AI 인프라를 담당하는 곳들의 주가가 널뛰고 있습니다. 이는 데이터센터 수요가 폭증했기 때문인데, 이에 관해 한 번 정리해보고자 합니다. 왜 이렇게 막대한 양의 데이터센터가 필요하고 전력이 필요할까요? 현재 왜 그렇게 GPU와 데이터센터에 대해 수요가 쏠릴까?에 대한 근본적인 부분을 살펴보면 다음과 같습니다. 최신 AI가 글을 잘 이해하고, 그림도 그리고, 심지어 코딩까지 하고 있는데 어떤 원리로 이렇게 똑똑해졌을지 살펴보면 그 거대한 발전의 비밀은 세 단계의 이야기로 이루어져 있습니다. '획기적인 공부법의 발견', '엄청난 공부량과 도구', 그리고 마지막으로 '성적이 오르는 마법 공식'의 발견입니다. 획기적인 공부법의 발견: '전화기 게임'에서 '오픈 북 시험'으로 과거의 AI(RNN)는 마치 '전화기 게임'처럼 공부했습니다. 첫 단어부터 순서대로 정보를 속삭이며 전달하다 보니, 문장이 길어지면 맨 처음의 내용이 점점 날아가는 문제가 발생했습니다. 하지만 2017년, 구글 연구진이 발표한 "Attention Is All You Need"라는 논문은 AI 분야의 모든 것을 바꿀 혁신적인 해법을 제시했습니다. "당신에게 필요한 것은 'Attention' 뿐이다"라는 제목은 그 자체로 하나의 선언이었습니다. 이는 더 이상 복잡한 순차 처리 방식 없이 오직 '어텐션' 메커니즘만으로 충분하다는 엄청난 자신감의 표현이었습니다. 이 논문에서 제안된 '트랜스포머(Transformer)' 구조는 그 이름처럼 AI의 패러다임을 완전히 전환시켰으며, 현재까지 약 20만 회 인용될 정도로 학계와 산업에 막대한 영향을 미치고 있습니다. *GPT(Generative Pre-trained Transformer) 이 새로운 공부법은 '오픈 북 시험'과 같습니다. 정답을 찾아야 할 때, 책(문장 전체)의 모든 페이지(모든 단어)를 한 번에 펼쳐놓고, 문제와 가장 관련 있는 핵심 키워드에만 '집중(Attention)' 하는 방식입니다. 논문 제목처럼, 순차적인 정보 전달 없이 오직 'Attention'만으로도 충분하다는 것을 증명한 것입니다. 이 덕분에 AI는 아무리 긴 글이라도 핵심 의미를 놓치지 않게 되었습니다. 엄청난 공부량과 도구: 계산량 폭증과 해결사 GPU 이 '오픈 북 시험' 공부법은 효과가 확실했지만, 엄청난 노력이 필요했습니다. 모든 단어들이 서로 얼마나 관련 있는지 일일이 다 계산해야 했기 때문이죠. 글의 길이가 2배가 되면, 필요한 계산량은 4배로 폭증했습니다. 이 무지막지한 계산량을 감당하기 위해 나타난 해결사가 바로 GPU입니다. 똑똑한 박사님 한 명(CPU)이 순서대로 푸는 것보다, 수천 명의 일꾼들(GPU)이 단순 계산을 동시에 처리하는 것이 훨씬 빨랐습니다. '오픈 북 시험(트랜스포머)'이라는 공부법과 '일꾼 군단(GPU)'이라는 도구가 준비된 것입니다. 성적이 오르는 마법 공식: '스케일링 법칙'의 발견 자, 이제 가장 중요한 마지막 단계입니다. 과학자들은 이 새로운 공부법과 도구를 가지고 실험하다가 놀라운 사실을 발견합니다. 바로 AI의 성적을 예측할 수 있는 '마법 공식'을 찾아낸 것입니다. 이 공식이 바로 '스케일링 법칙(Scaling Laws)'입니다. 이 공식의 세 가지 핵심 재료는 다음과 같습니다. 더 큰 두뇌 (모델 크기): AI의 뇌 용량(파라미터)을 늘려 더 복잡한 것을 배울 수 있게 합니다. 더 많은 교과서 (데이터 크기): 인터넷의 모든 글과 책을 읽게 하듯, 학습 자료를 늘려줍니다. 더 많은 공부 시간 (컴퓨팅 파워): 더 많은 GPU를 투입해 이 모든 것을 더 오래, 더 깊게 학습시킵니다. 스케일링 법칙의 진짜 마법은, 이 세 가지 재료를 늘리면 AI의 성능(성적)이 '얼렁뚱땅' 좋아지는 게 아니라, '예측 가능하게' 좋아진다는 점입니다. 마치 '수학 공부 시간을 2배로 늘리면 수학 점수가 10점 오를 거야'라고 미리 알 수 있게 된 것과 같습니다. 이 발견은 AI 개발의 패러다임을 바꾸었습니다. AI를 개발하는 것이 더 이상 '운'이나 '감'의 영역이 아니라, 막대한 자본 투자가 성능 향상으로 이어질 것이라는 '예측 가능성'을 제공하는 '공학'의 영역으로 들어선 것입니다. 이러한 예측 가능성의 핵심 근거가 바로 '스케일링 법칙(Scaling Laws)'입니다. 2020년 OpenAI 연구진은 모델 크기, 데이터양, 그리고 투입되는 컴퓨팅 파워를 늘리면 AI의 성능(손실 값)이 멱함수(power-law)에 따라 예측 가능하게 향상된다는 경험 법칙을 제시했습니다. 이 법칙은 이후 거대 언어 모델 개발의 핵심적인 나침반 역할을 했습니다. OpenAI는 GPT-4 기술 보고서에서, GPT-4 최종 훈련에 사용된 컴퓨팅 파워의 1/1000 미만으로 훈련한 소규모 모델들을 통해 GPT-4의 일부 핵심 성능을 사전에 매우 정확하게 예측했다고 공식적으로 밝혔습니다. '성공이 100% 보장'되는 것은 아니지만, 수조 원대 투자의 불확실성을 크게 줄여주는 강력한 근거가 된 셈입니다. *GPT-2, 3, 4의 파라미터 수: 15억개 / 1,750억개 / 비공식 추정: 1조 8천억 개 이러한 예측 가능성은 빅테크 기업들의 천문학적인 AI 투자 경쟁에 불을 붙였습니다. 실제로 2025년 마이크로소프트와 구글은 AI 데이터센터 및 서버 확충을 위해 각각 약 800억 달러와 850억 달러에 달하는 대규모 투자 계획을 발표했습니다. 최신 AI의 발전 과정을 가장 정확하게 요약하면 다음과 같습니다. '전화기 게임(RNN)'의 한계를 → '오픈 북 시험(트랜스포머)'으로 돌파하고 → 그 엄청난 계산량을 'GPU'로 감당하며 → '스케일링 법칙'을 통해 성능 향상의 예측 가능성을 확보하여 → 더 똑똑한 AI를 만들기 위한 거대 자본의 경쟁 시대가 열렸다. 훈련시장보다 훨씬 거대한 추론 시장 그리고 현재 AI 발전의 서사는 새로운 장에 접어들었습니다. '더 똑똑한 모델을 ...

최근 AI 인프라를 담당하는 곳들의 주가가 널뛰고 있습니다. 이는 데이터센터 수요가 폭증했기 때문인데, 이에 관해 한 번 정리해보고자 합니다. 왜 이렇게 막대한 양의 데이터센터가 필요하고 전력이 필요할까요? 현재 왜 그렇게 GPU와 데이터센터에 대해 수요가 쏠릴까?에 대한 근본적인 부분을 살펴보면 다음과 같습니다. 최신 AI가 글을 잘 이해하고, 그림도 그리고, 심지어 코딩까지 하고 있는데 어떤 원리로 이렇게 똑똑해졌을지 살펴보면 그 거대한 발전의 비밀은 세 단계의 이야기로 이루어져 있습니다. '획기적인 공부법의 발견', '엄청난 공부량과 도구', 그리고 마지막으로 '성적이 오르는 마법 공식'의 발견입니다. 획기적인 공부법의 발견: '전화기 게임'에서 '오픈 북 시험'으로 과거의 AI(RNN)는 마치 '전화기 게임'처럼 공부했습니다. 첫 단어부터 순서대로 정보를 속삭이며 전달하다 보니, 문장이 길어지면 맨 처음의 내용이 점점 날아가는 문제가 발생했습니다. 하지만 2017년, 구글 연구진이 발표한 "Attention Is All You Need"라는 논문은 AI 분야의 모든 것을 바꿀 혁신적인 해법을 제시했습니다. "당신에게 필요한 것은 'Attention' 뿐이다"라는 제목은 그 자체로 하나의 선언이었습니다. 이는 더 이상 복잡한 순차 처리 방식 없이 오직 '어텐션' 메커니즘만으로 충분하다는 엄청난 자신감의 표현이었습니다. 이 논문에서 제안된 '트랜스포머(Transformer)' 구조는 그 이름처럼 AI의 패러다임을 완전히 전환시켰으며, 현재까지 약 20만 회 인용될 정도로 학계와 산업에 막대한 영향을 미치고 있습니다. *GPT(Generative Pre-trained Transformer) 이 새로운 공부법은 '오픈 북 시험'과 같습니다. 정답을 찾아야 할 때, 책(문장 전체)의 모든 페이지(모든 단어)를 한 번에 펼쳐놓고, 문제와 가장 관련 있는 핵심 키워드에만 '집중(Attention)' 하는 방식입니다. 논문 제목처럼, 순차적인 정보 전달 없이 오직 'Attention'만으로도 충분하다는 것을 증명한 것입니다. 이 덕분에 AI는 아무리 긴 글이라도 핵심 의미를 놓치지 않게 되었습니다. 엄청난 공부량과 도구: 계산량 폭증과 해결사 GPU 이 '오픈 북 시험' 공부법은 효과가 확실했지만, 엄청난 노력이 필요했습니다. 모든 단어들이 서로 얼마나 관련 있는지 일일이 다 계산해야 했기 때문이죠. 글의 길이가 2배가 되면, 필요한 계산량은 4배로 폭증했습니다. 이 무지막지한 계산량을 감당하기 위해 나타난 해결사가 바로 GPU입니다. 똑똑한 박사님 한 명(CPU)이 순서대로 푸는 것보다, 수천 명의 일꾼들(GPU)이 단순 계산을 동시에 처리하는 것이 훨씬 빨랐습니다. '오픈 북 시험(트랜스포머)'이라는 공부법과 '일꾼 군단(GPU)'이라는 도구가 준비된 것입니다. 성적이 오르는 마법 공식: '스케일링 법칙'의 발견 자, 이제 가장 중요한 마지막 단계입니다. 과학자들은 이 새로운 공부법과 도구를 가지고 실험하다가 놀라운 사실을 발견합니다. 바로 AI의 성적을 예측할 수 있는 '마법 공식'을 찾아낸 것입니다. 이 공식이 바로 '스케일링 법칙(Scaling Laws)'입니다. 이 공식의 세 가지 핵심 재료는 다음과 같습니다. 더 큰 두뇌 (모델 크기): AI의 뇌 용량(파라미터)을 늘려 더 복잡한 것을 배울 수 있게 합니다. 더 많은 교과서 (데이터 크기): 인터넷의 모든 글과 책을 읽게 하듯, 학습 자료를 늘려줍니다. 더 많은 공부 시간 (컴퓨팅 파워): 더 많은 GPU를 투입해 이 모든 것을 더 오래, 더 깊게 학습시킵니다. 스케일링 법칙의 진짜 마법은, 이 세 가지 재료를 늘리면 AI의 성능(성적)이 '얼렁뚱땅' 좋아지는 게 아니라, '예측 가능하게' 좋아진다는 점입니다. 마치 '수학 공부 시간을 2배로 늘리면 수학 점수가 10점 오를 거야'라고 미리 알 수 있게 된 것과 같습니다. 이 발견은 AI 개발의 패러다임을 바꾸었습니다. AI를 개발하는 것이 더 이상 '운'이나 '감'의 영역이 아니라, 막대한 자본 투자가 성능 향상으로 이어질 것이라는 '예측 가능성'을 제공하는 '공학'의 영역으로 들어선 것입니다. 이러한 예측 가능성의 핵심 근거가 바로 '스케일링 법칙(Scaling Laws)'입니다. 2020년 OpenAI 연구진은 모델 크기, 데이터양, 그리고 투입되는 컴퓨팅 파워를 늘리면 AI의 성능(손실 값)이 멱함수(power-law)에 따라 예측 가능하게 향상된다는 경험 법칙을 제시했습니다. 이 법칙은 이후 거대 언어 모델 개발의 핵심적인 나침반 역할을 했습니다. OpenAI는 GPT-4 기술 보고서에서, GPT-4 최종 훈련에 사용된 컴퓨팅 파워의 1/1000 미만으로 훈련한 소규모 모델들을 통해 GPT-4의 일부 핵심 성능을 사전에 매우 정확하게 예측했다고 공식적으로 밝혔습니다. '성공이 100% 보장'되는 것은 아니지만, 수조 원대 투자의 불확실성을 크게 줄여주는 강력한 근거가 된 셈입니다. *GPT-2, 3, 4의 파라미터 수: 15억개 / 1,750억개 / 비공식 추정: 1조 8천억 개 이러한 예측 가능성은 빅테크 기업들의 천문학적인 AI 투자 경쟁에 불을 붙였습니다. 실제로 2025년 마이크로소프트와 구글은 AI 데이터센터 및 서버 확충을 위해 각각 약 800억 달러와 850억 달러에 달하는 대규모 투자 계획을 발표했습니다. 최신 AI의 발전 과정을 가장 정확하게 요약하면 다음과 같습니다. '전화기 게임(RNN)'의 한계를 → '오픈 북 시험(트랜스포머)'으로 돌파하고 → 그 엄청난 계산량을 'GPU'로 감당하며 → '스케일링 법칙'을 통해 성능 향상의 예측 가능성을 확보하여 → 더 똑똑한 AI를 만들기 위한 거대 자본의 경쟁 시대가 열렸다. 훈련시장보다 훨씬 거대한 추론 시장 그리고 현재 AI 발전의 서사는 새로운 장에 접어들었습니다. '더 똑똑한 모델을 ...

Why Language Models Hallucinate? - Open AI & Georgia Tech 연구 팀 - 25.9.5. https://openai.com/ko-KR/index/why-language-models-hallucinate/ 저희가 LLM모델을 특히 금융에서 사용할 때 가장 주의해야할 점은 할루시네이션 현상일 것입니다. 사실이 아닌 일을 그럴듯하게 말하는 현상인데, 위 논문에서는 이러한 현상을 완벽히 줄일 수는 없다고 설명합니다. 저는 아는 만큼 보인다고 생각하는 사람으로써 할루시현상을 어쩔 수 없는 것으로 넘어가는 것을 넘어 왜 이러한 할루시현상이 일어나는지 알고 LLM 모델을 쓴다면 보다 LLM 활용도가 높아지지 않을까? 라는 생각으로 이 논문 내용을 공유하고자 합니다. 일단 할루시 현상이란 무엇을 말할까요? 언어 모델의 Hallucination이란 언어 모델이 불확실할 때 불확실성을 인정하기 보다는 추측하여 그럴듯하지만 틀린 진술을 생성하는 오류입니다. 이 오류가 생성되는 원인으로는 크게 Pre-training(사전 훈련) 영역과 Post-training(사후 훈련) 영역으로 나누어 설명하고 있는데 일단 구조적으로 통계 기반 모델이기 때문에 100% 정확성은 달성할 수 없다는 것 입니다. 통계 기반 모델이라 100% 정확성을 달성할 수 없다...? 이게 무슨 말일까요? 이걸 이해하기 위해서는 LLM이 단어 생성을 어떻게 하는 지에 대한 이해가 ...