휴머노이드는 이미 도착한 미래

[추가] 인터넷 상에 DeepSeek측에서 V3 개발 시 OpenAI 4o를 카피했다는 이야기도 나오고 있습니다. 아래 참고로 넣어둔 OpenAI 정형원 연구원의 영상에 내용과 DeepSeek R1 개발 방식이 유사해서 그런것 같습니다. 개념만 듣고 구현한 것이면 능력이라고 불러야 할 거 같은데... 현재 미중 AI 패권 경쟁을 고려할 때, 실재 카피 유무를 떠나서 연구성과를 공개하는 것에 대한 제약이 늘어날 수 있겠다는 생각이 듭니다. Deepseek은 중국 스타트업으로 최근 LLM V3와 추론(Reasoning) 모델 R1을 공개했습니다. 4o를 기반으로 o1을 만들었듯, V3를 기반으로 R1을 만들었습니다. V3 ( 4o 비슷한 LLM 것) ->  R1 (o1 비슷한 것) 여기서 R1모델이 지금 큰 이슈입니다. o1 과 거의 동등한 수준의 추론모델을 오픈소스로 풀어버렸습니다. 개발비와 운영비는 기존 빅테크 대비 1/10 수준이라고 주장합니다. 이미 모델에 대한 검증이 상당부분 진행되었는데, 성능과 추론비용에 대해서는 이견이 없습니다. R1개발 단계에서 CoT(chain of thought) 추론 개발에 활용한 강화학습 기술에 대해서도 인정을 받고 있습니다. 다만 개발 비용에 대해서는 논란의 여지가 있습니다. <파란색이 R1, 회색이 o1입니다. 대부분의 벤치마크에서 o1과 동등한 성능을 보입니다.> 그동안 이어졌던 중국에 대한 GPU 수출규제, 천문학적인 빅테크 투자규모를 고려할 때 중국의 AI 도약은 공포를 불러 일으킵니다. Google 내부에서 나왔다는 'we have no moat' 문서가 떠오릅니다. <LLM 자체에는 해자가 없다는 내용> 그러나 여기서 우리가 간과하면 안되는 것이 DeepSeek는 거인의 어깨에 서서 이 모든 것을 이루었다는 사실입니다. DeepSeek는 기존 오픈소스 를 활용하고 미국 빅테크에서 사용한 다양한 테크닉들을 모방하여 초기 투자비용을 크게 줄일 수 있었습니다. 지금부터 논문을 보며 차근차근 설명해 보겠습니다. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning DeepSeek의 핵심은 기존 post-training에 이용하던 Supervised fine-tuning(SFT) 과정을 생략하고 Reinforcement learning(RL) 을 처음부터 쓴것입니다. post-training이란 비교적 적은 리소스를 이용하여 pre-trained 모델의 성능을 향상시키고 인간의 의도에 부합하는 행동을 하도록 유도하는 과정입니다. GPT-o1이후 이슈가 되고 있는 Resoning 역시 post-training에서 학습됩니다. 보통 Chain-of-thought (CoT)를 이용한다고 알려져 있습니다. CoT는 인간이 수학문제를 풀 때, 풀이과정을 작성하며 풀듯, LLM이 문제를 풀 때, 풀이과정을 적고 이를 지속적으로 검토하며 출력을 생성하여 보다 체계적으로 문제를 풀 수 있게 돕습니다. 지금까지는 CoT 학습을 위해 사람이 예시를 작성해야 했습니다. 사람이 작성한 답과 유사한 답을 생성하도록 학습 하였기 때문에 이 과정을, SFT, 즉 지도 미세 조정 이라고 불렀습니다. DeepSeek은 인간의 지도 없이 모델 스스로 답을 푸는 과정을 학습하도록 합니다. 이러한 과정을 일반적으로 RL, 강화학습이라고 부릅니다. 강화학습의 특징은 성과에 따라 보상(인센티브)이 주어지며 더 많은 보상을 받도록 학습된다는 것, 의사결정의 결과를 확인하기까지 시간지연이 있다는 것입니다. 문제 상황이 다양하고, 연속적인 의사결정(문제 ...

문라이트: https://blog.valley.town/@bspark/post/678b1dbdacaeecfd7dfb84fb 저는 오랫동안 비트코인 회의론자였습니다. 그러다 24년 말 포트폴리오 관리 차원에서 비트코인을 일부 매수 했고, 그 이유를 적어봅니다. 널리 알려진 스테이블 코인과 미국채간의 관계, 블랙마켓 등에 내용은 생략합니다. 조금은 SF 같은 상상이 가미되어 있습니다. 금융 지식이 부족하여 용어에 착오가 있을 수 있습니다. 0) 비트코인은 이미 제도권에 편입된 금융 상품으로 인정을 받은 상황이다. 미국 시장에 상장되었다는 점에서 하나의 상품으로 볼 수 있다고 생각 합니다. 이 부분에서 동의하지 않으면 아래 내용은 무의미합니다. 1) 금 채굴은 상당히 비효율적이다. 에드 콘웨이의 '물질의 세계' 에필로그를 보면 금 채굴이 얼마나 비효율적인 일인지 잘 설명하고 있습니다. 이에 비하면 비트코인 채굴을 위해 쓰는 전력은 매우 '친환경적'으로 보입니다. 금괴 한 덩이를 만들기 위해서 얼마나 많은 흙을 파헤쳐야 할까? 바릭골드 관계자들에게 물었더니 모르겠다고 대답했다. 그러나 나는 알고 있었다. 단 하루 작업에 이 트럭들이 엠파이어스테이트빌딩 무게의 바윗덩어리들을 운반한다는 사실을, 계산해보니, 골드바 표준 중량인 400트로이온스(약12.4kg) 하나를 만드려면 5,000톤의 흙을 파내야 했다. 이는 세계 최대...

Nvidia가 최근 CES2025에서 Cosmos, 혹은 World Foundation Model 이라는 거창한 AI모델을 발표했습니다. 언제나처럼 AI 관련해서는 '정확히 뭔지 모르겠는' 모델을 발표 하였는데요, 모델의 구조도 복잡하고 기능도 다양하여 한 번 정리해 보았습니다. (참고: https://arxiv.org/html/2501.03575v1) Nvidia에 따르면 Cosmos의 정의는 다음과 같습니다. NVIDIA Cosmos™ is a platform of state-of-the-art generative world foundation models (WFM), advanced tokenizers, guardrails, and an accelerated data processing and curation pipeline built to accelerate the development of physical AI systems such as autonomous vehicles (AVs)and robots. 설명이 조금 복잡하지만 짧게 쓰자면 Cosmos는 Physical AI를 위한 생성형 AI 기반의 학습 플렛폼, WFM은 physical AI를 위한 pre-trained model입니다. 위 설명을 이해하려면 두가지 배경지식이 필요합니다. 1) 원래 로봇 학습을 어떻게 하는지, 2) pre-trained model이 뭔지. 1) 기본적으로 여기서 말하는 로봇학습은 강화학습 입니다. 강화학습이란, 반복시행과 보상을 통해 행동 '정책'을 학습 시키는 것입니다. (강아지 '손' 이랑 비슷) 자세한 설명: link 직관적인 영상: https://youtu.be/fiQsmdwEGT8?si=rzz4vzcssKAlidke 2) pre-trained model은 말 그대로 사전학습 모델을 말합니다. GPT = generative pretrained transformer 에서 P가 사전학습되었다는 의미 입니다. 방대한 데이터로 시스템에 대한 이해는 충분히 시켜 놨는데, 아직 ...

최근 12월 퀀텀 하이프를 보며, 대형 기술주를 30%가량 매도하여서 연말 하락의 충격을 대비할 수 있었습니다. 이후 1분기 퀀텀 주 조정이 오면 기술주를 다시 매수하려고 계획하고 있었는데, 젠슨황 Nvidia CEO의 퀀텀 컴퓨팅 상용화 시기에 대한 실망스러운 발언으로 타임라인이 좀 당겨지게 되었습니다. (AISW 비중은 이미 충분히 높아서 HW 설계, 생산쪽 주식을 일부 매수 시작 하였습니다.) <Jenson: “If you kind of said 15 years for very useful quantum computers, that would probably be on the early side. If you said 30, it’s probably on the late side,” “If you picked 20, I think a whole bunch of us would believe it.”> 2025년은 퀀텀의 해가 될 거라는 이야기가 증권가를 가득 채울 때, 회의적이었던 이유에 대해 한 번 적어봅니다. 일단 퀀텀 컴퓨팅이 유용함을 인정 받으려면 다음 세가지 기술 혁신이 필요합니다. 유용한 알고리즘의 발견 양자애러 정정 양자 얽힘을 유지한 큐빗 확장 그리고 아직 어느 것 하나 재대로 구현되어 있지 않습니다. 퀀텀 알고리즘이 왜 중요할까? 흔히 퀀텀 컴퓨팅을 이용하면 '병렬연산'을 빠르게 수행할 수 있다고 이야기 하지만, 이건 사실이 아닙니다. 퀀텀 컴퓨팅은 여러 경우의 수 중 정답일 확률이 높은 연산을 한번만 수행한다고 이해하는게 편합니다. 쉽게말해 미로찾기를 한다고 치면, GPU는 여러명이 모든 갈림길을 동시에 가 보면서 출구를 찾는 방식이고, 퀀텀은 정답일 가능성이 높은 경로 하나만 찾는 방식입니다. 문제를 푸는 방식이 완전히 다르기 때문에 기존의 알고리즘을 사용할 수 없습니다. 사용할 수 있는 Logic(gate)들도 다릅니다. <고전 컴퓨터 Logic Gate> <퀀텀 컴퓨터 Logic Gate> 즉, 새로운 Logic을 이용하여 문제를 풀수 있는 알고리즘을 개발해야 하며, 그게 기존의 알고리즘 대비 이점이 있음이 확인 되어야 합니다. AI도 입력된 데이터를 원하는 출력으로 바꿔주는 알고리즘의 하나인데, 아직 퀀텀 이점이 밝혀지지 않았고, 경로 최적화, 시뮬레이션 등에서 알고리즘 연구가 활발하지만, 유용성이 높은 분야에서 명확한 이점(time complexity 측면에서)을 검증받은 ...

OpenAI o3 모델은 ARC-AGI 밴치마크에서 인간 이상의 점수를 획득했다. 이것은 무엇을 의미하는가? ARC-AGI는 인간에게는 쉽지만 AI가 해결하기 어려운 문제를 모와둔 벤치마크이고, 문제마다 규칙이 다르다. 이는 높은 추상화 능력을 바탕으로 처음 보는 게임의 규칙을 빠르게 파악하고 다음을 예측하는 것을 목적으로 한다. [대략 이런 문제들] 2020년만해도 AI의 정답율을 5%에 불가하였으나, o3는 87% 를 획득하여 85% 수준인 인간보다 뛰어난 점수를 얻었다. AI가 처음 보는 문제에 대해 인간보다 나은 패턴인식 능력을 보인다는 것이다. 즉 이제는 AI가 인간보다 더 높은 IQ, 더 뛰어난 직관을 보유하고 있다고 말할 수 있다. 진정으로 AGI의 시작이다. 이뿐만이 아니라 연구레벨의 수학문제를 다룰 수 있고, ...