새로운 스케일링의 축 : 메모리

이번 CES2026에서 화제가 되고 있는 엔비디아 자율주행AI Alpamayo 논문 요약입니다. 상업용 사용이 가능한 오픈소스 모델입니다. 더 좋은 클로즈드 소스 모델이 있을 가능성이 높고, 파트너사는 이를 활용할 수 있을 것입니다. 인터넷 데이터로 pre-train한 VLM을 활용하여 학습 효율을 높였습니다. 테슬라 보다는 Xpeng 방식에 보다 가깝습니다. 약 8만 시간 주행 데이터로 학습된 만큼 커버리지가 넓지는 않을거라 생각 됩니다. 로보택시 보다는 ADAS(L2++)에 가까운 기능으로 이해하는 것이 좋아 보입니다. 글로벌 OEM 중 상당수가 테슬라 보다 엔비디아 라이센싱를 선호할 가능성이 높습니다. 자율주행 SW 구독 여부와 상관 없이 OEM은 엔비디아 HW를 디폴트로 설치해야 합니다. 원가 상승을 녹여내야 합니다. 엔비디아는 OEM 차량을 이용하여 데이터를 모으고 Alpamayo의 성능을 지속적으로 향상 시킵니다. 플릿을 늘리는 것 자체가 엔비디아의 경쟁력을 높이는 길이기 때문에 HW 마진을 상당부분 포기할 가능성이 높습니다. (GPM ~20%) 메르세데스, 랜드로버 같은 고가 차량보다 토요타 or 현대와 협력할 때 더 큰 파급력을 가질 것입니다. 자율주행 구독료는 OEM과 엔비디아가 쉐어하는 구조가 될 가능성이 높습니다. 다만 테슬라보다 저렴한 솔루션이 나오기는 쉽지 않습니다. 초록 (Abstract) 모방 학습을 기반으로 한 종단간(End-to-End) 자율 주행 모델은 모델과 데이터의 규모를 키우며 발전해 왔지만, 감독 신호가 부족하고 인과적 이해가 제한적인 안전 필수 롱테일(long-tail) 시나리오에서는 여전히 성능이 불안정합니다. 이를 해결하기 위해 본 논문에서는 인과 사슬(Chain of Causation, CoC) 추론과 궤적 계획을 통합한 시각-언어-행동 모델(VLA)인 Alpamayo-R1 (AR1)을 제안합니다. AR1의 핵심 혁신은 다음과 같습니다. CoC 데이터셋: 하이브리드 자동 라벨링과 인간 검증 파이프라인을 통해 구축되었으며, 주행 행동과 일치하는 의사 결정 기반의 인과적 추론 흔적을 생성합니다. 모듈형 아키텍처: 물리 AI용으로 사전 훈련된 Cosmos-Reason VLM 백본과 실시간 계획 생성을 위한 확산(diffusion) 기반 궤적 디코더를 결합했습니다. 다단계 훈련 전략: 지도 미세 조정(SFT)으로 추론을 학습시키고, 강화 학습(RL)을 통해 대규모 추론 모델의 피드백을 반영하여 추론 품질과 행동의 일관성을 최적화합니다. 평가 결과, AR1은 궤적 전용 베이스라인에 비해 까다로운 시나리오에서 계획 정확도를 12% 향상시켰으며, 시뮬레이션에서 오프로드 비율을 35%, 근접 사고 비율을 25% 감소시켰습니다. 또한 실차 테스트에서 99ms의 지연 시간으로 실시간 성능을 입증했습니다. 1. 서론 (Introduction) 자율 주행 시스템은 모듈식 아키텍처에서 종단간(E2E) 프레임워크로 전환되고 있으나, 기존 E2E 접근 방식은 고차원적인 추론이 필요한 롱테일 상황에서 취약점을 보입니다. 최근 LLM의 발전은 추론 시간(inference-time)에 '생각의 사슬(Chain of Thought)'을 생성하여 불확실한 상황에서 더 정확한 결정을 내릴 수 있는 ...

지난 몇달간 미국의 로봇 기업들을 탐방하였고, 빅테크 기업들과 로봇 AI 협력에 대한 논의를 진행하고 있었습니다. 그리고 최근 상하이를 방문하여 중국의 주요 로봇 기업들을 직접 만나고, 이들이 선보인 최신 휴머노이드 기술을 확인할 기회가 있었습니다. 한동안 AI 분야에서 중국의 약진이 눈에 띄었고, 미국이 AI 주도권을 잃는 것이 아닌가 걱정도 있습니다. 그러나 이는 지나친 우려입니다. 중국 로봇 기업들은 제어 및 생산 역량에서는 일정 수준 이상에 도달했지만, VLM이나 World Model 기반의 인지지능(Cognitive Intelligence) AI은 아직 확보하지 못하고 있습니다. 하드웨어 중심의 중국 로봇 산업 중국의 로봇 기업들은 대부분 하드웨어 제조 기반에서 출발했으며, 현재도 주로 특정 작업을 수행하기 위한 rule-based 또는 단순 AI(non-generative)에 의존하고 있습니다. 유일하게 AGIBOT이 자체 개발한 VLA 기반 로봇 Go-1을 공개했지만, 양손 그리퍼를 활용한 단순 제어 수준에 머무르고 있습니다. Unitree는 강화학습(RL)을 기반으로 한 4족 제어 기술에서 Boston Dynamics에 근접한 수준을 보였지만, 인지지능이나 고자유도 손 제어 역량은 아직 보이지 않았습니다. 기업별 AI 역량은 다음과 같습니다. <Agibot VLA Go-1은 아직 양손 그리퍼만 자율 제어 가능(하체는 바퀴)> <Figure VLA Helix 는 5지손 + 상체 자율 제어 가능> <Tesla Optimus AI는 전신을 자율적으로 움직일 수 있음> 이들은 모두 인지지능을 기반으로 매 순간 능동적으로 주변의 환경을 인식하고, 자신의 행동을 자율적으로 생성합니다. 반면 Unitree 나 Boston 는 인지지능 없이 운동지능(Visuomotor, Action expert, RL policy 등)만 확보하였으며, 인간이 입력한 명령에 따라 저장된 움직임을 안정적으로 수행하는 ...

지난번 보스턴 출장에 이어 다시 보스턴에 왔습니다. 고작 한달의 시간이 지났을 뿐인데 분위기가 많이 달라져 있었습니다. 지난달만 해도, 테슬라나 피규어를 허풍으로 취급하는 사람들이 있었지만 이제는 그런 사람을 찾아볼 수 없습니다. (여전히 휴머노이드 상용화를 5년 뒤로 생각하면 짐싸서 집에 가야 합니다.) Vla는 로봇 ai에 있어 gpt모먼트를 가져 왔습니다. 지난 30년간의 mpc, 지난 10년간의 rl policy의 진전은 1)로봇 데이터의 확대, 2)vlm기반의 인지 ai 발전, 3)dit 기반의 행동ai와의 결합을 통해 한순간에 따라 잡혔습니다. 로봇 기업들은 대량 양산을 위한 hw 설계를 진행 중이고 ai기업들을 빠르게 파트너를 찾고 있습니다. 이들은 제조 노동을 대체 할 수 있을 수준으로 제품을 개발 중입니다. 완성도는 조금 떨어질지 모르나 올 연말이면 오픈소스 vla기반의 휴머노이드가 우후죽순 나올 것으로 보입니다. AI와 로봇의 발전은 우리 인식의 전환보다 빨라서, 눈으로 보고도 믿기가 어렵습니다. 캘리포니아에서는 로보택시가 더이상 놀랍지 않습니다. 곧 텍사스도 그렇게 될 것입니다. 테슬라 프리몬트 공장에는 이미 1000대 이상의 옵티머스가 돌아다닙니다. 미국과 중국의 많은 공장에서 poc가 진행 중입니다. 미래는 이미 도착해 있습니다.

Tesla, FigureAI, Agibot, Boston Dynamics 모두 빠르면 25년, 늦어도 29년 내 휴머노이드 대량생산을 시작합니다. Tesla는 25년 내 5000대 (최소 1000대, 최대 1만2000대) 제조를 준비 중입니다. 지난 4월 23일 X에 공개한 이미지를 보면, 대량생산에 적합하게 구조를 수정한 모델(Gen3 추정)의 테스트 생산이 진행 중입니다. 이번 출장에서 휴머노이드 분야의 많은 전문가들과 미팅을 진행하였고, 일부는 현재 상황을 Hype로 받아들이고 있었으나, Tesla가 압도적으로 앞서나가고 있음을 부정하는 이는 아무도 없었습니다. 데이터와 컴퓨팅에서 다른 모든기업을 합친 것보다 많은 규모를 확보 하였으며, 이미 100대가 넘는 휴머노이드를 보유한 것으로 예상됩니다. FigureAI에 대해서는 논란이 많이 있습니다만, Physical Intelligence PI-zero, Nvidia Gr00t N1, Agibot Go-1 등 공개된 SOTA 로봇 AI와 유사한 수준의 AI 기술을 확보한 것은 분명해 ...

[추가] 인터넷 상에 DeepSeek측에서 V3 개발 시 OpenAI 4o를 카피했다는 이야기도 나오고 있습니다. 아래 참고로 넣어둔 OpenAI 정형원 연구원의 영상에 내용과 DeepSeek R1 개발 방식이 유사해서 그런것 같습니다. 개념만 듣고 구현한 것이면 능력이라고 불러야 할 거 같은데... 현재 미중 AI 패권 경쟁을 고려할 때, 실재 카피 유무를 떠나서 연구성과를 공개하는 것에 대한 제약이 늘어날 수 있겠다는 생각이 듭니다. Deepseek은 중국 스타트업으로 최근 LLM V3와 추론(Reasoning) 모델 R1을 공개했습니다. 4o를 기반으로 o1을 만들었듯, V3를 기반으로 R1을 만들었습니다. V3 ( 4o 비슷한 LLM 것) ->  R1 (o1 비슷한 것) 여기서 R1모델이 지금 큰 이슈입니다. o1 과 거의 동등한 수준의 추론모델을 오픈소스로 풀어버렸습니다. 개발비와 운영비는 기존 빅테크 대비 1/10 수준이라고 주장합니다. 이미 모델에 대한 검증이 상당부분 진행되었는데, 성능과 추론비용에 대해서는 이견이 없습니다. R1개발 단계에서 CoT(chain of thought) 추론 개발에 활용한 강화학습 기술에 대해서도 인정을 받고 있습니다. 다만 개발 비용에 대해서는 논란의 여지가 있습니다. <파란색이 R1, 회색이 o1입니다. 대부분의 벤치마크에서 o1과 동등한 성능을 보입니다.> 그동안 이어졌던 중국에 대한 GPU 수출규제, 천문학적인 빅테크 투자규모를 고려할 때 중국의 AI 도약은 공포를 불러 일으킵니다. Google 내부에서 나왔다는 'we have no moat' 문서가 떠오릅니다. <LLM 자체에는 해자가 없다는 내용> 그러나 여기서 우리가 간과하면 안되는 것이 DeepSeek는 거인의 어깨에 서서 이 모든 것을 이루었다는 사실입니다. DeepSeek는 기존 오픈소스 를 활용하고 미국 빅테크에서 사용한 다양한 테크닉들을 모방하여 초기 투자비용을 크게 줄일 수 있었습니다. 지금부터 논문을 보며 차근차근 설명해 보겠습니다. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning DeepSeek의 핵심은 기존 post-training에 이용하던 Supervised fine-tuning(SFT) 과정을 생략하고 Reinforcement learning(RL) 을 처음부터 쓴것입니다. post-training이란 비교적 적은 리소스를 이용하여 pre-trained 모델의 성능을 향상시키고 인간의 의도에 부합하는 행동을 하도록 유도하는 과정입니다. GPT-o1이후 이슈가 되고 있는 Resoning 역시 post-training에서 학습됩니다. 보통 Chain-of-thought (CoT)를 이용한다고 알려져 있습니다. CoT는 인간이 수학문제를 풀 때, 풀이과정을 작성하며 풀듯, LLM이 문제를 풀 때, 풀이과정을 적고 이를 지속적으로 검토하며 출력을 생성하여 보다 체계적으로 문제를 풀 수 있게 돕습니다. 지금까지는 CoT 학습을 위해 사람이 예시를 작성해야 했습니다. 사람이 작성한 답과 유사한 답을 생성하도록 학습 하였기 때문에 이 과정을, SFT, 즉 지도 미세 조정 이라고 불렀습니다. DeepSeek은 인간의 지도 없이 모델 스스로 답을 푸는 과정을 학습하도록 합니다. 이러한 과정을 일반적으로 RL, 강화학습이라고 부릅니다. 강화학습의 특징은 성과에 따라 보상(인센티브)이 주어지며 더 많은 보상을 받도록 학습된다는 것, 의사결정의 결과를 확인하기까지 시간지연이 있다는 것입니다. 문제 상황이 다양하고, 연속적인 의사결정(문제 ...