중국에 대한 공포를 원하는 사람들

한동안 미국 증시 벨류에이션에 대해 부담을 느끼던 시장이 드디어 조정을 받았습니다. 핵심은 중국 ai의 부상과 미국 ai 과잉투자에 대한 우려로 보입니다. 최근 MS의 데이터센터 계약 취소와 테슬라의 차량 판매 감소가 큰 트리거가 되었고, 시장은 '드디어 올 것이 왔다.'는 반응입니다. 그러나, 이는 ai 사이클에서 일부 조정일 뿐 펀더먼탈의 훼손이 될 수 없습니다. 실상은 이렇습니다. AI는 기업 생산성을 높입니다. 특히 코드 생성에 있어서는 이미 널리 활용되고 있습니다. AI의 활용은 늘어나고 있으며 데이터센터 투자는 '증가' 하고 있습니다. 더 많은 국가와 기업이 데이터센터의 중요성을 인지하고 있으며, 투자를 준비중입니다. AI 에이전트 시장은 ...

deepseek, Tesla, Google 그리고 Nvidia 글에서 deepseek이후 Tesla에 대한 우려를 표한적이 있습니다. LLM을 직접적으로 이용한 것은 아니지만, BYD에서 $10k 이하의 차량에 자율주행을 무료로 제공하겠다는 뉴스가 나오면서 테슬라는 하루만에 5%, 고점대비 30% 하락 했습니다. 중국의 AI 역량에 대한 기대, 자율주행의 커머디티화에 대한 우려가 복합적으로 작용한 것으로 보입니다. 발표를 자세하게 뜯어보면, $100k 이상의 차량에는 lv3 이상의 자율주행을 탑제하는 것이고 $20k 이하의 저렴한 차량에 들어가는 것은 ...

근본적으로 중국의 우회 무역을 통한 관세 회피를 막는 것이 목적으로 보입니다. 동맹에 대한 광범위한 관세 정책은 미국에게도 큰 해가 됩니다. 캐나다와 멕시코가 대 중국 관세를 높이도록 유도하고, 글로벌 디커플링을 가속화 할 것으로 예상 됩니다.

DeepSeek의 성능이나 기술을 인정하고, 기술 이외에 크게 2가지 이슈가 있습니다. $6M 밖에 되지 않는 V3 학습비용 진짜야? 이는 논문에 나와 있듯 '공식적인 학습 비용' 입니다. 물론 타 모델 대비 저렴하긴 하지만, 인프라, 인건비, 리서치 비용을 제외한 최종 1회 학습 비용이라면 납득이 갑니다. 여러번 이야기 드렸지만 리서치는 수많은 Trial and error가 필요합니다. 전체 개발에는 $6M 보다는 월등히 높은 비용이 사용 되었을 것으로 추정합니다. 그럼에도 불구하고 H800 2000장으로 학습했다는 것은 사실로 보입니다. H800의 낮은 메모리 대역을 극복하기 위해 어셈블리 언어부터 작성하여 GPU간 네트워킹을 효율화 하고 FP8 기반의 학습을 통해 메모리 사용을 75% 저감 했습니다. 대부분의 기술이 H800의 낮은 대역폭 극복을 위한 것으로 H800을 사용했다고 보는게 합리적입니다. DeepSeek v2에서 밝혔듯, DeepSeek은 MoE(Mixture of Expert) ...

DeepSeek-R1 출시는 chatGPT 만큼 큰 관심을 불러일으키고 있습니다. 어쩌면 정말로 큰 변화 일 수 있습니다. 다만 다수의 AI 연구자들은 이를 '당연한 일'로 받아들입니다. (이러한 생각차이는 투자 기회가 될 수도 있습니다.) 이들이 한 일은 o1을 효율적으로 재현하는 '엔지니어링' 입니다. 대체로 OpenAI 정형원 연구원의 MIT 강의에 나온 아이디어를 구현한 것이고, 언젠가 다른 기업들도 할 일입니다. o1과 같은 '프론티어' 모델이 없다면 Knowledge Distillation도 사용할 수 없습니다. 모든 분야가 그렇습니다만 (한국, 중국이 지난 수십년간 증명하였듯) 이미 누군가 이룬 것을 따라가는 과정에서 기술의 효율은 급격하게 상승합니다. 아래 명제에 대해 반박을 하는 AI 연구자는 한 명도 없을 겁니다. 알고리즘의 효율과 성능은 계속 계선되어 왔다. 인간의 편향이 적어질수록 모델의 성능은 향상된다. 컴퓨팅이 커질수록 모델의 성능은 좋아진다. 1, 2를 볼 때 DeepSeek은 지금까지 있었던 일과 다르지 않습니다. 그저 DeepSeek이 중국 기업이라는 점만 다릅니다. (이것이 불러올 정치적 리스크는 걱정이 됩니다.) 3이 계속 옳다면, 스케일링의 법칙은...