하락의 트리거를 찾는 시장

deepseek, Tesla, Google 그리고 Nvidia 글에서 deepseek이후 Tesla에 대한 우려를 표한적이 있습니다. LLM을 직접적으로 이용한 것은 아니지만, BYD에서 $10k 이하의 차량에 자율주행을 무료로 제공하겠다는 뉴스가 나오면서 테슬라는 하루만에 5%, 고점대비 30% 하락 했습니다. 중국의 AI 역량에 대한 기대, 자율주행의 커머디티화에 대한 우려가 복합적으로 작용한 것으로 보입니다. 발표를 자세하게 뜯어보면, $100k 이상의 차량에는 lv3 이상의 자율주행을 탑제하는 것이고 $20k 이하의 저렴한 차량에 들어가는 것은 ...

근본적으로 중국의 우회 무역을 통한 관세 회피를 막는 것이 목적으로 보입니다. 동맹에 대한 광범위한 관세 정책은 미국에게도 큰 해가 됩니다. 캐나다와 멕시코가 대 중국 관세를 높이도록 유도하고, 글로벌 디커플링을 가속화 할 것으로 예상 됩니다.

DeepSeek의 성능이나 기술을 인정하고, 기술 이외에 크게 2가지 이슈가 있습니다. $6M 밖에 되지 않는 V3 학습비용 진짜야? 이는 논문에 나와 있듯 '공식적인 학습 비용' 입니다. 물론 타 모델 대비 저렴하긴 하지만, 인프라, 인건비, 리서치 비용을 제외한 최종 1회 학습 비용이라면 납득이 갑니다. 여러번 이야기 드렸지만 리서치는 수많은 Trial and error가 필요합니다. 전체 개발에는 $6M 보다는 월등히 높은 비용이 사용 되었을 것으로 추정합니다. 그럼에도 불구하고 H800 2000장으로 학습했다는 것은 사실로 보입니다. H800의 낮은 메모리 대역을 극복하기 위해 어셈블리 언어부터 작성하여 GPU간 네트워킹을 효율화 하고 FP8 기반의 학습을 통해 메모리 사용을 75% 저감 했습니다. 대부분의 기술이 H800의 낮은 대역폭 극복을 위한 것으로 H800을 사용했다고 보는게 합리적입니다. DeepSeek v2에서 밝혔듯, DeepSeek은 MoE(Mixture of Expert) ...

DeepSeek-R1 출시는 chatGPT 만큼 큰 관심을 불러일으키고 있습니다. 어쩌면 정말로 큰 변화 일 수 있습니다. 다만 다수의 AI 연구자들은 이를 '당연한 일'로 받아들입니다. (이러한 생각차이는 투자 기회가 될 수도 있습니다.) 이들이 한 일은 o1을 효율적으로 재현하는 '엔지니어링' 입니다. 대체로 OpenAI 정형원 연구원의 MIT 강의에 나온 아이디어를 구현한 것이고, 언젠가 다른 기업들도 할 일입니다. o1과 같은 '프론티어' 모델이 없다면 Knowledge Distillation도 사용할 수 없습니다. 모든 분야가 그렇습니다만 (한국, 중국이 지난 수십년간 증명하였듯) 이미 누군가 이룬 것을 따라가는 과정에서 기술의 효율은 급격하게 상승합니다. 아래 명제에 대해 반박을 하는 AI 연구자는 한 명도 없을 겁니다. 알고리즘의 효율과 성능은 계속 계선되어 왔다. 인간의 편향이 적어질수록 모델의 성능은 향상된다. 컴퓨팅이 커질수록 모델의 성능은 좋아진다. 1, 2를 볼 때 DeepSeek은 지금까지 있었던 일과 다르지 않습니다. 그저 DeepSeek이 중국 기업이라는 점만 다릅니다. (이것이 불러올 정치적 리스크는 걱정이 됩니다.) 3이 계속 옳다면, 스케일링의 법칙은...

최근 linked in 에서 job posting을 보면서도 느꼈지만 미국 고용이 말도 안되게 강하게 나왔습니다. 최근 다시 연구개발로 직무를 바꾸고 싶은 생각에 전공 분야 이직처를 보았는데, 한국엔 어카운터 매니저 직무 말고는 채용이 크게 없었고, 연구개발 직군을 열심히 찾아보면 연봉이 지금 직장의 대비 크게 낮았습니다. (심지어 연봉은 공개하지 않는다.) 반면 미국은 연구개발쪽으로 정말 많은 채용이 있고 연봉도 미니멈 50% 높았습니다. 매니저 직군보다 연봉이 더 높다는게 인상적이었습니다. 여기서 제 전공이라 하면 시뮬레이션, ai 쪽인데요, 최근 수요의 폭발적인 증가가 체감됩니다. 사실 제가 졸업하던 21년만 하더라도 시뮬레이션은 좀... 뭐랄까 고리타분한 분야였습니다. 툴을 잘 써서 모델을 만들고 실험과 일치 시키고 뭐 이런..일이었달까요? (저 바퀴가 끝이 안남..) 입사 후 시뮬레이션 툴을 ai로 만드는 프로젝트를 추진하며 ai쪽으로 오게 되었는데, 지금 여러가지로 혁신이 일어나고 있습니다. Alphafold, GNoME 같이 연구 개발을 가속화 하거나 genesis, 혹은 이번에 나온 nvidia world foundation ...