BYD 자율주행 무료화 및 테슬라 주가 영향에 대한 생각

DeepSeek의 성능이나 기술을 인정하고, 기술 이외에 크게 2가지 이슈가 있습니다. $6M 밖에 되지 않는 V3 학습비용 진짜야? 이는 논문에 나와 있듯 '공식적인 학습 비용' 입니다. 물론 타 모델 대비 저렴하긴 하지만, 인프라, 인건비, 리서치 비용을 제외한 최종 1회 학습 비용이라면 납득이 갑니다. 여러번 이야기 드렸지만 리서치는 수많은 Trial and error가 필요합니다. 전체 개발에는 $6M 보다는 월등히 높은 비용이 사용 되었을 것으로 추정합니다. 그럼에도 불구하고 H800 2000장으로 학습했다는 것은 사실로 보입니다. H800의 낮은 메모리 대역을 극복하기 위해 어셈블리 언어부터 작성하여 GPU간 네트워킹을 효율화 하고 FP8 기반의 학습을 통해 메모리 사용을 75% 저감 했습니다. 대부분의 기술이 H800의 낮은 대역폭 극복을 위한 것으로 H800을 사용했다고 보는게 합리적입니다. DeepSeek v2에서 밝혔듯, DeepSeek은 MoE(Mixture of Expert) ...

DeepSeek-R1 출시는 chatGPT 만큼 큰 관심을 불러일으키고 있습니다. 어쩌면 정말로 큰 변화 일 수 있습니다. 다만 다수의 AI 연구자들은 이를 '당연한 일'로 받아들입니다. (이러한 생각차이는 투자 기회가 될 수도 있습니다.) 이들이 한 일은 o1을 효율적으로 재현하는 '엔지니어링' 입니다. 대체로 OpenAI 정형원 연구원의 MIT 강의에 나온 아이디어를 구현한 것이고, 언젠가 다른 기업들도 할 일입니다. o1과 같은 '프론티어' 모델이 없다면 Knowledge Distillation도 사용할 수 없습니다. 모든 분야가 그렇습니다만 (한국, 중국이 지난 수십년간 증명하였듯) 이미 누군가 이룬 것을 따라가는 과정에서 기술의 효율은 급격하게 상승합니다. 아래 명제에 대해 반박을 하는 AI 연구자는 한 명도 없을 겁니다. 알고리즘의 효율과 성능은 계속 계선되어 왔다. 인간의 편향이 적어질수록 모델의 성능은 향상된다. 컴퓨팅이 커질수록 모델의 성능은 좋아진다. 1, 2를 볼 때 DeepSeek은 지금까지 있었던 일과 다르지 않습니다. 그저 DeepSeek이 중국 기업이라는 점만 다릅니다. (이것이 불러올 정치적 리스크는 걱정이 됩니다.) 3이 계속 옳다면, 스케일링의 법칙은...

최근 linked in 에서 job posting을 보면서도 느꼈지만 미국 고용이 말도 안되게 강하게 나왔습니다. 최근 다시 연구개발로 직무를 바꾸고 싶은 생각에 전공 분야 이직처를 보았는데, 한국엔 어카운터 매니저 직무 말고는 채용이 크게 없었고, 연구개발 직군을 열심히 찾아보면 연봉이 지금 직장의 대비 크게 낮았습니다. (심지어 연봉은 공개하지 않는다.) 반면 미국은 연구개발쪽으로 정말 많은 채용이 있고 연봉도 미니멈 50% 높았습니다. 매니저 직군보다 연봉이 더 높다는게 인상적이었습니다. 여기서 제 전공이라 하면 시뮬레이션, ai 쪽인데요, 최근 수요의 폭발적인 증가가 체감됩니다. 사실 제가 졸업하던 21년만 하더라도 시뮬레이션은 좀... 뭐랄까 고리타분한 분야였습니다. 툴을 잘 써서 모델을 만들고 실험과 일치 시키고 뭐 이런..일이었달까요? (저 바퀴가 끝이 안남..) 입사 후 시뮬레이션 툴을 ai로 만드는 프로젝트를 추진하며 ai쪽으로 오게 되었는데, 지금 여러가지로 혁신이 일어나고 있습니다. Alphafold, GNoME 같이 연구 개발을 가속화 하거나 genesis, 혹은 이번에 나온 nvidia world foundation ...

24년 AI가 가장 크게 변화시킨 것은 무엇일까 생각해보면, 여러가지가 있지만, 인터넷의 유료화가 아닐까 생각 됩니다. 인터넷이 탄생한 이래로 우리는 통신비만 내면 자유롭게 인터넷을 쓸 수 있었습니다. 그 때문에 구글의 광고수입모델이 정착되기 까지 인터넷은 버블의 시대를 겪어야 했습니다. 즉, 사용자는 많지만 돈은 벌지 못했습니다. AI는 다릅니다. 많은 무료 서비스가 나오긴 했지만 "쓸만한" 서비스는 유료로 제공됩니다. 그리고 그 비용은 계속 높아집니다. B2C에서 기본적인 reasoning 모델 구독에 $20, 영상 생성을 위해서는 $200 수준이 필요합니다. OTT 시대에 넷플릭스와 유튜브가 광고 프리한 유료 컨텐츠 시대를 열었고, 그 영역이 인터넷 검색시장까지 확장되는 것으로 보입니다. 25년 아마도 GPT 무료 서비스 사용자는 많은 광고를 만나게 될 것입니다. B2B 대상 API 호출비용은 1000건당 $1 수준을 유지하고 있습니다. RAG를 더하면 비용은 최대 10배까지 증가할 수 있습니다. (검색, 랭킹 API 비용, 토큰 수 증가) B2B는 챗봇 이상의 정확도와 안전을 보장해야 하므로 RAG 기반으로 될 수 밖에 없습니다. 조금더 유용한 모델을 만드려면 ...