로그인 Valley AI 시작하기시작하기

Valley Space인기

Byte latent transformer를 보며

Deep Dive Tech 생각

Byte latent transformer를 보며

BSPK

2025.01.05조회수 5회

최근 open ai와 구글에서 경쟁적으로 서비스를 론칭하는 동안 메타는 몇가지 흥미로운 연구를 발표하였다.

Byte latent transformer

https://ai.meta.com/research/publications/byte-latent-transformer-patches-scale-better-than-tokens/

Large concept model

https://ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-repre...

회원가입만 해도
이 글을 무료로 읽을 수 있어요.

이미 계정이 있으신가요?로그인하기

댓글 0개

BSPK

구독자 427명구독중 9명

전자전기공학 박사, AI 연구자를 거쳐 전략기획 업무를 합니다. 기술의 발전이 가져올 세상의 변화를 먼저 포착하고 전달하고자 합니다.

아직 작성된 댓글이 없습니다.

생각 카테고리의 다른글

25년 목표

미래를 위해 3가지 능력을 키우고자 한다. 영어 투자 커뮤니케이션 대부분의 데이터는 영어다. 가장 빠르게 성장하는 국가는 미국이다. 한국에서 일하든 이민을 가든 앞으로 영어는 더 많이 쓰일거라 생각된다. 비지니스 계약이 가능한 수준으로 실력을 키워야 한다. AI가 대체하지 못하는 직업이 뭐가 있을까 싶지만, 자산의 소유는 사람이 한다. 내 자산이 무엇이냐가 매우 중요해진다. 데이터의 분석, 제품의 개발은 자동화 될 수 있다. 그러나 비지니스는 자동화 되지 않는다. AI를 상대한다고 하더라도 설득이 중요하다. 설득은 윈윈 할 수 있는 가치를 발견하는 것이고, 이것을 할 수 있는 사람은 정말로 소수다.

Data is all you need.

데이터, 알고리즘, 컴퓨팅 Agentic AI 의 시대에 해자는 무엇일까? 내 경험과 지식 안에서 가장 중요한 것은 저렴한 컴퓨팅이다. 그러나 에너지의 가격은 국가 안보 차원의 문제다. 미국 내에서 기업별 격차가 크게 발생할 수 없다. (그리고 저렴한 에너지가 중요하기 때문에 에너지 기업 투자가 꺼려진다.) 알고리즘은 매우 중요하지만 새로 나온 알고리즘은 6개월 정도의 시차를 두고 모든 기업으로 퍼진다. 훌륭한 탤런트는 기술 장벽을 없앤다. 결국 데이터가 문제다. 공개 데이터는 이미 소진 되었고 서비스 차별화를 위해서는 고품질의 데이터(프로 레벨)와 ...

Pre-training as we know it will unquestionably end

https://youtu.be/1yvBqasHLZs?si=a8w5IVHfcnAI_Uqy 최근 NIPS에서 Ilya Sutskever의 스피치가 있었다. 매년 NIPS에서는 10년 전 NIPS에 나왔던 논문 중에 현재까지 좋은 영향을 미치고 있는 논문을 선정해서 상을 주는데(상 이름은 까먹음) transformer의 전신이 되었던 Seq-to-Seq이 받았다. Sutskever는 해당 논문의 저자로 수상과 함께 위의 스피치를 했다. 긴 이야기를 했지만 짧게 줄이자면 "기존의 Scaling Law는 끝났다" Scaling Law라 하면 모델의 크기, 학습 데이터, 학습 컴퓨팅이 지수적으로 증가하면, 모델의 성능은 선형적으로 증가한다는 것이다. 그런데 데이터가 더이상 없다. We have to deal with the data that we have. There’s only one internet. 이미 올 초 GPT-5 출시가 연기되는 시점부터 Scaling Law는 ...

생각보다 빠른 변화

https://blog.valley.town/@bspark/post/6739844ba3e677d09e98a4fc 에서 언급하였듯, 25년은 AI 에이전트의 시대가 될 것이다. 어디에 투자를 할까 고민하면서 아래와 같이 적었는데, Google이 management와 Engineer 모두 감원 중이다. 이미 신규작성 코드의 25%가 AI에 의해 작성되고 있다고 한다. (추후 인터뷰에서 AI가 전부 작성하는 것이 아니라 AI를 한 번 거친 코드가 25%로 정정) 검색광고 시장에 큰 타격과 AI 수직계열 완성 중 어느것이 더 파급력이 클지 모르겠다. 그렇지만 C 레벨에서 기술에 대한 이해를 바탕으로 정확한 비지니스 의사결정이 되고 있는 것이 놀랍다. 미국의 기술기업이 가지는 가장 큰 해자는 '탤런트' 아닐까? 아마존의 경우 많은 가능성을 지니고 있음에도 기존 사업을 크게 뜯어 고치지 못했다. 여전히 에코는 LLM과 통합이 되지 않았고, 쇼핑용 AI도 개발하지 못했다. (오히려 AI 서치 기업들이 쇼핑 광고시장을 노리고 진입 중이다.) 애플과 협업을 ...

노동 수출

2000년 이후 미국은 os 와 social media를 이용하여 sw platform을 수출했다. 전 세계가 데이터 전송을 위해 미국에 통행료를 내었다. 다른 나라들은 설비 투자가 필요한 사이클 사업을 하는 동안 미국만 홀로 성장했다. 2025년 미국은 ai agent와 로봇을 통해 노동을 수출한다. 무한히 복제 가능한 노동자를 저렴하게 공급한다. 이제 인건비도 모두 미국으로 간다. 일부 고숙련 노동의 경우 대체가 늦겠지만 중국이 있다. 남은 산업은 뭐가 있을까? 원자재, 부동산, 관광... roi가 급격히 낮아진다.

Pre-training as we know it will unquestionably end

생각보다 빠른 변화