[Deep Dive Tech] 비트코인에 대한 SF적 상상

Nvidia가 최근 CES2025에서 Cosmos, 혹은 World Foundation Model 이라는 거창한 AI모델을 발표했습니다. 언제나처럼 AI 관련해서는 '정확히 뭔지 모르겠는' 모델을 발표 하였는데요, 모델의 구조도 복잡하고 기능도 다양하여 한 번 정리해 보았습니다. (참고: https://arxiv.org/html/2501.03575v1) Nvidia에 따르면 Cosmos의 정의는 다음과 같습니다. NVIDIA Cosmos™ is a platform of state-of-the-art generative world foundation models (WFM), advanced tokenizers, guardrails, and an accelerated data processing and curation pipeline built to accelerate the development of physical AI systems such as autonomous vehicles (AVs)and robots. 설명이 조금 복잡하지만 짧게 쓰자면 Cosmos는 Physical AI를 위한 생성형 AI 기반의 학습 플렛폼, WFM은 physical AI를 위한 pre-trained model입니다. 위 설명을 이해하려면 두가지 배경지식이 필요합니다. 1) 원래 로봇 학습을 어떻게 하는지, 2) pre-trained model이 뭔지. 1) 기본적으로 여기서 말하는 로봇학습은 강화학습 입니다. 강화학습이란, 반복시행과 보상을 통해 행동 '정책'을 학습 시키는 것입니다. (강아지 '손' 이랑 비슷) 자세한 설명: link 직관적인 영상: https://youtu.be/fiQsmdwEGT8?si=rzz4vzcssKAlidke 2) pre-trained model은 말 그대로 사전학습 모델을 말합니다. GPT = generative pretrained transformer 에서 P가 사전학습되었다는 의미 입니다. 방대한 데이터로 시스템에 대한 이해는 충분히 시켜 놨는데, 아직 ...

최근 12월 퀀텀 하이프를 보며, 대형 기술주를 30%가량 매도하여서 연말 하락의 충격을 대비할 수 있었습니다. 이후 1분기 퀀텀 주 조정이 오면 기술주를 다시 매수하려고 계획하고 있었는데, 젠슨황 Nvidia CEO의 퀀텀 컴퓨팅 상용화 시기에 대한 실망스러운 발언으로 타임라인이 좀 당겨지게 되었습니다. (AISW 비중은 이미 충분히 높아서 HW 설계, 생산쪽 주식을 일부 매수 시작 하였습니다.) <Jenson: “If you kind of said 15 years for very useful quantum computers, that would probably be on the early side. If you said 30, it’s probably on the late side,” “If you picked 20, I think a whole bunch of us would believe it.”> 2025년은 퀀텀의 해가 될 거라는 이야기가 증권가를 가득 채울 때, 회의적이었던 이유에 대해 한 번 적어봅니다. 일단 퀀텀 컴퓨팅이 유용함을 인정 받으려면 다음 세가지 기술 혁신이 필요합니다. 유용한 알고리즘의 발견 양자애러 정정 양자 얽힘을 유지한 큐빗 확장 그리고 아직 어느 것 하나 재대로 구현되어 있지 않습니다. 퀀텀 알고리즘이 왜 중요할까? 흔히 퀀텀 컴퓨팅을 이용하면 '병렬연산'을 빠르게 수행할 수 있다고 이야기 하지만, 이건 사실이 아닙니다. 퀀텀 컴퓨팅은 여러 경우의 수 중 정답일 확률이 높은 연산을 한번만 수행한다고 이해하는게 편합니다. 쉽게말해 미로찾기를 한다고 치면, GPU는 여러명이 모든 갈림길을 동시에 가 보면서 출구를 찾는 방식이고, 퀀텀은 정답일 가능성이 높은 경로 하나만 찾는 방식입니다. 문제를 푸는 방식이 완전히 다르기 때문에 기존의 알고리즘을 사용할 수 없습니다. 사용할 수 있는 Logic(gate)들도 다릅니다. <고전 컴퓨터 Logic Gate> <퀀텀 컴퓨터 Logic Gate> 즉, 새로운 Logic을 이용하여 문제를 풀수 있는 알고리즘을 개발해야 하며, 그게 기존의 알고리즘 대비 이점이 있음이 확인 되어야 합니다. AI도 입력된 데이터를 원하는 출력으로 바꿔주는 알고리즘의 하나인데, 아직 퀀텀 이점이 밝혀지지 않았고, 경로 최적화, 시뮬레이션 등에서 알고리즘 연구가 활발하지만, 유용성이 높은 분야에서 명확한 이점(time complexity 측면에서)을 검증받은 ...

OpenAI o3 모델은 ARC-AGI 밴치마크에서 인간 이상의 점수를 획득했다. 이것은 무엇을 의미하는가? ARC-AGI는 인간에게는 쉽지만 AI가 해결하기 어려운 문제를 모와둔 벤치마크이고, 문제마다 규칙이 다르다. 이는 높은 추상화 능력을 바탕으로 처음 보는 게임의 규칙을 빠르게 파악하고 다음을 예측하는 것을 목적으로 한다. [대략 이런 문제들] 2020년만해도 AI의 정답율을 5%에 불가하였으나, o3는 87% 를 획득하여 85% 수준인 인간보다 뛰어난 점수를 얻었다. AI가 처음 보는 문제에 대해 인간보다 나은 패턴인식 능력을 보인다는 것이다. 즉 이제는 AI가 인간보다 더 높은 IQ, 더 뛰어난 직관을 보유하고 있다고 말할 수 있다. 진정으로 AGI의 시작이다. 이뿐만이 아니라 연구레벨의 수학문제를 다룰 수 있고, ...

핵심 내용 요약 본 문서의 핵심은 AI에 급격한 발전과 파급에 대해 사회적 인식과 준비가 미비함을 알리고 경고하는 것에 있습니다. 해당 문서에서 AGI는 대학 졸업생과 유사한 수준의 인공지능을, Superintelligence는 인간의 모든 지적 능력을 초월하여 인간이 이해하거나 통제하기 어려운 수준의 인공지능을 의미 AI 기술 전망 문제에 있어 저자의 발언이 파급력을 가지는 이유를 설명하고자 약력을 추가합니다. AI 기술의 현황 및 향후 2~3년간 전망에 대한 프레임워크를 다루는 Chapter1이 가장 중요합니다. Chapter 2 이후는 AI가 인간의 지적 능력을 초월한 시점에서 발생할 문제를 다룹니다. 따라서 본 요약자료는 Chapter1 위주로 작성되었습니다. 특히, OOMs과 Unhobbling 개념이 중요합니다. 저자 약력 레오폴드 애쉔브레너(Leopold Aschenbrenner)는 통계, 수리, 경제학 전공으로 21년 19세에 콜롬비아 대학을 수석졸업하고, 23년까지 옥스퍼드 대학교의 글로벌 프라이어리티 연구소(Global Priorities Institute)에서 장기 경제 성장에 대한 연구를 수행하였습니다. 이후 OpenAI의 핵심 맴버인 일리아 슈츠케버(Ilya Sutskever)가 이끌고 있던 초정렬(Superalignment) 팀에 입사하고 약 1년간 근무하며 Superintelligence(초지능)AI가 인간의 가치와 목표에 부합하도록 동작하도록 보장하는 연구를 수행하였습니다. 주요 기여로 약한 감독(weak supervision)을 통해 강력한 AI 모델을 제어하는 방법론인 약-강 정렬(Weak-to-Strong Generalization) 접근법이 있습니다. 간단하게 설명해서 초지능의 입장에서 인간은 '부족한 관리자' 입니다. 부족한 관리자의 지도는 초지능의 성능을 하락 시키거나 인간의 의도와 다른 행동을 유발하게 됩니다. 애쉔브레너는 Bootstrapping이라는 통계학 기법을 바탕으로 강력한 generalization 을 이용하여 모델이 인간의 의도대로 행동하게 유도 하였습니다. 이후 OpenAI의 보안 조치가 "심각하게 불충분하다"고 판단하고, 모델 가중치나 알고리즘 비밀이 외부 행위자(특히 중국 정부와 연관된 조직)에게 도난당할 위험성을 경고하는 메모를 작성하여 몇몇 동료와 외부 연구자들에게 공유 하였습니다. 해당 사유로 24년 4월 해고 됩니다. (5월 Superalignment 팀 해산, 팀 리더인 Ilya Sutskever와 Jan Leike 퇴사) 24년 6월 인공지능(AI)의 연구의 최전선에서 지켜본 경험을 바탕으로 향후 10년간 인공지능의 급격한 발전, 특히 범용 인공지능(AGI) 및 초지능으로의 전환이 임박하였고 AGI를 둘러싼 기술적, 경제적, 지정학적 영향을 예측한 "Situational Awareness: the decade ahead" 를 공개 하였습니다. 공식적으로 초정렬팀 리더였던 Ilya Sutskever에게 헌정된 문서입니다. Situational Awareness: the decade ahead 내용 요약 지난 1년 동안, AI 개발 경쟁은 급격히 가속화되며 100억 달러 규모의 컴퓨팅 클러스터에서 조 단위 클러스터로 확장되고 있습니다. 기업들은 10년간 사용할 전력 계약과 변압기를 확보하기 위해 치열하게 경쟁하고 있으며, 미국 산업은 전례 없는 수준의 동원 태세를 갖추고 있습니다. 이로 인해 미국의 전력 생산은 수십 퍼센트 증가할 것이며, 수백만 개의 GPU가 가동될 예정입니다. AGI(범용 인공지능) 경쟁이 본격적으로 시작되었습니다. 2025~2026년에는 기계가 대학 졸업생을 능가하는 지능을 갖게 되고, 10년이 끝날 무렵에는 인간을 초월한 초지능에 도달할 것입니다. 이 과정에서 국가 안보와 관련된 대규모 프로젝트가 시작될 가능성이 높으며, 운이 좋으면 중국과의 경쟁이 될 것이지만, 운이 나쁘면 전쟁으로 이어질 수도 있습니다. 현재 많은 사람들이 AI에 대해 이야기하고 있지만, 대부분은 그 파급력을 제대로 이해하지 못하고 있습니다. 일부 전문가들은 여전히 AI를 단순한 "다음 단어 예측" 정도로 간주하거나 기존 인터넷 기술 수준의 변화로만 인식하고 있습니다. 그러나 소수의 사람들(주로 샌프란시스코와 AI 연구소에 있는 수백 명)은 이러한 상황을 정확히 파악하고 있으며, 과거 AI 발전을 예측했던 이들입니다. 이들이 향후 몇 년간의 변화를 얼마나 정확히 예측할지는 미지수지만, 그들은 역사적인 인물들(예: 실라드, 오펜하이머)과 비교될 만큼 중요한 역할을 할 가능성이 있습니다. AGI, Superintelligence 개발을 맨하튼 프로젝트에 비견할 만한 파급력을 지닐 것이며, 국가 패권의 핵심이 될 것입니다. 1. From GPT-4 to AGI: Counting the OOMs 1-1 OOMs 저자는 지수적 성능 증가를 의미하는 Order of Magnitudes (OOMs) 개념을 이용하여 GPT-4에서 AGI 수준의 AI도달까지 2~3년내 도달 가능함을 주장합니다. OOD 1증가 = 성능 10배 향상 현 상황(GPT-4 ~=...

[개요] 알파폴드 3(AlphaFold 3)에 대한 논문은 2024년 5월 국제 학술지 네이처(Nature)에 게재되었으며, 이 모델은 생명체의 거의 모든 생체분자의 구조와 상호작용을 예측하는 데 탁월한 성능을 보입니다. 알파폴드 2에서 크게 발전한 이 모델은 단백질뿐만 아니라 DNA, RNA, 리간드와 같은 다양한 생체분자의 구조를 예측할 수 있으며, 이들 간의 상호작용도 모델링할 수 있습니다. 특히 분자 간 상호작용 예측에서 기존 방법 대비 최소 50% 이상의 정확도를 달성하였고, 일부 중요한 상호작용에서는 정확도가 두 배로 향상되었습니다. 알파폴드 3는 신약 개발과 질병 치료 연구에 중요한 도구로 자리 잡고 있습니다. 특히 단백질과 약물 후보 물질(리간드)의 결합을 정확하게 예측하여 신약 설계 과정을 가속화할 수 있습니다. 또한 항체-항원 상호작용과 같은 면역 반응 연구에도 활용될 수 있어, 암 치료제나 백신 개발에도 기여할 것으로 기대됩니다. 리간드는 생체분자와 결합하여 특정 기능을 수행하는 물질을 말합니다. 주로 단백질, DNA, RNA 등과 결합하여 신호를 전달하거나 생리적 반응을 유도합니다. 알파폴드 3는 기존 알파폴드 2의 Evoformer 모듈을 개선하고, AI 이미지 생성기에서 사용하는 확산 네트워크(diffusion network)를 적용하여 입력된 분자의 원자 좌표를 점진적으로 정확한 구조로 변환합니다. 이 과정은 원자 구름에서 시작해 여러 단계를 거쳐 최종적으로 가장 정확한 분자 구조로 수렴하는 방식입니다. [모델구조] 알파폴드 3(AlphaFold 3)의 구조는 입력 준비(Input Preparation), 표현 학습(Representation Learning), 그리고 구조 예측(Structure Prediction)의 세 가지 주요 단계로 나눌 수 있습니다. 1. 입력 준비 (Input Preparation) 입력 준비 단계에서 Input Embedder는 모델에서 입력된 분자 데이터를 처리하여 모델이 이해할 수 있는 수치적 표현으로 변환하는 중요한 역할을 합니다. 이 과정은 모델이 분자의 구조와 상호작용을 정확하게 예측할 수 있도록 준비하는 첫 번째 단계입니다. Input Embedder의 주요 역할 분자 정보 임베딩: Input Embedder는 단백질, 핵산(DNA, RNA), 리간드(작은 분자)와 같은 다양한 생체분자의 서열 정보를 받아들여 이를 수치적 텐서로 변환합니다. 이때 각 구성 요소는 다음과 같은 방식으로 처리됩니다: 단백질: 아미노산 단위로 임베딩 핵산(DNA/RNA): 뉴클레오타이드 단위로 임베딩 리간드: 원자 단위로 임베딩 이러한 방식으로 각 분자의 구성 요소가 고유한 벡터로 표현되며, 이를 통해 모델은 다양한 분자의 구조적 특징을 학습할 수 있습니다. 구조적 정보 처리: Input Embedder는 단순히 서열 정보를 수치화하는 것뿐만 아니라, 화학적 구조 정보도 함께 처리합니다. 예를 들어, 원자 간의 결합이나 분자의 3차원적인 배열과 같은 정보도 포함됩니다. 이를 통해 모델은 각 원자나 분자 단위가 어떻게 상호작용하는지 더 잘 이해할 수 있습니다. Attention 메커니즘 적용: Input Embedder는 입력된 데이터를 처리할 때 어텐션 메커니즘을 사용하여 각 원자나 분자 간의 상호작용에 주목합니다. 이를 통해 중요한 분자 간 관계를 포착하고, 이후 단계에서 더 정확한 예측을 할 수 있도록 돕습니다. dSingle 및 Pair Representation 생성: Input Embedder는 입력된 데이터를 기반으로 두 가지 주요 표현을 생성합니다: Single Representation: 개별 아미노산, 뉴클레오타이드 또는 원자에 대한 정보를 담고 있습니다. Pair Representation: 두 개의 아미노산 또는 원자 간의 관계를 나타내며, 이후 단계에서 상호작용을 예측하는 데 중요한 역할을 합니다. 이러한 표현들은 이후 단계에서 구조 예측에 사용되며, 특히 Pair Representation은 분자 간의 복잡한 상호작용을 모델링하는 데 필수적입니다. 결론적으로, Input Embedder는 알파폴드 3에서 입력된 생체분자를 모델이 이해할 수 있는 형태로 변환하고, 중요한 구조적 및 상호작용 정보를 추출하여 이후 단계에서 정확한 예측이 가능하도록 돕는 핵심 구성 요소입니다. 2. 표현 학습 (Representation Learning) Representation Learning은 알파폴드 3에서 입력된 분자의 서열 및 구조 정보를 더 높은 ...