[독서] 김대식의 <AGI, 천사인가 악마인가> + 반도체, 에너지 매력
[생각]
GPT 모델이 비효율적인 모델이고, 서버 비용이 엄청나게 든다라는 점을 보면, 다른 더 효율적인 알고리즘이 등장하면 오픈 AI 주도의 투자 사이클이 붕괴될 수도 있을 것 같다. "Attention is All You Need" 논문 제목이 정말 깔쌈하지만, 언어의 의미를 집중스코어로 정의하는 게 적절할까?
나는 AGI를 알고리즘 개선으로 만드는 건가?했는데, 스케일만 키우면 자아가 생기는 거였구나! 현재 스케일 키울 방법은 GPU 때려넣는 것 밖에 없다. 다른 효과적인 알고리즘이나 다른 효과적인 프로세서가 나오지 않는 한, 엔비디아는 성장하겠구나. 구글의 TPU가 판을 엎을 수 있을까? 누가 만들든 삼성, 하닉, 마이크론은 필요하겠지.
요즘 시간이 달려가는 것처럼 느낀 이유가 뇌가 노화돼서 였구나...ㅜ ㅜ ㅜ ㅜ ㅜ ㅜ ㅜ 몰입하는 시간이 중요하다.
인간 vs. AI 경쟁에서 살아남는 유일한 방법은 역시 자본인 것 같다. AI가 자본을 소유하지 않는 한. (AI가 페이퍼 컴퍼니 세우고, 암호화폐 쌓아놓고, 사람 고용해서 부동산도 사고 하면 가능할 수도?)
인간 vs. 인간의, 인간 vs. AI의 경쟁에서 공통적으로 중요한건 자원인 것 같다. 인간도 AGI도 에너지, 소재 등을 필요로 하니까.
투자 관점에서 생각하면.. AGI 개발은 멈출 수 없으니 GPU 수요 유효하고, 브로드컴 3D 반도체 매력적이고, 에너지(LNG, SMR, 원전 등) 투자도 유효하고, 로봇은 1등 누굴지 잘 모르겠고, 엔터 관련 기업은 좀 더 나중에 관심을 가지면 좋을 것 같다.
[해볼 것 ]
오픈AI의 딥 리서치 써보기. PDF 파일 주고 요약하고, 모르는 내용 새롭게 찾아내기.
바이블 코딩 해보기. (러버블 AI, 볼트 AI 써보기)
[생성형 AI 출현]
효과적 가속주의(AGI의 장기적 혜택이 너무 크기 때문에 단기적 문제에 집중하면 안된다)와 효과적 이타주의(AI 혜택은 동의하나 AI 안전도 고민해야) 모두 인공지능 시대에는 기술을 지배하는 자가 사회, 정치도 지배해야 한다는 기술봉건주의를 믿는다.
매컬로, 인간의 신경세포를 연결하면 논리 연산이 가능하다는 것을 발견함.
퍼셉트롭 : 세상을 알아보는 기계. MLP(멀티 레이어 퍼셉트론)로 비선형 문제도 풀 수 있음.
포조 교수, 사물을 알아보는 영역을 매핑할 때, 한꺼번에 보는 게 아니라, 여러 영역으로 나눠서 분석하고, 정보를 병렬처리함. 이 원리에 착안하여 HMAX 모델 제안.
CNN = 포조의 HMAX + 후쿠시마의 네오코그니트론 + 역전파 알고리즘 → 신경세포 간의 연결고리 값을 자동으로 찾을 수 있음.
제프리 힌턴, CNN 스케일 키워서, 물체 인식 문제 해결.
물체 인식을 말로 표현할 수 있는 규칙은 10%이고, 나머지 90%는 인간의 언어로 표현할 수 없음. 언어의 해상도가 인식의 해상도보다 낮음.
챗GPT : 언어를 해결하려면 문장에 있는 단어들이 서로 얼마나 자주 동시에 등장하는지, 집중 스코어만 계산하면 그게 곧 문장의 의미라는 것. 챗GPT는 약간의 트릭을 써서 GPU로 LLM을 계산할 수 있도록 알고리즘을 개선한 것. 언어의 병렬 처리가 가능해짐. 지금 AI 연구에서 엄청난 양의 고성능 GPU가 필요한 이유는 트랜스포머 알고리즘이 너무 비효율적이라 계산량이 천문학적이기 때문. (알고리즘을 잘 만들면 GPU 수요가 뚝 떨어질 수도 있다고)
제조업 생산성은 증가했으나, 비제조업 생산성은 증가하지 않음. 잡일을 하는 데 시간을 ...