[독서] 김대식의 <AGI, 천사인가 악마인가> + 반도체, 에너지 매력



[생각]

• GPT 모델이 비효율적인 모델이고, 서버 비용이 엄청나게 든다라는 점을 보면, 다른 더 효율적인 알고리즘이 등장하면 오픈 AI 주도의 투자 사이클이 붕괴될 수도 있을 것 같다. "Attention is All You Need" 논문 제목이 정말 깔쌈하지만, 언어의 의미를 집중스코어로 정의하는 게 적절할까?

  
  

• 나는 AGI를 알고리즘 개선으로 만드는 건가?했는데, 스케일만 키우면 자아가 생기는 거였구나! 현재 스케일 키울 방법은 GPU 때려넣는 것 밖에 없다. 다른 효과적인 알고리즘이나 다른 효과적인 프로세서가 나오지 않는 한, 엔비디아는 성장하겠구나. 구글의 TPU가 판을 엎을 수 있을까? 누가 만들든 삼성, 하닉, 마이크론은 필요하겠지.

  
  

• 요즘 시간이 달려가는 것처럼 느낀 이유가 뇌가 노화돼서 였구나...ㅜ ㅜ ㅜ ㅜ ㅜ ㅜ ㅜ 몰입하는 시간이 중요하다.

  
  

• 인간 vs. AI 경쟁에서 살아남는 유일한 방법은 역시 자본인 것 같다. AI가 자본을 소유하지 않는 한. (AI가 페이퍼 컴퍼니 세우고, 암호화폐 쌓아놓고, 사람 고용해서 부동산도 사고 하면 가능할 수도?)

  
  

• 인간 vs. 인간의, 인간 vs. AI의 경쟁에서 공통적으로 중요한건 자원인 것 같다. 인간도 AGI도 에너지, 소재 등을 필요로 하니까.

  
  

• 투자 관점에서 생각하면.. AGI 개발은 멈출 수 없으니 GPU 수요 유효하고, 브로드컴 3D 반도체 매력적이고, 에너지(LNG, SMR, 원전 등) 투자도 유효하고, 로봇은 1등 누굴지 잘 모르겠고, 엔터 관련 기업은 좀 더 나중에 관심을 가지면 좋을 것 같다.

[해볼 것 ]

• 오픈AI의 딥 리서치 써보기. PDF 파일 주고 요약하고, 모르는 내용 새롭게 찾아내기.

• 바이블 코딩 해보기. (러버블 AI, 볼트 AI 써보기)

[생성형 AI 출현]

• 효과적 가속주의(AGI의 장기적 혜택이 너무 크기 때문에 단기적 문제에 집중하면 안된다)와 효과적 이타주의(AI 혜택은 동의하나 AI 안전도 고민해야) 모두 인공지능 시대에는 기술을 지배하는 자가 사회, 정치도 지배해야 한다는 기술봉건주의를 믿는다.

  
  

• 매컬로, 인간의 신경세포를 연결하면 논리 연산이 가능하다는 것을 발견함.

  
  

• 퍼셉트롭 : 세상을 알아보는 기계. MLP(멀티 레이어 퍼셉트론)로 비선형 문제도 풀 수 있음.

  
  

• 포조 교수, 사물을 알아보는 영역을 매핑할 때, 한꺼번에 보는 게 아니라, 여러 영역으로 나눠서 분석하고, 정보를 병렬처리함. 이 원리에 착안하여 HMAX 모델 제안.

  
  

• CNN = 포조의 HMAX + 후쿠시마의 네오코그니트론 + 역전파 알고리즘 → 신경세포 간의 연결고리 값을 자동으로 찾을 수 있음.

  
  

• 제프리 힌턴, CNN 스케일 키워서, 물체 인식 문제 해결.

  
  

• 물체 인식을 말로 표현할 수 있는 규칙은 10%이고, 나머지 90%는 인간의 언어로 표현할 수 없음. 언어의 해상도가 인식의 해상도보다 낮음.

  
  

• 챗GPT : 언어를 해결하려면 문장에 있는 단어들이 서로 얼마나 자주 동시에 등장하는지, 집중 스코어만 계산하면 그게 곧 문장의 의미라는 것. 챗GPT는 약간의 트릭을 써서 GPU로 LLM을 계산할 수 있도록 알고리즘을 개선한 것. 언어의 병렬 처리가 가능해짐. 지금 AI 연구에서 엄청난 양의 고성능 GPU가 필요한 이유는 트랜스포머 알고리즘이 너무 비효율적이라 계산량이 천문학적이기 때문. (알고리즘을 잘 만들면 GPU 수요가 뚝 떨어질 수도 있다고)

  
  

• 제조업 생산성은 증가했으나, 비제조업 생산성은 증가하지 않음. 잡일을 하는 데 시간을 낭비하기 때문. 이런 업무의 비효율성은 인간과 컴퓨터 사이에 있는 간극에서 발생함. 그러나 GUI...