CES 2026, GTC에서 젠슨 황이 ICMS(G3.5), SRAM을 도입했음.
조금 살펴보니 ICMS는 KV Cache를 잘 도입하기 위해서, SRAM은 decode 과정에서 효율화를 추구하기 위해 도입했다고 함. 뭔소린지 모르겠음.
계속 새로나오는 기술들을 볼 때마다 겉도는 느낌이 들어서 AI가 뭔지 본질적으로 확인해보고 싶었음.
결국엔 AI는 벡터간의 관계성을 파악하는 것임.
월가아재님이 AI 시대에는 선형대수학을 무조건, 필수적으로 알아야된다고 했었음. 그래서 학교에서 수업도 들어보고 혼자 공부도 했었는데 사실 그 의미를 정확히 이해하지 못했음.
근데 이번에 AI를 공부하면서 벡터랑 행렬이 매우매우 중요하다는 것을 깨달음. 벡터랑 행렬을 기반으로 AI와 ICMS, SRAM 구조 도입을 이해해볼 생각.
벡터는 결국 공간상에서 방향을 나타내는 점임. 쉽게 말해서 데이터인데 방향성을 나타냄.
행렬은 AI 아키텍처 내에서 가중치를 담당함. 벡터에 행렬을 내적해서 벡터의 방향성을 변화시키는 것임.
AI는 모든 정보를 벡터화해서 데이터로 보관함. 예를 들어서 고양이라면, [1,0]이라는 벡터로 변환해 놓는 것임. 이때 벡터는 쉼표를 기준으로 각 방향성을 띠는데, 1이라는 정보가 "눈이 있다.", 0이라는 정보가 "동물이다"의 방향성을 가리킴.
여기서 학습의 과정을 설명해보겠음.
AI가 "고양이는 귀엽다"라는 답변을 도출하기 위해서 고양이라는 [1,0] 벡터에 행렬 W1를 내적함. 내적은 두 벡터간의 관계성을 나타내기 때문에, 관계성이 높을수록 수치가 높아지게 됨.
결론적으로 W1를 내적하면서 [2,0]이라는 답변을 얻었는데, 실제 귀여움을 나타내는 공간은 [3,0]인 것임. 이를 줄여주기 위해서 W1를 조정하는 과정을 거침. W1안에도 수많은 숫자들이 있는데 이들을 미분하여 기여도를 계산하게 됨. ...
