
닭고기 요리
구독자 893명구독중 163명
대략 2년 전에 밸리에 올렸던 챗gpt와 트랜스포머 글이 있다.

양(quantity)으로 때려박아 만들어진 LLM모델에 대해 설명하는 글이다.
LLM모델 학습이 본격화되며 대규모 병렬 처리에 필요한 GPU의 수요가 급증했고 그에 따라 Nvidia의 주가도 하늘로 치솟았다.
그 후엔 데이터센터 -> 전력 수요가 급증할 것이 예견되며 전력 기업의 주가도 상승했다.
대규모 데이터와 전력, 이 두 문제를 해결할 수 있는 방법 중 하나가 소형언어모델(SLM, SmallLM)이다.
더 좋은 LargeLM을 만들려는 경쟁 속에서 모델 덩치를 키우던 빅테크들, 그러나 그 덩치경쟁에서 학습하는 데이터세트에는 드넓은 인터넷 속의 쓸모없는 데이터도 포함하는 경우가 많았다.

(극단적이지만 어쨌든 이런 이상한 인터넷 상의 글들을 의미한다..-_-)
바다에 똥물을 버려도 영향은 미미하듯 양으로 때려박으면 뭐든 ...





레오닭님 반갑습니다.

피그 인사이트의 저자, 닭 부장입니다. 반갑습니다.

ㅋㅋㅋㅋ

갑자기 번호? 레오성님 스타일인가 생각했는데 포멧을 따라 하신 거군요 ^^

ㅋㅋ 레오닭님 개명하신 줄... 좋은 글 감사합니다 ㅡ

오....

레오성님 글 잘 읽었습니다.