X에서 뭔가 봤다
https://x.com/HoneyJamTesla/status/1892036920647045528
그록 3가 나왔다. 성능이 상당히 괜찮다고 한다. (그건그렇고 이거 발표영상은...뭐랄까 땀내나는 너드 공돌이들이 모여서 이상한거 만든거 발표하는거 같다. 하나도 힙하지 않고 하나도 간지나지 않는다 ㅋㅋㅋ)
내용을 보면 이런 소리를 한다
AI모델의 성능을 향상시키는 3요소는 프리트레이닝, 트레이닝, 추론시간이다.
프리트레이닝은 인터넷에 존재하는 모든 텍스트를 가져와서 학습하는 과정이다.
트레이닝은 프리트레이닝에 추가 질문과 답변을 입력하여 구체적인 답변을 만드는 과정이다.
추론과정은 질문에 답을 낼 때 스스로 검증하는 것을 말한다. 사람처럼 생각하는 과정이라고 한다.
추론시간이 길어지면 답변의 퀄리티가 올라간다고 한다.
그런데 추론능력의 퀄리티는 프리트레이닝의 퀄리티에 영향을 받는다고 한다.
말하자면 더 많이 알고있으면 답변의 질이 높아진다는 것이다.
사람도 마찬가지 아닐까 싶다.
추론을 결정하는 건 얼마나 좋은 상태에서 생각하는지, 얼마나 똑똑한지, 얼마나 심사숙고하는지 여부일 것이다.
트레이닝 과정은 어떤 교육을 받고, 어떤 사람들과 의견교환을 하는지 정도로 볼 수 있을 것이다.
프리트레이닝은 내가 얼마나 많이 알고 있는지를 말하는 것일거다.
결국 내가 좋은 결정을 하기 위해서는 일단 1) 심신이 안정되어야 하고 2)의견을 주고받을 좋은 환경이 있어야 하고 3) 그리고 더 많이 알아야 하는거 아니겠나.
1)이나 2)는 그렇다 치고...3)은 결국 더 많이 책 보고 그래야 한다는 말 아닌가.
책을 읽읍시다. 공부합시다.
아 너무 당연한 소릴 했네.
이제 일해야지.
