2023 05 23 챗gpt와 트랜스포머 모델 + 밸리에 대한 소고

밸리에 대한 소고 1

밸리에 대한 소고2

1.
고교시절을 돌이켜보면 학생을 전혀 터치 안하는 과목선생님들이 매년 두어분 씩은 꼭 있었다. 경험상 수학 선생님들이 주로 그랬던 거 같다. 그 선생님들은 목소리도 작고, 톤도 일정해 수업이 상당히 졸린데 그래서 수업이 끝날 때쯤이면 급우의 8할은 잠들어 있었다.

그런 캐릭터를 표현한 유튜브 피식대학의 캐릭터


난 그런 선생님 시간엔 한쪽 귀에 몰래 이어폰을 꽂고 afkn(주한미군 라디오)을 듣곤 했다. 특별히 영어공부를 하려고 그런건 아니었고, 어차피 영어를 알아듣지 못하는지라 주의는 완전히 뺏기지는 않으면서 중간중간 좋은 팝송을 들을 수 있어서 그랬다. 

아무튼 그렇게 미군라디오와 친하게 지내다보면 자주 나오는 문장은 자연스레 학습이 됐다. 가장 많이 들었던 문장은 역시 슬로건인 AFN the eagle, serving america's best~ 다. 그 외에 아직도 기억나는 건.. 미군을 대상으로 한 보험광고였는데 how can we reduce the risk of blahblah..로 시작하는 게 있었다. 자주 들은 '영어덩어리'들은 그렇게 나도 모르게 그냥 통째로 익혀졌다.

그 영향이 있는건지 나는 영어를 잘하는 편이었는데, 음. . . ? 정정하겠다. 적어도 학업성취도가 낮은 나의 모교에선 영어를 잘하는 편이었다. 딱 일반고 레벨에선 괜찮은 정도였단 거다. ( valley에서 스스로 영어를 잘한다 하는건 굉장히 뻔뻔한 것이다.)


그러던 어느날 학교 친구가 나에게 물어보았다. 
야 너 영어잘하잖아. 여기가 어디에요 를 영어로 하면 뭔지 아냐?
나는 눈을 두어번 끔뻑이다가 "where am I?" 라고 했다. 그러니 그 친구는 박수를 짝짝짝 치며 크크 이새끼 영어 잘하는거맞네 하는 거다. 그 친구 말론 자기가 어디서 들었는데 대부분 what is here 아니면 where is here 로 답하고 영어를 잘해야 where am i 로 답한다는 것이었다.

나는 그런가? 하고 고개를 갸우뚱했다. 친구는 너 그거 어디서 배웠냐? 하고 물어봤는데 난 답을 하지 못했다. 아무리 생각해봐도 그냥 나온 거였다. 따로 문법이나 문장을 학습한 것도 아닌데, 아마 언제쯤 미군방송이나 영어듣기공부를 할 때 들은 걸지도 ㅡ 아무튼 나는 그순간 그냥 그 문장이 자연스럽다고 생각해 답했던 거였다. 


2.

우리의 뇌가 앞 글에서 말했던 transformer 알고리즘으로 단어의 확률 관계를 학습하는 것인지, 아니면 훨씬 심오한 알고리즘으로 그러는 건지 정확한 원리는 모른다. 적어도 내가 아는건 우린 어떤게 자연스럽고 그렇지 않은지 느낄 수 있단 거다. 그리고 그건 분명 우리가 의식적으로 학습해서 얻어진 능력은 아니다.
우리가 ...