바늘에 찔리면 찔린 만큼만 아파하면 된다.

우연히 재밌는 논문을 발견했습니다. LLM의 성능과 차원의 개수의 연관성에 대한 논문인데, 빅테크들이 어떻게 그렇게 확신을 가지는지 이해가 되네요. 간단하게 설명하면, 각 토큰(단어) 들이 표현하는 차원(특성) 의 개수보다 모델이 표현할 수 있는 차원의 개수가 현저하게 작은 경우 간섭이 더 자주 일어난다는 내용입니다. 하나의 아주 간략화된 예를 들면.. 제가 가진 딸기를 표현하기 위해 딸기의 당도 : 10 딸기의 빨간 정도 : 3 딸기의 크기 : 9 를 각각 숫자로 변환해 저장한다고 해보겠습니다. 대충 [10, 3, 9] 요런 식으로 저장된다고 치죠. 그런데 여기서 우리가 만약 "딸기의 경도: 1" 이라는 특성을 추가로 표현하고 싶다면 어떻게 할까요? 제일 좋은 방법은 차원을 추가해서 [10, 3, 9, 1] 이렇게 표현하는 것이겠지만, 차원을 추가하는 비용이 너무 비싸다면 어떨까요? 실생활이라면 상대적으로 덜 중요한 특성을 ...

조력자이자 경쟁자인 Opus 4.6 과의 밥 그릇 대결에서 나는 어떻게 행동해야할까에 대해 내가 생각할 때, 개발자들의 메인 업무는 다음과 같다. 제안서를 읽어서 작업을 쪼갠다. (제안서를 기획하는 과정에 참여도 하겠지만, 이는 개발자의 업무라기 보다는 회사원의 업무라고 생각해서 제외) 각 작업을 위해 어떤 레포를 어떻게 수정할 지 계획한다. 코드를 수정하고, 테스트를 작성한다. 스테이징에 배포하고 점검한다. 프로덕션에 배포한다. 모니터링을 해서 문제가 있으면 정해진 롤백 전략을 따른다. 롤백 후 문제를 새로 정의하고 해결될 때까지 위 과정을 반복한다. ai 가 이 과정에서 사람보다 못하는 게 있을까? 아직은 있는 것처럼 느껴진다. 주로 7번 과정 사이에서 문제를 새로 정의해야 할 때이다. AI는 에러가 발생하면 로그를 수집하고, 쌓여진 데이터를 바탕으로 해결을 시도하고, 인터넷에 검색해보기도 한다. 이...

신가치평가 강의를 들으면서, 어떤 공식의 변수가 의미하는 바를 이해하려고 하다보면 자기자본 비용에 대해 똑같은 질문을 반복해서 하게 된다. 요즘처럼 강의 듣는 날 사이에 간격이 크거나, 잘 기억이 안나는 부분을 오랜만에 들을 때 이런 경우가 특히 많다. 종이 공책에 직접 필기를 하다보니, 이럴 때 마다 매번 해당 페이지를 다시 찾아가야하는 불편함이 있다. 그래서 이참에 스페이스에 글로 한 번 정리해두고, 같은 의문이 들 때마다 이 글에 다시 찾아와서 생각을 정리하고, 업데이트 할 부분이 있으면 꾸준히 업데이트 하는 방식으로 사용해보려고 한다. 이렇게 인터넷에 정리하면 혹시 이 글을 보시는 분들이 피드백을 주실 수도 있다는 점도 꽤 매력적이다. 자주 하는 질문과 나의 답 Q1) 애초에 자기자본비용이 뭔가? 자기자본비용은 투자자들이 기대하는 ...

을오징어님은 글에서 전문 지식과 투자 실력의 상관관계에 대해 두 가지 가정을 제시하셨다. 만약 전문 지식과 투자 실력의 상관관계가 '낮다'고 가정할 경우 만약 전문 지식과 투자 실력의 상관관계가 '높다'고 가정할 경우 내가 여기서 떠올릴 수 있었던 건 1번과 2번에 대해 펼쳐지는 논리에 대한 반박이 아닌, 3번, 즉, 새로운 가정이다. 만약 전문 지식과 투자 실력 자체만으로는 상관관계가 크지 않지만, 다른 지표 A와 함께할 때 비로소 유의미한 상관 관계가 생긴다고 가정할 경우 여기서 A라는 지표가 대다수 액티브 펀드 매니저가 우위를 점하기 힘든 지표라면 어떨까? 다음 글은 아재님이 쓰신 글인데, 마침 이와 관련된 내용이 있어 가져와보았다. ...

fellow 게시판에 valley 방향성에 대한 피드백 글이 주목받으면서 이런저런 추가 의견이 댓글로 달리고 있다. 그 중엔 작성자님과는 정반대의 의견을 댓글로 달아주신 분들도 많다. 몇몇 댓글은 작성자님이 그 댓글에 추가적인 의견을 달아주시면서 긴 토론의 형태로 이어지는 경우도 있다. 그렇게 의견을 교환하는 과정에서 어투가 조금 공격적으로 변하는 경우도 있는 것 같다고 느꼈다. 그런 경우에 나는 내가 그 토론에 참여하고 있지도 않은데도 불편감이 생긴다. '저렇게 말하면 아무리 좋은 말 해줘도 받아들이기 힘들지' 하는 묘한 선민의식(?) 비슷한 감정과 함께.. 나는 그렇게 그 댓글을 빠르게 넘기고 다른 댓글을 읽었다. 그런데 조금 지나서 다시 그 댓글을 보니 그다지 어투가 공격적이지 않다는 걸 알게됐다. 그냥 내가 그렇게 느낀 것 뿐.... (또, 그 댓글이 내가 잊고 있던 관점을 상기시켜주기도 하는 멋진 댓글이라는 것도 깨달았다.) 나는 어릴때부터 인터넷에서 누군가와 논쟁하는 것을 꺼려왔는데 (아주 가벼운 논쟁이더라도), 그 이유는 '남이 상처받을까봐' 같은 근사한 이유는 단연코 아니다. 그저 내가 느끼는 불편감을 피하고 싶어서이다. 같은 이유로 친구들 단톡방에서도 논쟁이 일면 그냥 읽음처리하고 주의깊게 읽지 않는다. 생각해보면 나는 뇌의 부정성 편향이 강하게 작용하는 사람인 것 같다. (투자자의 관점에선, 손실회피편향이 큰 사람에 가까울 확률이 높을 것이다) 이 부분을 인정하는 것만으로도, 이러한 편향 때문에 놓칠 수 있는 다양한 관점을 가져갈 수 있을 거라고 생각한다. 작은 액션 포인트를 더하자면, 누군가의 말투가 당장 마음에 들지 않을 때는 북마크만 해두고 나중에 다시 보는 것도 도움이 될 것 같다.