이전 글에서 이어집니다.
저는 Claude에게 업무에 필요한 시스템 접근권을 열어주고, 앞뒤 사정을 파악할 수 있도록 전용 위키까지 만들어줬습니다.
그러면 '이제 잘 되겠지' 라고 생각했죠.
마치 아들 하나 더 키우는 기분입니다.
처음엔 꽤 잘 되는것 같았습니다. 문제는 시간이 지나면서 나타났습니다.
하지 말라는걸 합니다. - 업무 특성상 규칙이 꽤 상세하고 체계적이었는데요, 처음엔 잘 따르는거 같더니 대화가 길어지면 슬금슬금 금지한 행동들을 합니다.
같은 실수를 반복합니다. - 여러 방법을 시도하다가 다 막히면, 예전에 시도해서 실패했던 방법을 다시 시도합니다.
엉뚱한 곳에서 작업하고 있습니다. - 문제와 연결된 것 처럼 보이지만, 실제로는 관계없는 부분에서 열심히 헤딩을 하고 있습니다.
문제는 Context야, 이 바보야
AI와 대화할 때 주고받는 모든 내용 (내가 한 말, AI가 한 말, AI가 읽은 파일과 문서)을 Context라고 하는데요.
모델을 불문하고 AI가 한 번에 담아둘 수 있는 Context의 총량에는 물리적인 한계가 있습니다. 이걸 Context Window라고 부릅니다.
앤스로픽 공식 문서에도 잘 설명되어 있습니다만, 쉽게 이야기하면, 크기가 정해진 책상 하나가 있는 건데요.
AI는 대화 내용, 규칙, 코드, 문서를 전부 이 책상 위에 올려놓고 일합니다.
처음엔 넉넉합니다. 그런데 대화가 길어지고 참고 자료가 쌓이면 책상이 꽉 찹니다. 새 자료를 올리려면 기존 자료를 밀어내야 하는데, 밀려나는 게...
회원가입만 해도
이 글을 무료로 읽을 수 있어요.
이미 계정이 있으신가요?로그인하기
