GPU와 Claude Code를 사용하다가 든 생각

최근 개인적으로 작은 연구 프로젝트를 진행하면서 Colab도 써보고, 별도로 GPU 서버도 대여해봤다. 막상 직접 써보니 개인이 이 비용을 꾸준히 감당하는 일은 생각보다 쉽지 않았다. 더 흥미로웠던 건, 돈을 더 낸다고 해서 사용량이 무한히 열리는 구조가 아니라는 점이었다. Colab은 유료 플랜에서도 compute unit balance를 기준으로 더 많은 연산 자원을 제공하고, 잔액을 다 쓰면 다시 제약이 걸린다. Claude 역시 상위 요금제에서 더 많은 사용량을 제공하지만 usage limits가 따로 존재한다. Vast.ai도 상대적으로 합리적인 가격처럼 보이지만, 시장형 pay-as-you-go 모델이라 오래 쓰면 누적 비용이 만만치 않다. [1][2][3][4]

이 경험은 생각보다 묘한 답답함을 준다. 사용자가 체감하는 것은 “결제했다”는 사실보다 “그래서 지금 내가 원하는 만큼 쓸 수 있는가”이기 때문이다. 서비스 제공자 입장도 어느 정도 이해는 간다. GPU는 원래부터 희소하고, AI 서비스는 사람이 몰릴수록 인프라 비용과 혼잡 관리의 문제가 함께 커질 수밖에 없다. 결국 어딘가에서는 사용량을 제한하고, 우선순위를 정하고, 자원을 나눠야 한다.

1. 돈을 내도 충분하지 않은 시대

직접 사용해보면서 가장 크게 느낀 건, 개인이 연산 자원에 충분히 접근하는 일이 생각보다 훨씬 어렵다는 점이었다. 돈을 낸다고 해서 마음 편히 쓸 수 있는 것도 아니었다. AI 서비스는 여전히 구독 모델 위에 서 있지만, 사용자가 실제로 체감하는 것은 월정액 그 자체보다 사용량과 배정량에 더 가깝다. 내가 실제로 얼마만큼의 연산 자원에 접근할 수 있는가가 훨씬 중요하게 다가온다.

예전의 많은 소프트웨어는 월정액 구독 모델로도 충분히 설명됐다. 금액을 내면 일정 기간 동안 서비스를 이용하는 방식이었다. 그런데 AI 서비스는 다르게 느껴진다. 여기서는 소유나 구독보다 사용량과 배정량이 더 직접적으로 체감된다. 이건 Claude만의 이야기도 아니다. OpenAI도 Codex 사용량이 플랜, 작업 규모, 작업 복잡도에 따라 달라진다고 ...