클로드코드 토큰이 순식간에 사라진 이유, 캐싱 버그의 전말

최근 몇 달 새 클로드코드 사용자 커뮤니티에서 "평소보다 사용량이 3~4배 빨리 닳는다"는 불만이 잇따랐다. 원인으로 지목된 것은 앤트로픽이 손봐온 프롬프트 캐싱 방식이다. 실제로 캐시를 깨뜨리는 버그가 있었고, 앤트로픽도 이를 공식 인정했다. 무엇이 문제였고 지금은 어떤 상태인지, 사용자가 직접 확인할 방법은 무엇인지 정리했다.

프롬프트 캐싱, 왜 토큰 소모를 좌우하나

클로드코드는 매 요청마다 시스템 프롬프트, 도구 정의, CLAUDE.md, 이전 대화 내용 같은 반복 컨텍스트를 새로 청구하지 않고 캐시에서 재사용한다. 캐시가 살아있는 동안에는 입력 토큰 비용이 크게 줄고 응답도 빨라진다. 그런데 지난 3월 6일 앤트로픽은 캐시 유지 시간(TTL) 기본값을 1시간에서 5분으로 별다른 공지 없이 낮췄다. 잠깐 자리를 비웠다가 돌아오기만 해도 캐시가 만료돼 컨텍스트 전체를 다시 처리해야 하는 구조가 된 것이다. 이후 사용 패턴별로 TTL을 달리 적용하는 방식으로 조정돼, 재사용 가능성이 높은 일부 구간에서는 구독자 기준 1시간 캐시가 기본값으로 복원됐지만 서브에이전트나 드물게 재개되는 요청은 여전히 5분에 머무른다.

3~4배 급감의 실체 — 캐시를 깨뜨린 버그들

방에서 나온 "체감상 3~4배 빨리 닳는다"는 호소는 근거가 있었다. 한 개발자가 클로드코드 바이너리를 리버스 엔지니어링해 캐시를 무효화하는 독립적인 버그 두 건을 확인했다. 캐시가 깨질 때마다 컨텍스트 전체를 처음부터 재처리하면서 토큰 소비가 최대 10~20배까지 치솟는 사례도 보고됐다. 3월 23일 무렵부터 5시간 세션 한도가 90분 만에 소진됐다는 신고가 급증했고, 클로드코드 제품 리드 리디아 할리는 3월 31일 이를 공식 인지했다고 밝혔다. 이후 앤트로픽이 4월 23일 공개한 사후 분석에 따르면 원인은 한 가지가 아니었다. 지연 시간을 줄이려 3월 4일 추론 강도를 기본값 '높음'에서 '중간'으로 낮춘 변경, 유휴 세션의 이전 추론 기록을 정리하려던 최적화가 매 턴마다 반복 실행되며 캐시 미스를 유발한 버그, 응답 장황함을 줄이려 4월 16일 추가한 시스템 프롬프트 지시까지 세 가지가 겹치며 약 6주간 품질 저하와 사용량 급감이 동시에 나타났다. 방에서 나온 "요청을 이해하려 이전 세션이나 워크스페이스 문서를 추가로 읽어들여 토큰이 더 든다"는 설명도 이 캐시 미스 구조와 맞닿아 있다. 해당 문제들은 4월 20일자 버전(v2.1.116)까지 순차적으로 수정됐고, 앤트로픽은 4월 23일 전 구독자의 사용량 한도를 초기화했다.

리서치 작업과 체감 소모 — 커뮤니티 경험

방에서는 '인세인리서치'처럼 강도 높은 리서치 작업이 토큰을 유독 많이 먹는다는 이야기와 더불어, 실제로는 리서치보다 다른 작업이 더 많은 토큰을 소모했다는 후기도 공유됐다. 이는 근거 없는 이야기가 아니다. 웹 검색 기반 심층 리서치 기능은 '리서치', '종합 분석', '상세 보고서' 같은 표현이 포함되면 트리거되기 쉽고, 한 번 실행되면 일일 한도를 순식간에 소진시킬 수 있다는 사례가 보고돼 있다. 다만 어떤 작업이 실제로 얼마나 소모했는지는 개별 세션마다 달라, 리서치를 의심하기 전에 세션 자체를 들여다보는 편이 정확하다는 게 방의 중론이었다. 오퍼스 대신 소넷으로 리서치성 작업을 돌리는 편이 낫다는 의견도 나왔는데, 이는 커뮤니티에서 공유된 경험칙이지 공식 권고는 아니다.

지금 확인할 수 있는 것들

방에서 공유된 "대화 세션 자체를 검토시켜 토큰 사용 내역을 물어보면 잘 알려준다"는 팁 대신, 클로드코드에는 이를 위한 공식 명령이 이미 있다. `/cost`는 세션 누적 비용과 모델별 입력·출력·캐시 읽기/쓰기 토큰 내역을, `/usage`는 플랜 한도 대비 사용량을, `/context`는 컨텍스트 창을 구성하는 요소별 토큰 비중을 보여준다. 세션을 오래 열어둘수록 클로드코드가 매 요청마다 대화 전체를 다시 보내고 캐시된 요율로라도 재처리하는 만큼, 주제가 바뀌면 새 세션을 여는 편이 소모를 줄이는 데 도움이 된다는 것이 공통된 조언이다. 사용량 한도 자체도 완화됐다. 앤트로픽은 5월 6일 컴퓨팅 자원을 추가 확보하며 5시간 한도를 두 배로 늘렸고, 8월 19일까지 예정된 주간 한도 상향도 겹쳐 있어 예전보다는 여유가 생긴 상태다. 다만 캐싱 구조 자체가 사용량을 크게 좌우하는 만큼, 체감 소모가 크다면 캐시 미스를 의심하고 `/context`로 직접 확인해보는 습관이 필요하다.