AI 에이전트 장기 기억, 파일시스템 메모리는 왜 무너지는가

왜 지금 "메모리 파일"이 화두인가

클로드코드 같은 코딩 에이전트들이 세션이 끝나도 맥락을 이어가려고 CLAUDE.md, MEMORY.md 같은 마크다운 파일 더미를 스스로 쓰고 고쳐 쌓기 시작했다. 이 파일들은 몇 달만 지나면 무엇이 맞는 정보인지 에이전트 자신도 구분 못 하는 상태로 무너진다는 게 문제다. 지난 7월 말 공개된 논문 한 편이 이 현상을 처음으로 체계적으로 검증했고, 클코단에서도 비슷한 붕괴 경험과 대안 논의가 오갔다. 파일시스템 메모리는 왜, 어떻게 무너지고 업계는 어떤 대안을 찾고 있는지 정리했다.

앤트로픽은 지난해 말 클로드 개발자 플랫폼에 메모리 툴을 공개 베타로 내놓았다. 에이전트가 파일을 만들고 읽고 고치고 지우면서 세션 간 지식을 쌓게 하는 구조다. 모든 정보를 컨텍스트 창에 욱여넣는 대신, 필요할 때 파일을 열어보게 해 컨텍스트를 절약하자는 취지다. 클로드코드의 CLAUDE.md와 MEMORY.md 분리도 같은 맥락이다. 자주 안 바뀌는 규칙은 CLAUDE.md에, 수시로 바뀌는 현재 상태는 MEMORY.md에 나눠 담으라는 게 공식 가이드다. 실제로 MEMORY.md는 200줄, 25KB 한도를 넘기면 줄이라는 경고가 뜨도록 설계돼 있다. 파일 기반 메모리를 런타임과 분리해 필요할 때만 불러오는 방식, 즉 핫로드 구조가 최근 에이전트 설계의 기본값이 되고 있다는 게 클코단 논의의 핵심 진단이었고, 웹에서 확인한 업계 흐름과도 일치한다.

논문이 확인한 것: 정리해도 답이 좋아지진 않는다

클코단에서 공유된 arXiv 2607.26637 "Filesystem-Based Memory for LLM Agents"는 이 구조를 처음으로 정면에서 검증한 연구다. 저자들은 메모리 파일시스템을 세 역할로 쪼갰다. 콘텐츠를 통합하고 정리하는 관리 에이전트, 출처를 인용해 질문에 답하는 검색 에이전트, 작업 과정을 기술(skill)로 증류하는 실행 에이전트다. 결과는 냉정했다. 가장 강한 관리 에이전트를 제외하면 시간이 지날수록 정리 상태 자체가 무너졌다. 정리가 잘 된 저장소가 검색 비용은 절반으로 줄였지만, 어떤 에이전트도 그 정리를 실제로 더 나은 답변으로 바꾸지는 못했다는 점도 드러났다. 정리와 성능은 별개라는 뜻이다. 도구 구성을 바꾸는 것만으로도 모델을 바꾸는 것만큼 메모리 구조 자체가 흔들렸다는 결과도 눈에 띈다. 저자들은 파일시스템 메모리를 당연한 기본값이 아니라 앞으로 계속 검증해야 할 설계 공간으로 재정의해야 한다고 결론지었다.

"2~3달이면 무너진다"는 경험, 근거가 쌓이고 있다

클코단에서는 업서트마다 사람이 큐레이팅하지 않으면 메모리가 2~3개월 안에 무너진다는 현업 경험이 공유됐는데, 이는 논문의 실험 결과와 방향이 일치한다. 웹 조사에서도 비슷한 문제가 여러 곳에서 확인됐다. OpenAI는 올해 6월 챗GPT 메모리 개편 공지에서 "오래되고 서로 모순되는 기억"을 명시적으로 문제로 지목했다. 한 번 잘못 저장된 정보가 사실과 같은 확신으로 답변에 섞여 나오고, 이를 뒤늦게 걷어내기가 매우 어렵다는 지적도 있었다. 보안 쪽에서는 문제가 더 심각하다. 메모리 포이즈닝 공격은 세션이 끝나도, 심지어 모델이 바뀌어도 살아남는 오염된 기억을 심는데, 통제된 실험에서 공격 성공률이 90%를 넘긴 사례도 보고됐고, LLM 기반 탐지기가 오염된 항목의 66%를 걸러내지 못했다는 조사 결과도 있다. 클코단에서 나온 "쌓일수록 환각 확률이 커진다"는 지적은 과장이 아니었던 셈이다.

온톨로지는 개인에게, 어쩌면 조직에도 버겁다

클코단 논의에서는 개인 레벨의 온톨로지 구성이 관계 확장을 감당하기 어려워 실효성이 낮다는 의견이 나왔다. 지식관리 분야 연구도 이를 뒷받침한다. 불안정한 어휘 위에 세운 온톨로지는 복잡도가 커질수록 스스로의 유지보수 부담에 짓눌려 무너지며, 온톨로지는 택소노미보다 구축·유지가 훨씬 복잡해 전문 지식 엔지니어가 따로 필요하다는 게 정설이다. 조직 차원에서도 사정은 비슷하다. 컨플루언스 같은 사내 위키는 오래된 문서가 쌓여 방치되는 경우가 많다는 지적이 나올 만큼 낡은 문서를 걸러내기 어렵고, 최근에는 AI가 오래된 콘텐츠를 자동으로 탐지해 소유자에게 갱신을 요청하는 "자가 유지보수형" 지식베이스 도구까지 등장했다. 사람도 조직도 과거 이력을 규칙만으로 판단하며 지식을 관리하기가 점점 힘들어지고 있고, 이 때문에 상태를 최소로 유지하는 stateless 설계로 무게중심이 옮겨가고 있다는 게 클코단의 결론이었다.

그래서 업계는 "가볍게, 분리해서, 사람이 판단"으로 간다

메모리 벤더 mem0가 올해 4월 내놓은 토큰 효율 알고리즘은 시간·다중홉 질의에서 정확도를 큰 폭으로 끌어올리면서도 검색 호출당 토큰 사용량을 전체 컨텍스트 방식 대비 크게 줄였다고 발표했다. 방향은 뚜렷하다. 모든 걸 다 기억하는 게 아니라, 무엇을 남기고 무엇을 지울지 판단하는 능력이 메모리 시스템의 핵심 경쟁력이 됐다. 실무에서 확인되는 패턴도 비슷하다. 작업 후 요약 에이전트가 배운 것을 추출하면, 사람이 그 내용을 장기 기억에 커밋할지 검토하는 게이트를 거친 뒤에야 별도의 메모리 기록 에이전트가 이를 저장한다. 이 휴먼인더루프 게이트는 메모리 포이즈닝 위험에 대한 현실적인 대응으로 꼽힌다.

결론: 큐레이션은 결국 사람의 몫이다

클코단 논의는 도서관 비유로 정리됐다. 데이터가 아무리 많아도 실제로 꺼내 쓰는 건 극소수이므로, 무엇을 서가에 남기고 무엇을 폐기할지 정하는 큐레이션이 핵심이라는 것이다. 레거시 데이터인지 아닌지는 정해진 규칙이 아니라 실제 피드백과 사람의 검토, 즉 휴먼인더루프 기준으로만 판단할 수 있다는 결론에 이르렀다. 이는 논문이 확인한 "정리 자체는 성능을 보장하지 않는다"는 결과, 그리고 챗GPT·기업 지식관리 도구가 마주한 "오래된 기억이 답을 오염시킨다"는 문제와도 맞닿아 있다. 파일에 기억을 쌓는 방식 자체는 당분간 계속되겠지만, 그 파일을 누가, 어떤 기준으로 솎아낼지에 대한 답은 아직 사람의 판단 밖으로 완전히 넘어가지 못했다.