09:59-10:19워크플로우·방법론
에이전트 메모리 관리 논쟁
장기 기억을 파일시스템 형태로 저장하는 에이전트가 늘면서 메모리 관리 효과성을 다룬 논문이 공유됐고, 업서트마다 큐레이팅하지 않으면 2~3달 안에 무너진다는 현업 경험이 이어졌다. 개인 레벨에서 온톨로지 구성은 감당하기 어렵다는 의견과, 조직에서도 사람이 과거 이력 기반 지식관리를 하기 힘들어 점점 stateless 설계로 간다는 의견이 오갔다. 메모리 레이어는 런타임에서 분리되고 핫로드되어야 하며, 자동 임포트되는 요소(CLAUDE.md/rules 등)의 메모리 의존성을 없애는 방향이라는 설명으로 정리됐다. 도서관 비유로, 데이터가 많아도 실제 필요한 건 극소수이므로 큐레이션이 핵심이라는 결론에 이르렀고, 레거시 데이터 판단은 룰베이스가 아니라 피드백/HITL 기준으로만 가능하다는 답이 나왔다.
- arxiv 논문(2607.26637) 공유 — 에이전트 장기 기억의 파일시스템 저장·유지 효과성 연구
- 메모리를 업서트마다 큐레이팅하지 않으면 2~3달 내 붕괴한다는 현업 경험 공유
- 개인 레벨 온톨로지 구성은 관계 확장을 감당하기 어려워 실효성이 낮다는 의견
- 메모리 레이어는 런타임과 분리해 핫로드해야 하며, 쌓일수록 환각 확률이 커진다는 지적
- 레거시 데이터 여부는 룰베이스가 아닌 피드백/HITL 기준으로만 판단 가능하다는 결론
- https://arxiv.org/abs/2607.26637
10:17-10:19워크플로우·방법론
메모리 큐레이션 소형LLM 위키화
표준화·정리를 거치면 결국 핵심 문서는 2~30개 안에서 끝난다는 경험을 바탕으로, 필요한 데이터만 뽑아 소형 LLM 위키 형태로 만들어 에이전트와 연결해 쓰고 있다는 방법이 공유됐다. 에이전트별로 접근 가능한 카테고리 바운더리를 정해주는 방식도 언급됐다. 데이터가 많다고 좋은 게 아니라 데이터 쓰나미 속에서 필요한 것만 최적화해 뽑아내는 큐레이션·소팅이 AI 시대 핵심이라는 데 의견이 모였다.
- 회사 데이터가 방대해도 표준화·정리하면 핵심 문서는 2~30개 수준으로 수렴
- 필요한 데이터만 추려 소형 LLM 위키로 만들어 에이전트와 연결하는 방식 공유
- 에이전트별 접근 가능한 카테고리 바운더리 설정 언급
- 큐레이션·소팅이 AI 시대의 핵심 역량이라는 데 공감
10:26-10:29워크플로우·방법론
OCR+RAG 정확도 개선 사례
OCR 결과물을 에이전트+RAG로 후처리해 정확도를 95%에서 98.9%까지 끌어올린 프로젝트 경험이 공유됐다. 공개된 의료 데이터로 후보정했고 스택은 에이전트+vLLM+RAG였다는 설명이 이어졌다. STT에서 후보 단어를 찾는 방식과 유사하게 OCR 결과 보정을 진행했다는 비유도 나왔다.
- OCR 결과를 에이전트+RAG로 후처리해 정확도 95%→98.9% 향상
- 공개 의료 데이터로 후보정, 스택은 에이전트+vLLM+RAG
- STT에서 후보 단어 찾는 방식과 유사한 보정 개념으로 설명됨
10:29-10:36기타
제조업 AX·LLMOps 현실
제조업 AX는 예산도 적고 이미 효율화가 많이 되어있어 ROI가 잘 안 나오는 영역이라는 현실적 어려움이 공유됐다. 다만 프로젝트성 생산 제조 분야는 아직 블루오션이라는 의견과, 블루오션인 데는 다 이유가 있다는 반박이 오갔다. LLMOps가 제공되지 않는 에이전트 플랫폼은 허수라는 진단과, 서버 리소스 제한 속에서 큐 우선순위·배치를 어떻게 정할지가 어렵다는 논의도 있었다.
- 제조업 AX는 예산 제약과 이미 높은 효율화로 ROI 확보가 어렵다는 평가
- LLMOps 없는 에이전트 플랫폼은 실효성이 떨어진다는 진단
- 리소스 제한 상황에서 큐 우선순위·배치 최적화가 어려운 과제로 언급
- 프로젝트성 생산 제조 분야는 블루오션이라는 의견과 그 이유에 대한 반박이 동시에 제기됨
10:19-10:26커뮤니티·잡담
토큰 사용량과 맥싱vs미닝
각자 최근 반년~한달간 토큰 사용량을 공유하며(수백억 단위) 맥싱(닥치는 대로 쓰기)과 미닝(의미 있게 쓰기)에 대한 이야기가 오갔다. 초반에는 맥싱을 많이 하며 하네스와 메모리 시스템을 여럿 만들었다 폐기하는 과정에서 배웠다는 경험담이 나왔다. 결론은 맥싱은 자원이 넘칠 때나 하는 것이고, 결국 방향은 미닝(문제 해결·수익)이라는 데 의견이 모였다.
- 참가자들이 반년/한달 단위 토큰 사용량(수백억 토큰)을 서로 공유
- 하네스 7개, 메모리 시스템 다수를 만들었다 폐기하며 배운 경험 공유
- 맥싱(무분별한 사용)은 자원 여유가 있을 때, 미닝(의미있는 사용)은 결국 돈·문제해결로 귀결된다는 정리
10:34-10:37커뮤니티·잡담
조직 관성과 마무리 잡담
조직 규모가 커질수록 의사결정권자가 많아져 변화가 어렵다는 이야기와, 제조업 재직자의 격한 공감이 이어졌다. AI로 뭐든 다 될 거라 기대하는 현실 사례들(20달러 플랜으로 전체 자동화 기대 등)을 웃으며 공유하고 대화를 마무리했다.
- 조직 규모가 커질수록 의사결정권자 과다로 변화가 어렵다는 데 공감
- 제조업 재직자가 관성 문제에 격하게 공감
- AI 도입 기대치와 현실 간 괴리를 보여주는 사례들을 웃으며 공유