에이전트 관측성과 이벨 자동화, 결국 남는 건 데이터다

에이전트가 "돌아간다"와 "제대로 일한다"는 전혀 다른 질문이다. 대시보드 신호등이 초록불이어도 사용자는 엉뚱한 답을 받고, 비용은 조용히 새어 나갈 수 있다. 클로드코드로 실서비스 봇을 굴리는 개발자들이 모인 오픈채팅방 '클코단'에서도 최근 이 질문이 도마에 올랐다. 관측성 도구를 붙였는데 왜 다들 초반에만 들여다보고 마는지, 그리고 사람이 일일이 채점하지 않고도 품질을 지키는 방법은 무엇인지를 두고 실전 경험이 오갔다. 이 기사는 그 논의를 씨앗 삼아 에이전트 관측성과 이벨(eval) 자동화의 현재 지형을 정리한다.

"돌아간다"와 "제대로 작동한다"는 다른 질문이다

전통적인 APM(애플리케이션 성능 모니터링)은 시스템이 살아있는지, 에러율이 얼마인지를 본다. 하지만 LLM 에이전트에서는 가동시간과 에러율이 품질을 보장하지 않는다. 에이전트가 "성공했다"고 보고해도 실제로는 잘못된 필드를 참조했거나 존재하지 않는 정보를 지어냈을 수 있다. 업계에서는 이를 "대시보드는 초록불인데 고객은 틀린 답을 받고 돈은 새고 있다"는 말로 표현한다. 에이전트 관측성이 별도 카테고리로 떠오른 이유가 여기에 있다. LLM 호출, 툴 실행, 검색 단계, 계획 수립까지 에이전트가 밟는 모든 단계와 그 파급효과를 끝까지 추적해야 실제 품질을 알 수 있다.

초반엔 보다가, 어느새 안 보게 되는 이유

방 안에서는 관측성 도구를 처음엔 열심히 들여다보다가 시간이 지나면 방치하게 된다는 경험이 여러 명에게서 공감을 얻었다. 이는 업계에서도 반복적으로 지적되는 문제다. 누구도 보지 않는 대시보드는 없는 것과 같고, 많은 팀이 관측성 코드 한 줄 없이 에이전트를 배포한 뒤 범용 로깅과 "잘 되겠지"에 기대는 경우가 많다는 지적이 나온다. 반대로 2026년 들어 이 분야는 LangSmith, Langfuse, Arize Phoenix, Helicone, Datadog LLM Observability, Honeycomb LLM Observability 등 6개 정도의 성숙한 플랫폼으로 정리되는 추세다. 방에서도 langfuse와 랭스미스(LangSmith)가 대표적인 선택지로 언급됐는데, 실제로 이 두 도구가 시장에서 가장 자주 비교되는 축이다.

랭스미스는 랭체인(LangChain)이 만든 상용 플랫폼으로 랭체인·랭그래프 생태계와의 통합이 강점이며, 2026년 5월에는 트레이스 전용 데이터베이스 'SmithDB'를 발표해 핵심 조회 속도를 최대 15배 끌어올렸다고 밝혔다. 랭퓨즈(Langfuse)는 2025년 6월부터 트레이싱·프롬프트 관리·이벨·플레이그라운드·주석 큐까지 거의 모든 기능을 MIT 라이선스로 오픈소스화했고, 2026년 1월에는 컬럼형 데이터베이스 회사 클릭하우스(ClickHouse)에 4억 달러 규모 시리즈 D와 함께 인수됐다. 다만 라이선스 정책은 유지한다고 밝혔다. 셀프호스팅 시에는 클릭하우스 클러스터와 오브젝트 스토어, 레디스까지 직접 운영해야 해서 중간 규모 기준 월 3천~4천 달러의 인프라·운영 비용이 드는 반면, 클라우드 유료 플랜은 월 199~300달러 수준이라 규모에 따라 유불리가 갈린다는 분석도 있다.

골든셋에서 LLM-저지로 이어지는 자동화 경로

방에서 소개된 방법론, 즉 초기에는 사람이 붙어 골든셋을 만든 뒤 LLM을 채점자로 세워 자동화하는 흐름은 업계 표준 접근과 정확히 일치한다. 전문가들은 곧바로 자동화부터 시작하는 것을 흔한 실수로 꼽는다. 먼저 제품 품질 기준을 가장 잘 아는 사람이 응답을 직접 검토하며 "좋은 답이란 무엇인가"를 명확히 정의하고, 이 판단 기준으로 골든 데이터셋을 쌓아야 한다는 것이다. 골든셋은 보통 흔한 사용 사례와 엣지케이스, 알려진 실패 패턴을 아우르는 대표 프롬프트 200개 안팎으로 시작해, LLM 채점자를 제대로 튜닝하려면 500~1000개 규모까지 키우는 것이 권장된다.

이후에는 같은 예시에 LLM 채점자를 돌려 사람의 채점과 결과를 대조하고, 어긋나는 지점을 분석해 채점 기준을 보정하는 캘리브레이션 과정을 거친다. 프로덕션에서 채점자가 문제 응답을 걸러내면 그 트레이스를 사람이 다시 검증하고, 검증된 사례를 골든셋에 추가해 재테스트하는 폐루프를 만드는 것이 이상적인 형태로 꼽힌다. 도구 차원에서는 RAG 특화 평가에 강한 RAGAS, CI 파이프라인에 붙이기 좋은 오픈소스 라이브러리 DeepEval, 팀 단위 협업과 프로덕션 추적까지 아우르는 브레인트러스트(Braintrust) 등이 함께 언급되는 조합이다. 파이썬 기반 엔지니어링 팀에서는 CI 단계엔 DeepEval, 프로덕션 추적엔 브레인트러스트를 함께 쓰는 조합이 사실상 표준으로 자리잡았다는 평가가 나온다.

비용 최적화는 관측성의 다른 얼굴

방장은 자신이 운영하는 카카오톡 봇 '탁구'의 뒷단에 이벨과 비용 최적화 모듈을 구성 중이며, 다음날부터 리포트를 받아볼 예정이라고 공유했다. 관측성과 비용 관리가 한 몸으로 다뤄지는 흐름 역시 업계 데이터와 맞닿아 있다. 2025년에서 2026년 사이 토큰 단가는 80% 가까이 떨어졌지만 역설적으로 기업의 AI 청구액은 오히려 늘었다는 조사가 있는데, 이는 최적화 없이 사용량만 늘어난 결과로 풀이된다. 실무에서 가장 효과가 큰 단일 조치는 프롬프트 캐싱으로, 캐시된 입력 토큰 비용을 최대 90%까지 낮춘다. 여기에 확신도 기반으로 저렴한 모델과 고성능 모델을 나눠 쓰는 라우팅을 더하면 프론티어 모델 품질의 약 95%를 유지하면서 비용은 75~85%까지 줄일 수 있다는 분석도 나온다. Claude Code 자체도 OpenTelemetry 표준을 통해 세션 수, 토큰 사용량, API 비용, PR·커밋 생성 수 같은 지표를 조직 단위로 내보낼 수 있어, 관측성 스택과 비용 추적을 같은 파이프라인에서 다루는 것이 자연스러운 방향으로 여겨진다.

결국 남는 것은 데이터

방 논의는 결국 "데이터가 자산"이라는 결론으로 모였다. 골든셋과 사람의 채점 이력은 한번 쌓이면 경쟁사가 쉽게 복제할 수 없는 자산이 된다는 것이 업계에서도 반복되는 주장이다. 모델 자체는 API로 누구나 접근할 수 있지만, 자기 제품의 실패 패턴과 품질 기준을 담은 데이터는 그 팀만의 것이기 때문이다. 관측성 도구를 들여놓는 일 자체보다, 초반의 관심이 식은 뒤에도 골든셋을 계속 키우고 LLM 채점자를 재보정하는 루틴을 만드는 것이 관건이라는 인식이 방 안팎에서 공통적으로 확인된다.