JEV를 코딩 에이전트에 붙이면 비용이 줄까: omo-jev-plugin의 실험과 한계

코딩 에이전트가 파일을 찾아 읽는 동안 비싼 모델은 ‘무엇을 볼지’ 결정하는 데 비용을 얼마나 쓸까? JEV를 붙여 그 판단을 나누자는 실험이 나왔다. 이 기사는 omo-jev-plugin을 어떻게 쓰는지, 보고된 비용 절감이 어디까지 확인됐는지 살펴본다.

JEV는 답을 쓰지 않고 선택지를 고른다

TypeSafe AI 문서에 따르면 JEV는 대화문을 생성하는 모델이 아니다. 입력 상태를 받아 noul(예·아니요), choice(정해진 항목 중 선택), score(단계별 점수)로 답하고 질문별 확률도 돌려준다. 코드를 작성할 모델을 대체하기보다 그 모델이 다음에 살펴볼 후보를 고르는 데 맞는 형태다. (docs.typesafe.ai)

가령 코드베이스에서 만료된 세션을 거부하는 지점을 찾는다고 하자. 후보 파일이나 코드 구간을 모아 각각 질문과 관련 있는지 JEV에 판단을 맡길 수 있다. 코딩 모델은 좁혀진 경로와 원문 발췌를 받아 근거를 확인한다. JEV의 선택만으로 버그 위치가 증명되거나 수정이 끝나는 건 아니다. (github.com)

클코단에선 탐색과 선택이 잦을수록 이런 분업의 효과가 커질 수 있다는 의견이 나왔다. 선택지를 대·중·소 분류로 나눴을 때 결과가 괜찮았다는 경험도 공유됐다. 다만 그 분류 방식의 정확도나 비용을 비교한 공개 측정은 확인되지 않았다.

omo-jev-plugin은 에이전트에게 무엇을 건네나

공개 저장소의 omo-jev-plugin은 OmO·senpi 에이전트에 JEV 판단을 연결한다. 현재 작업에 맞는 스킬과 다음 도구를 추천하고 반복된 실패나 완료 가능성도 살핀다. JEV가 직접 도구를 실행하지는 않는다. 저장소 설명에 따르면 실행 권한 검사 역시 호스트에 남는다. (github.com)

동작 범위는 모드로 나뉜다. shadow는 판단을 기록하되 에이전트 행동을 바꾸지 않는다. advise는 후보를 제안한다. act에선 별도로 켠 도구 활성화, 호출 차단, 모델 라우팅 같은 기능까지 적용할 수 있다. 새 설정 파일은 advise로 만들어지지만 기존 파일에서 모드를 생략하면 기본값은 off다. 어느 모드인지 확인하지 않은 채 비용만 비교해선 안 된다. (github.com)

써본 사람들 사이에선 작은 결정을 따로 떼어내는 발상에 관심이 있는 한편, 질문을 충분히 쪼개지 않으면 결과가 흔들린다는 반응도 있다. 판단 단계를 추가했다는 사실과 실제 절감은 구별해야 한다.

코드 탐색 실험의 19.4%는 어디서 나왔나

저장소 README에는 한 저장소의 여러 파일에 걸친 동작을 추적하는 질문으로 진행한 비교가 실려 있다. 같은 질문을 일반 검색으로 다섯 번, JEV 검색으로 다섯 번 수행했다. 두 방식 모두 다섯 번씩 근거가 되는 소스 코드를 찾았다고 보고했다. 호스트 모델로는 openai/gpt-6-sol을 사용했다. (github.com)

보고된 일반 검색 비용은 총 0.327948달러였다. JEV 검색에선 호스트 모델 비용 0.260144달러에 JEV 추정 비용 0.004038달러를 더해 0.264182달러였다. 차이는 19.4%다. 이 수치는 플러그인 저장소의 자체 실험에서 나왔으며, 별도 기관이 검증한 보편적 절감률은 아니다. (github.com)

클코단에서도 JEV 사용료를 포함해 약 19% 줄었다는 초기 구현 경험이 공유됐다. 판단 기준을 더 세밀하게 안내하면 추가로 아낄 수 있다는 전망이 뒤따랐다. 하지만 저장소의 비교 자체가 한 작업, 한 저장소에 한정된다. 같은 폭이 다른 코드베이스나 모델에서도 나올지는 확인되지 않았다.

검색 횟수만 줄인 결과로 읽어서도 곤란하다. 코딩 모델이 받은 맥락의 양, 캐시 요금, JEV 호출료를 함께 계산한 총액이다. 이 실험은 Claude Code 요금 비교도 아니다. Claude Code에서 똑같이 19.4%가 절감된다고 옮겨 적을 근거는 없다. (github.com)

설치부터 결과 확인까지, 재현 가능한 경로

준비물은 OmO 또는 senpi, omo-jev-plugin, 선택한 결정 제공자의 API 접근 권한이다. 저장소가 안내하는 설치 명령은 omo install npm:omo-jev-plugin이다. 이어 ~/.omo/jev-plugin.jsonc에서 제공자와 모드를 정하고 새 세션을 연다. 이 경로는 Claude Code에 플러그인을 직접 설치하는 명령이 아니다. (github.com)

안전하게 비교하려면 먼저 shadow에서 어떤 후보를 추천하는지 살핀다. 실제 제안을 적용할 때는 advise로 바꾼다. 코드 탐색 실험을 따라 하려면 신뢰하는 Git 프로젝트에서 experimentalCodeSearch를 켠다. 그러면 jev_code_search가 질문과 선택적 경로를 받아 관련 파일 경로, 줄 번호, 원문 발췌를 돌려준다. 모델은 그 발췌를 근거로 후속 조사를 한다. (github.com)

예를 들어 입력은 “만료된 세션을 어디서 거부하나?”와 src 경로다. 산출물은 완성된 설명이나 코드 변경이 아니라 조사할 위치의 목록이다. 저장소 문서에 따르면 검색 대상은 Git이 추적하는 파일과 무시되지 않은 소스다. 탐색 창의 크기와 파일 수에도 제한이 있어 결과가 없다고 해당 코드가 없다고 단정할 수 없다. (github.com)

개인 개발자라면 동일한 질문 묶음을 일반 검색과 JEV 검색으로 나눠 실행하고 찾은 근거와 총비용을 같이 기록할 수 있다. 소규모 팀은 정답 경로뿐 아니라 잘못 좁혀진 후보도 검토해야 한다. 검색 비용을 낮추고 필요한 파일을 놓친다면 절감액만으로는 성공을 판단할 수 없다.

저렴한 판단에도 남는 비용과 경계

TypeSafe AI가 게시한 Jev 1.13 가격은 입력 100만 토큰당 0.042달러이며 출력 토큰은 무료다. 입력 상태를 한 번 보내 여러 질문을 평가할 수 있다. 그렇다고 호출을 늘릴수록 전체 작업이 무조건 싸지지는 않는다. 플러그인 호출료에 더해 호스트 모델이 판단을 요청하고 결과를 확인하는 비용도 남는다. (docs.typesafe.ai)

설정에서 무엇을 외부로 보내는지도 중요하다. 플러그인은 요청 일부와 도구·스킬 후보 설명을 결정 제공자에게 전달한다. 실험적 코드 검색에선 파일 경로와 소스 일부가 전송될 수 있다. 저장소는 경로 필터가 소스 안의 비밀값까지 찾아내지는 못한다고 명시한다. 민감한 저장소라면 비용 계산 전에 전송 범위를 검토해야 한다. (github.com)

한국어 작업의 품질도 따로 측정해야 한다. TypeSafe AI는 영어가 주된 학습 언어이며 다른 언어의 정확도가 같지 않다고 안내한다. 클코단의 계층형 선택 경험은 시도할 만한 질문 설계의 단서다. 그러나 이번 실험이 보여준 것은 제한된 코드 탐색에서의 절감이지, 모든 판단을 JEV에 넘겨도 된다는 허가가 아니다. (docs.typesafe.ai)