바이브선생, 클로드코드 대화 로그로 AI 협업 실력 점수 매기기

클로드코드로 하루 몇 시간씩 대화하면서도 "내가 잘 쓰고 있는 건가"라는 질문에 답하기는 쉽지 않다. 최근 클코단 오픈채팅방에서는 자신의 클로드코드 사용 습관을 점수로 되돌려주는 오픈소스 도구 '바이브선생'이 화제였다. gptaku 플러그인을 쓰고 나서 점수가 올랐다는 후기부터 "6.3점이면 잘하는 건가"라는 질문까지 이어졌는데, 점수 자체보다 그 점수가 실제 업무 역량과 어떻게 연결되는지가 더 중요한 논쟁거리였다.

바이브선생은 무엇을 하는 도구인가

바이브선생(vibe-sunsang)은 fivetaku가 만들어 GitHub에 공개한 오픈소스 프로젝트로, 클로드코드가 로컬에 남기는 JSONL 세션 로그를 읽어 사용자의 AI 협업 습관을 자동으로 분석해주는 멘토링 에이전트다. 별도 API 키나 외부 서버 없이 기존 클로드코드 대화 기록만으로 동작하는 것이 특징이다. 설치는 클로드코드의 플러그인 마켓플레이스 기능을 통해 이뤄진다. `/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git`로 fivetaku가 운영하는 gptaku_plugins 마켓플레이스를 추가한 뒤 `/plugin install vibe-sunsang`으로 설치하면 된다. 방 논의에서 한 참가자가 터미널에 "바이브선생 실행해줘"라고만 말했더니 알아서 설치와 실행까지 이어졌다고 공유한 것도 이 구조 덕분이다. 클로드코드 플러그인은 슬래시 명령, 서브에이전트, MCP 서버, 훅을 하나로 묶어 배포하는 기능으로 2025년 10월 베타로 처음 공개됐고 2026년 5월에는 앤스로픽이 공식 플러그인 디렉터리까지 열면서 생태계가 빠르게 커지고 있다. gptaku_plugins는 이 공식 마켓플레이스와는 별개로 운영되는 커뮤니티 마켓플레이스로, 바이브선생 외에도 검색 우회 도구 insane-search, 디자인 시스템 추출기 insane-design 등을 함께 배포한다.

6축 평가와 레벨, 게이트 조건

바이브선생의 핵심은 대화 로그를 여섯 개 축으로 나눠 채점하는 방식이다. 복잡한 요청을 AI가 처리할 수 있는 단위로 쪼개는 능력(DECOMP), AI 출력물을 비판적으로 검증하는 습관(VERIFY), 여러 도구·에이전트·워크플로우를 엮어 쓰는 오케스트레이션(ORCH), 오류가 났을 때 원인을 진단하고 대안을 찾는 실패 복구(FAIL), 배경·제약·목표를 AI에 충분히 전달하는 맥락 관리(CTX), 그리고 스스로의 AI 사용 패턴을 인식하고 전략을 조정하는 메타인지(META)다. 이 여섯 축을 종합해 L1.0부터 L7.0까지 0.5 단위로 레벨을 매기는데, 상위 레벨로 올라가려면 단순히 점수 평균을 넘기는 게 아니라 정해진 게이트 조건을 충족해야 한다. 예컨대 L4로 가려면 검증 비율이 0.15를 넘고 수정 비율도 0.05를 넘어야 하고 L5는 사용 도구의 다양성이 8종을 넘어야 하며 L6는 다중 에이전트 협업 경험이, L7은 여기에 더해 외부 기여 이력까지 요구한다. 평가는 사용자가 주로 어떤 유형의 작업을 하는지에 따라 가중치도 달리 준다. 빌더형은 DECOMP·VERIFY를, 디자이너형은 CTX·ORCH를 더 비중 있게 본다. 권장 루틴은 매주 금요일 15분씩 로그를 변환해 멘토링을 받고 한 달에 한 번 30분을 들여 전체 성장 리포트를 뽑아 이전 달과 비교하는 방식이다.

방 안 반응: 점수보다 실무 활용도

방 논의에서 가장 먼저 나온 것은 실사용 후기였다. gptaku 플러그인을 쓰고 나서 에이전트 결과물이 더 탄탄해졌고 바이브선생 점수도 올랐다는 공유였다. 자연스럽게 "평균이 얼마나 되느냐", "6점대면 잘하는 편이냐"는 질문이 이어졌고 상세 재평가를 요청했더니 6점대가 나왔다는 공유도 있었다. 이 지점에서 나온 의견은 점수가 잘 나온다고 해서 실제로 업무에 AI를 잘 활용하고 있다는 뜻은 아니라는 것이었다. 결국 중요한 건 채점표의 숫자가 아니라 그 결과를 실무에 얼마나 써먹을 수 있는지라는 지적이 많았다. 평가 항목을 시작·평가·멘토링·성장 네 단계로 요약하고 주 단위로 점검한다고 정리한 참가자도 있었고 점수보다 꾸준히 실습하며 스레드에서 나온 조언을 따라 해보는 태도가 더 중요하다는 의견도 나왔다. 다만 클로드코드 세션만 분석 대상이 되고 GPT 등 다른 서비스의 대화 세션은 가져올 수 없다는 한계도 함께 공유됐다.

세션 로그 분석, 혼자만의 시도가 아니다

한 참가자는 바이브선생과 별개로 클로드코드·코덱스·가재코드(GJC) 세션 로그를 월별로 직접 분석하는 자체 파일을 만들어 안티패턴, 프롬프트 글자수, 연속 작업시간 등을 체크하고 있다고 소개했다. 이는 개인 취미를 넘어 하나의 흐름과 맞닿아 있다. 클로드코드는 대화 내용을 `~/.claude/projects/` 아래 JSONL 형식으로 한 줄씩 이어 붙여 저장하는데, 이 포맷을 읽어 생각 깊이나 Read·Edit 비율, 감정·비용까지 정량화하는 claude-session-analyzer, 로그를 마크다운·HTML로 바꿔주는 claude-code-log, 로그를 브라우저에서 바로 훑어볼 수 있는 claude-code-trace 같은 도구들이 이미 여럿 나와 있다. 세션 로그를 다루는 CLI 도구도 늘었다. 방에서 언급된 가재코드(Gajae Code, GJC)는 bellman.pub이 만든 외부 코딩 에이전트 하니스로, 클로드코드나 코덱스 CLI 옆에서 구조화된 계획과 지속적인 증거 관리, 격리된 작업 트리를 지원하는 도구로 소개돼 있다. 클로드코드·코덱스 CLI·제미나이 CLI에 이어 가재코드까지, 한 사람이 여러 AI 코딩 CLI를 동시에 쓰며 그 흔적을 직접 분석하는 게 특별한 일이 아니게 된 셈이다.

바이브코딩의 맥락과 'AI 리터러시' 평가

바이브선생류 도구가 등장한 배경에는 '바이브코딩'이라는 용어 자체의 확산이 있다. 2025년 2월 안드레이 카파시가 "바이브에 완전히 몸을 맡기고 코드가 존재한다는 사실조차 잊는" 새로운 코딩 방식이라고 정의하며 퍼뜨린 말로, 개발자가 직접 문법을 타이핑하는 대신 자연어로 의도를 전달하고 AI가 구현을 맡는 흐름을 가리킨다. 이 개념이 널리 쓰이면서 업계에서는 '무엇을 만들었는가'보다 '어떻게 AI와 협업했는가'가 개발자 역량을 가르는 기준이라는 시각이 힘을 얻고 있다. 실제로 채용 현장에서도 AI 도구를 얼마나 효과적으로 다루는지, 즉 AI 리터러시를 평가 지표로 삼는 사례가 늘고 있다는 분석이 나온다. 바이브선생이 "무엇을 만들었는가가 아니라 어떻게 만들었는가"를 표방하며 요청 분해·검증·오케스트레이션·메타인지 같은 축을 자동 채점하는 것도 이런 흐름과 맞닿아 있다. 다만 카파시 본인조차 이후 진지한 프로젝트에서는 바이브코딩의 한계를 인정한 바 있어, 점수화된 자가진단 도구 역시 절대적인 실력 지표라기보다 스스로의 습관을 되돌아보는 참고 자료로 받아들이는 편이 합리적이라는 신중론도 함께 짚어볼 만하다.

정리

바이브선생은 클로드코드 대화 로그만으로 AI 협업 습관을 6축·7레벨 체계로 채점해주는 오픈소스 멘토링 도구로, 방에서는 실제로 점수가 올랐다는 후기와 함께 "숫자보다 실무 활용도가 우선"이라는 신중론이 공존했다. 세션 로그를 분석해 성장을 추적하려는 시도는 바이브선생 하나에 그치지 않고, 클로드코드·코덱스·가재코드 등 여러 CLI 도구의 로그를 직접 파고드는 커뮤니티 자체 도구로도 번지고 있다. 결국 관건은 채점표의 숫자보다 그 피드백을 다음 세션에서 실제로 고쳐 써먹느냐에 달려 있다는 것이 방 안팎의 공통된 결론이었다.