클로드 오퍼스 4.6 넘었다는 로컬 27B 모델, 벤치마크 실체 검증

지난주 알리바바 통이랩이 27B 파라미터 오픈웨이트 모델 Qwen3.8-27B를 공개했다. "SWE-bench Pro 등 19개 벤치마크 중 15개에서 클로드 오퍼스 4.6을 앞질렀다"는 수치가 함께 퍼졌다. 클코단에서도 화제에 올랐지만 반응은 환호보다 의심 쪽이었다 — 27B급 로컬 모델이 최상위 폐쇄형 모델과 동급이라니, 곧이곧대로 믿기는 어렵다. 이 벤치마크가 실제로 무엇을 쟀는지, 이 수치만으로 로컬 모델 구매를 결정해도 되는지를 확인했다.

"19개 중 15개 승리"는 누가 낸 수치인가

Qwen3.8-27B는 8월 14일 아파치 2.0 라이선스로 공개된 27B 파라미터 밀집형 멀티모달 모델이다. 텍스트·이미지·비디오를 입력받고 26만2144토큰 컨텍스트를 지원하며, 24GB급 VRAM에서도 구동된다. 전작 Qwen3.6-27B 역시 발표 당시 체급을 훌쩍 넘는 코딩 성능으로 화제였던 터라 후속작 기대치는 낮지 않았다. 모델 카드에는 OSWorld, AndroidWorld, SWE-bench Pro, LiveCodeBench v6 등에서 오퍼스 4.6을 웃돈다는 표가 실렸다.

이 표의 Qwen 수치는 알리바바 자체 측정이며, 비교군 점수는 출처와 측정 조건이 섞여 있다는 게 문제다.

해커뉴스 스레드에서는 에이전트 하니스와 temperature 설정, 프롬프트 구성이 Qwen 쪽 측정과 원래 오퍼스 점수를 낸 조건과 서로 달라 단순 비교가 성립하지 않는다는 지적이 나왔다. 정보 사이트 킹와이닷에이아이가 확인한 시점까지 독립 재현 결과는 없었고 학습 데이터 구성·토큰 수·사후학습 방식·안전성 평가 항목도 공개되지 않았다.

오퍼스를 이겼다는 모델, 사실은 27B가 아니었다

방 논의의 회의론을 가장 강하게 뒷받침하는 사실은 따로 있다. "Qwen 3.8이 오퍼스급"이라는 평가 중에는 27B 오픈웨이트 모델이 아니라, 같은 세대의 2조4000억 파라미터급 플래그십 Qwen3.8-Max를 가리키는 것도 있었다. 알리바바는 7월 프리뷰 당시 Max 모델을 두고 벤치마크 이름도 점수도 없이 내부 평가 기준 "Fable 5 다음"이라고만 밝혔다.

반대로 27B는 모델 카드와 구체적 수치를 공개했지만 독립 검증이 붙지 않았다. 밀집형 소형 모델과 초대형 모델에는 같은 세대 번호가 붙었다. AI 평가 사이트 아티피셜애널리시스는 이 글을 쓰는 시점까지 27B 모델을 색인조차 하지 않았다.

61.7점이 나온 벤치마크 자체가 원래 어려운 시험이다

Qwen3.8-27B가 자체 발표한 SWE-bench Pro 점수는 61.7점이다. 이 벤치마크는 스케일AI가 기존 SWE-bench Verified의 허점 — 오염된 테스트셋, 지나치게 쉬운 과제 — 을 보완하려고 만든 후속판으로, GPL 계열 공개 저장소와 비공개 기업 코드베이스를 별도 세트로 구성해 오염 가능성을 낮췄다. 등장 당시 최상위권이던 GPT-5와 오퍼스 4.1조차 23% 안팎에 그쳤을 만큼 난이도가 높다.

Qwen 자체 평가에서 27B급 모델이 60점대를 냈다면 이례적인 도약이다.

"벤치마크 치팅 가능성부터 점검하자"는 방의 의견이 근거 없는 말은 아니었던 셈이다. 모델 규모가 크게 차이 나는 상대를 특정 과제에서 앞서는 일 자체는 가능하지만 검증되지 않은 자체 발표 수치 하나로 판단하기엔 이르다.

실제로 돌려본 사람들의 후기는 갈렸다

개발 도구 리뷰로 알려진 사이먼 윌리슨은 27B를 LM스튜디오에서 직접 돌려보고 코드 작성·이미지 주석·툴 사용 능력 자체는 우수하다고 평가했다. 다만 기본값인 xhigh 추론 모드에서 지나치게 오래 생각하는 문제를 지적했다. 같은 문제를 워드프레스 플러그인 코드로 시험한 다른 사용자는 모델이 "최종 방안"이라는 말을 반복하며 스스로 결론을 못 내리는 모습까지 봤다고 전했다.

속도도 걸림돌이다. 해당 후기의 로컬 LM스튜디오 환경에서는 초당 15~30토큰 수준으로, 비교한 API 모델보다 눈에 띄게 느렸다. 추론 강도를 xhigh·medium·low 세 단계로 나눠 쓸 수 있지만 기본값을 낮추지 않으면 체감 속도는 더 나빠진다. 써본 사람들 사이에서는 절대 성능보다 "생각을 너무 오래 한다"는 반응이 두드러졌다 — 방에서 나온 "모델 규모와 실제 체감 성능은 구분해서 봐야 한다"는 지적과 맞닿는 대목이다.

맥북부터 지르기 전에 API로 먼저 찔러보라는 제안이 맞다

로컬로 27B를 4비트 양자화로 돌릴 때 필요한 메모리는 양자화 형식과 컨텍스트 설정에 따라 달라진다. 96GB 구성 맥 스튜디오는 5299달러부터다. 2026년 D램 공급 부족이 이어지는 가운데 애플은 메모리 업그레이드 가격을 올렸고, 512GB 구성은 판매에서 빠졌다. 방에서 오간 대용량 메모리 맥북 구매 고민도 결국 이 가격표 앞에서 다시 계산기를 두드릴 수밖에 없는 문제다.

Qwen3.5-Plus의 API 요금은 입력 기준 오퍼스 4.6의 약 13분의 1 수준이다. 오퍼스 4.6이 100만 토큰당 입력 5달러·출력 25달러인 반면 Qwen3.5-Plus는 25만6000토큰 이하 요청에서 0.4달러·2.4달러다. "하드웨어 사기 전에 API로 먼저 써보자"는 방의 제안은 이 가격 차이만 봐도 합리적인 순서다. 개인 개발자나 소규모 팀 입장에서는 벤치마크 표 한 장으로 고가 장비를 정당화하기보다, 자기 코드베이스를 API로 먼저 물려 응답 속도와 과잉 사고 여부를 확인하는 쪽이 손해가 적다. 27B와 Max 중 어느 쪽 수치를 보고 있는지부터 다시 확인할 필요도 있다. 독립 재현이 나오기 전까지 이 수치가 로컬 구매를 정당화할 근거인지는, 결국 각자 자기 작업으로 직접 시험해보는 수밖에 없다.