Qwen3.8-27B 로컬 구동, 맥 128GB냐 연구실 서버냐

8월 14일 알리바바가 27B급 오픈웨이트 모델 Qwen3.8-27B를 공개하자 클코단에서도 로컬 구동 장비 이야기가 오갔다. 128GB 메모리를 넣은 맥북을 새로 사야 하는지, 아니면 있는 연구실 서버를 돌리면 되는지가 쟁점이었다. 공교롭게도 애플이 메모리 품귀를 이유로 맥 스튜디오의 고용량 구성을 그해 봄부터 잇달아 단종시키던 시점과 겹쳤다. 질문은 취향의 문제가 아니라 '지금 살 수 있는가'로 좁혀졌다.

Qwen3.8-27B는 왜 로컬 구동 화두가 됐나

Qwen3.8-27B는 280억 개 파라미터의 밀집형(dense) 모델이다. 이미지·영상을 함께 이해하는 비전 기능과 26만2천 토큰 네이티브 컨텍스트(확장 시 100만 토큰)를 갖췄다. 라이선스는 상업적 활용에 제약이 적은 아파치 2.0이다. 이틀 앞서 나온 2.4조 파라미터짜리 플래그십 Qwen3.8-2.4T-A95B가 인프라 과시용 성격이 강했다면, 27B는 실제로 내려받아 돌려볼 수 있는 크기라는 점에서 커뮤니티의 반응이 더 뜨거웠다. 전작 Qwen3.6-27B 대비 코딩 에이전트 벤치마크인 DeepSWE 점수가 13.3에서 42.2로 세 배 넘게 뛰었다는 공식 모델 카드 수치도 확산에 힘을 보탰다.

오픈소스 진영에서 프론티어급 API에 근접한 모델을 계정도 결제도 없이 내려받아 쓸 수 있게 됐다는 사실 자체가 공개 직후 개발자 커뮤니티에서 나온 흥분의 핵심이었다. 그 흥분이 곧바로 '그럼 뭘 사야 돌아가나'라는 실무 질문으로 넘어간 곳은 클코단만이 아니었다.

128GB까지 필요한 모델은 아니다

먼저 확인할 사실은 용량이다. Qwen3.8-27B 전체 가중치는 BF16 기준 약 55.6GB, FP8 양자화로는 약 28GB, 4비트로 압축하면 14~16GB까지 줄어든다. 짧은 컨텍스트에서 KV 캐시를 더한 실사용 총량은 대략 17~19GB로 측정되지만, 컨텍스트 길이에 따라 늘어난다. 이 용량은 한 장의 16GB 그래픽카드에 여유 있게 들어가는 수준이 아니라는 점은 헷갈리기 쉽다.

다시 말해 채팅 정도의 가벼운 용도라면 24GB 통합 메모리를 가진 맥 한 대로도 4비트 모델을 충분히 띄울 수 있다. 128GB가 필요해지는 지점은 따로 있다. 26만 토큰짜리 긴 컨텍스트를 실제로 다 채우거나, 코딩 에이전트가 여러 세션을 동시에 돌리며 KV 캐시를 반복 누적시키는 워크로드에서는 메모리 요구량이 크게 불어난다. 방에서 128GB를 놓고 고민이 나온 배경도 단순 채팅이 아니라 이런 확장 사용을 염두에 둔 쪽에 가까웠다.

대역폭이 진짜 병목이다

용량보다 더 결정적인 변수는 대역폭이다. LLM 추론은 토큰 하나를 만들 때마다 모델 가중치 전체를 메모리에서 다시 읽어야 하므로 처리 속도는 대략 '메모리 대역폭 ÷ 모델 크기'로 결정된다. 애플 실리콘 중 가장 빠른 M3 Ultra의 통합 메모리 대역폭이 초당 819GB인 데 비해, 엔비디아 RTX 5090 한 장의 전용 VRAM 대역폭은 초당 1,792GB에 달한다. 실측에서도 M4 Max가 70B급 양자화 모델을 초당 한 자릿수에서 10여 토큰으로 처리한다는 결과가 있지만, RTX 5090과는 모델 적재와 양자화·오프로딩 조건이 달라 단순 비교하기 어렵다.

27B급에서도 격차는 비슷하게 벌어진다. MLX 4비트로 돌린 Mac mini M4(32GB) 실측은 초당 5~6토큰에 그친 반면, 속도에 맞춰 튜닝한 M5 Max 구성은 초당 58~65토큰까지 올라간다는 커뮤니티 벤치마크도 있었다. 하드웨어와 양자화·추론 설정에 따라 체감이 열 배 넘게 갈릴 수 있다는 뜻이다. 국내 대학 연구실에서 흔히 갖춘 RTX A6000 네 장(장당 48GB, 합계 192GB) 구성은 총 대역폭에서도, CUDA 기반 파인튜닝 생태계 성숙도에서도 단일 맥 스튜디오를 앞선다. '연구실 서버가 있으면 됐다'는 방의 의견은 순수 처리 속도만 놓고 보면 근거가 있다.

128GB 맥북 프로는 주문 가능하고 맥 스튜디오 고용량 구성은 줄었다

다만 맥 쪽 선택지 자체가 올해 들어 계속 줄어드는 중이다. 애플은 2026년 3월 맥 스튜디오의 512GB 메모리 옵션을 제거했다. 이어 256GB 옵션 가격을 400달러 올렸고, 5월에는 M4 Max의 128GB와 M3 Ultra의 256GB 옵션을 빼면서 맥 스튜디오는 96GB가 최상위 구성으로 남았다. 팀 쿡 애플 최고경영자는 실적발표에서 공급망 유연성이 예년만 못하고 메모리 도매가가 큰 폭으로 오르고 있다고 밝혔다. 데이터센터용 고대역폭 메모리 수요가 D램 생산능력을 흡수하면서 벌어진 일이다.

M5 Max 칩을 쓰는 맥북 프로에는 128GB 옵션이 남아 있고 현재 주문도 가능하지만, 맥 스튜디오의 128GB 옵션은 빠졌다. 이 여파로 신형 맥북 프로 가격도 이전 세대보다 최대 400달러 뛰었다. 128GB 메모리 맥북을 사야 하나 고민하던 방의 대화는 취향의 문제가 아니라 그 구성 자체를 지금 정상적으로 주문할 수 있느냐는 재고 문제와 맞물려 있었다.

MLX로 돌려본 사람들의 체감

MLX는 애플이 자사 실리콘 전용으로 만든 오픈소스 배열·머신러닝 프레임워크다. CPU와 GPU가 물리 메모리를 그대로 공유하는 통합 메모리 구조를 살려 데이터 복사 없이 추론을 돌린다. mlx-community 저장소에는 4비트·8비트로 미리 양자화된 Qwen 계열 모델이 다수 올라와 있고, LM Studio 같은 그래픽 도구를 쓰면 명령줄 없이도 바로 내려받아 실행할 수 있다.

실제로 맥에서 MLX로 이런 모델을 돌려본 사람들 사이에서는 프론티어급에 가까운 모델을 계정 없이 오프라인으로 굴릴 수 있다는 데 신기해하는 반응이 많았다. 동시에 클라우드 API의 응답 속도에는 못 미친다는 불만도 꾸준히 나왔다. 가끔 켜서 프로토타입을 시험하는 용도로는 충분하지만, 에이전트를 붙여 반복 호출하는 워크로드에서는 대기 시간이 거슬린다는 의견이 흔했다.

연구실에 이미 GPU 서버가 있다면 새 장비부터 알아볼 이유가 크지 않다는 그림이 이번 조사로 드러났다. 맥은 대역폭에서 여전히 전용 GPU 서버에 못 미친다. 128GB 맥북 프로는 지금도 주문할 수 있지만, 맥 스튜디오의 128GB 구성은 빠져 있다. 없는 것을 무리해서 구하기보다, 손에 쥔 서버로 4비트 양자화 모델을 먼저 돌려보는 쪽이 지금 상황에 맞는 판단이다.