바이브 코딩엔 랙서버보다 램 32GB, NVLink 없는 추론의 실체

NVLink 없는 텐서 병렬, 조건부로만 맞다.

클코단 방에 랙 사진 한 장이 올라오면서 대화가 시작됐다. 스토리지 서버인지 보안 장비인지 정체를 두고 추측이 오갔고, 화제는 자연스레 개인이 집에 AI 연산 장비를 놓을 수 있는지로 번졌다. NVLink가 없어도 추론은 돌아간다는 의견이 나왔다. 정작 바이브 코딩에 쓸 노트북 이야기로 넘어가자 결론은 32GB 램 하나로 좁혀졌다. 랙서버를 향한 호기심과 실제로 필요한 사양 사이, 그 간극이 어디서 갈리는지 짚어봤다.

NVLink 없는 텐서 병렬, 조건부로만 맞다

NVLink가 없는 상태에서도 텐서 병렬 방식을 프레임워크가 받쳐주면 추론 자체는 돌아간다는 게 방에서 나온 입장이었다. 방향은 맞지만 조건이 빠졌다. A100·H100의 NVLink는 GPU당 양방향 600~900GB/s를 제공하는 반면, PCIe 4.0 x16은 양방향 약 64GB/s다. 텐서 병렬은 레이어마다 GPU끼리 계산 결과를 맞춰보는 all-reduce 연산을 거친다. 통로가 좁으면 계산보다 통신에 더 많은 시간이 든다.

시스아트 컨설팅의 온프레미스 추론 분석 역시 70B급 모델의 텐서 병렬은 PCIe에서 통신 오버헤드가 커질 수 있다고 짚는다. NVLink 없는 환경에 vLLM 문서가 권하는 대안은 파이프라인 병렬이다. GPU마다 레이어를 통째로 나눠 맡기고 순서대로 넘기는 방식이라 통신량이 훨씬 적다.

개인용 하드웨어 사정도 걸린다. 엔비디아는 RTX 40 시리즈부터 소비자용 플래그십에서 NVLink를 뺐다. 엔비디아 공식 사양에 따르면 RTX 4090은 NVLink를 지원하지 않는다. 젠슨 황은 그 자리를 AI 연산용 실리콘에 내줬다고 밝혔다. 카드를 여러 장 묶는 비용을 걱정했던 방 의견에는 근거가 있다. 카드값을 감당해도 통신 구조 자체가 발목을 잡을 수 있어서다.

사무실이냐 집이냐, 전기료와 소음의 계산

전기 요금과 소음을 고려하면 개인용 연산 장비는 집보다 사무공간에 두는 편이 낫다는 의견이 방에서 오갔다. 추정치도 같은 방향을 가리킨다. 전력 소비 추정치에서는 RTX 5090 데스크톱이 맥 스튜디오나 맥북 프로 M4 맥스보다 전기료가 더 많이 드는 것으로 계산된다. 여름철 냉방 부담까지 더하면 가정용 전기료가 더 늘어날 수 있다. 사무실의 냉방 여건에 따라 그 부담을 줄일 수 있다.

소음도 무시하기 어렵다. 맥미니는 추론 중에도 거의 무음이지만, GPU 여러 장을 채운 타워형 PC는 다르다.

클라우드 API 지출이 큰 헤비 유저라면 계산이 달라진다. AI슈페리어는 중간에서 높은 수준의 사용량이면 로컬 장비가 6~12개월 안에 손익분기점에 이를 수 있다고 분석한다. 방에서 오간 랙서버 로망은 사무실에 여유 공간과 냉방이 있고 클라우드 비용이 실제로 부담되는 사람에게만 계산이 선다.

바이브 코딩엔 32GB 램, 근거는 따로 있다

정작 방의 결론은 개인 서버가 아니라 노트북 사양이었다. Claude Code 공식 문서는 최소 사양을 4GB로 잡는다. 큰 프로젝트에서는 메모리 사용량이 커질 수 있다. 다만 서브에이전트를 여러 개 병렬로 띄우고 워크트리를 나눠 쓰는 모노레포 작업이라면 메모리 여유가 필요하다. 여러 도구를 동시에 돌리면 16GB로는 한계에 부딪힐 수 있으니 32GB 이상이 필요하다는 진단도 방에서 나왔다.

CPU 이야기도 근거가 있다. Claude Code의 CPU 사용량은 작업 내용과 실행 환경에 따라 달라진다. 서브에이전트가 테스트나 개발 서버 실행 같은 작업을 맡으면 로컬 자원을 더 사용할 수 있어서다. 앤트로픽 깃허브 이슈 트래커에는 세션이 30분 정도 길어지면 CPU와 메모리 사용량이 누적돼 느려진다는 보고가 있다. 같은 대화를 새 세션으로 다시 열면 바로 정상 속도로 돌아온다. 해당 제보자는 컨텍스트 크기보다 실행 중인 프로세스의 문제를 의심했다. CPU와 메모리 사용량이 도구 호출 체감 속도에 영향을 줄 수 있다는 방 얘기와 맞닿는다.

노트북 선택은 실제로 맥북 쪽 의견이 많았다. 윈도우는 백그라운드 서비스까지 겹치면 16GB 환경에서 여유 메모리가 빠르게 줄 수 있다는 후기가 있다. 반면 맥은 통합 메모리 구조 덕에 같은 용량에서 체감 여유가 더 크다는 평이 자주 보인다. 바이브 코딩 자체가 실제 연산을 클라우드에 위탁하는 작업이라 로컬 GPU 성능은 크게 중요하지 않다는 지적도 있다. 로컬에서는 IDE와 브라우저, WSL, 여러 에이전트 프로세스를 동시에 띄운 운영체제 쪽의 부담도 커진다.

램 용량은 사양표가 아니라 서브에이전트 개수가 정한다

맥 스튜디오와 커스텀 GPU PC를 비교한 2026년 가이드들은 용도를 갈라서 답한다. 7B~34B급 모델을 자주 돌리며 실험하고 파인튜닝까지 하려면 CUDA 생태계가 넓은 PC가 유리하다. 혼자 쓰는 코딩 어시스턴트나 70B급 모델을 가끔 돌리는 정도면 조용하고 메모리 큰 맥이 낫다. RTX 5090 한 장의 메모리 대역폭은 초당 1792GB로 맥 미니 M4 프로의 6.6배, 최상위 맥 스튜디오 M4 맥스 구성의 3.3배에 달한다. 다만 그 속도 차이는 바이브 코딩처럼 클라우드 API를 호출하는 작업에서는 크게 체감되지 않는다.

방에서 랙서버 사진을 보고 개인 AI 설비 이야기로 번진 건 자연스러운 호기심이었다. 실제로 사양을 정할 때 기준이 되는 건 텐서 병렬이 되느냐 안 되느냐가 아니다. 서브에이전트를 몇 개나 동시에 띄울지도 램 용량을 정할 때 고려할 요소다.

랙을 채울지, 32GB 노트북 한 대로 끝낼지 판단할 때도 그 질문을 고려할 수 있다.