DGX Spark로 개인 에이전트 돌리기, 초당 45토큰의 의미

개인 개발자가 128GB 메모리를 가진 손바닥만 한 컴퓨터에 자기만의 AI 에이전트를 얹고 싶다면 얼마나 빨라야 쓸 만할까. 클코단에서는 엔비디아 DGX Spark로 Nemotron 계열 모델을 돌려 초당 45~50토큰 정도면 오픈소스 에이전트 플랫폼 Hermes Agent를 굴리기에 충분하다는 이야기가 오갔다. 정작 어떤 모델을 어떻게 서빙하는지는 답이 나오지 않았다. 그 빈틈을 채워 보면 이 숫자가 DGX Spark의 여러 실측 범위와 맞닿아 있다는 게 드러난다.

DGX Spark라는 상품의 정체

DGX Spark는 엔비디아가 2025년 10월 내놓은 개인용 AI 슈퍼컴퓨터다. 그레이스 블랙웰 GB10 슈퍼칩에 20개 Arm 코어, 128GB 통합 LPDDR5X 메모리, 4TB SSD를 담아 가로세로 15cm 남짓, 무게 1.2kg 크기 안에 FP4 기준 최대 1페타플롭스 연산력을 넣었다. 출시가는 3999달러였다. 이후 메모리 공급이 빠듯해지면서 2026년 2월 기준 4699달러까지 올랐다.

이 기기의 존재 이유는 단순하다. 클라우드 GPU를 빌리지 않고도 최대 2000억 파라미터급 모델을 개인 책상 위에서 돌리게 하는 것. 두 대를 ConnectX-7로 묶어 더 큰 모델을 나눠 돌리는 구성도 개발자 포럼에서 공유되고 있다. 회사 계정이나 API 키 없이 자기 소유 하드웨어에서 에이전트를 상시로 돌리는 용도, 방에서 나온 'Spark를 개인용으로 쓴다'는 말이 가리키는 지점도 바로 여기다.

45~50 토큰이 걸리는 자리

방에서 언급된 'Nimotron'은 표기 오차다. Nemotron 3.5 Lightning은 엔비디아가 2026년 8월 내놓은 에이전트 특화 모델이다. 300억 파라미터 규모의 MoE 구조로 장시간 돌아가는 에이전트의 반복 작업을 빠르게 처리하도록 설계됐다. 엔비디아는 이 모델과 함께 추측 디코딩용 DFlash·DSpark 드래프트 모델을 내놓았다. DGX Spark에서 Ollama로 돌린 실측에서는 초당 72~87토큰의 디코딩 속도가 나왔다. 프리필 속도는 2600토큰 안팎으로 별개다.

추측 디코딩 여부와 모델·서빙 설정에 따라 이 수치는 달라진다. GPT-OSS 20B를 MXFP4로 서빙했을 때 디코딩 속도는 초당 49.7토큰으로 측정됐다. 8B급 모델을 로컬로 돌린 별도 실측에서도 42.6토큰 수준이 나왔다. 이 구간과 거의 겹치는 게 방에서 나온 '45~50 토큰'이라는 수치다. 최적화를 걸지 않은 기본 서빙 상태의 체감 속도를 말하고 있을 가능성이 크다.

에이전트 루프에서는 프리필과 디코딩 속도가 모두 체감에 영향을 준다. 도구를 부르고 결과를 받아 다음 판단을 문장으로 뽑아내는 매 단계에 프리필과 디코딩이 모두 포함되기 때문이다. 45~50토큰은 대화형으로는 넉넉하지만 도구 호출이 여러 겹 쌓이는 무거운 작업에서는 대기시간이 누적된다.

Hermes Agent를 얹는 절차

Hermes Agent는 누스리서치가 만든 오픈소스 에이전트 플랫폼이다. 도구 실행과 크론 예약에 더해, 스스로 메모리 항목을 추가·수정·삭제하는 memory 도구를 갖췄고 Mem0·Honcho·OpenViking 같은 외부 메모리 플러그인 8종을 얹어 지식 그래프나 자동 사실 추출 기능을 붙일 수 있다. 교정에서 얻은 내용을 기억이나 절차형 스킬로 저장할 수 있다. 저장 전에 사용자 승인을 받도록 설정할 수도 있다.

엔비디아는 build.nvidia.com에 DGX Spark용 Hermes Agent 설치 가이드를 공식으로 올려 두었다. 먼저 vLLM으로 로컬 모델 서버를 띄운다 — 가이드가 권하는 기본값은 Qwen3.6-35B-A3B의 NVFP4 양자화 버전이다. Nemotron 3.5 Lightning이나 GPT-OSS 20B·120B로 바꿔 끼울 수도 있다. 이 서버가 OpenAI 호환 엔드포인트로 열리면 Hermes Agent를 그 주소에 붙여 터미널이나 텔레그램으로 대화를 주고받는다. Ollama나 LM Studio로 더 가볍게 시작할 수도 있다.

Claude Code 사용자라면 hermes-mcp 같은 오픈소스 브리지로 로컬 Hermes Agent에 작업을 위임할 수 있다. 'Spark에서 어떤 모델로 서빙하는지'는 방에서 나온 질문이지만 정답은 없다. vLLM이 서빙 계층이고 그 위에 얹는 모델은 용도에 맞춰 고르는 선택지일 뿐이다.

대역폭이 발목을 잡는 지점

DGX Spark를 둘러싼 비판은 거의 다 한곳으로 모인다. 메모리 대역폭이다. 통합 메모리 273GB/s는 RTX 5070의 672GB/s에도 못 미친다. IntuitionLabs가 인용한 GPT-OSS 120B 벤치마크에서는 RTX 3090 세 장 구성이 DGX Spark보다 디코딩 처리량이 높았다. 엔비디아 개발자 포럼에는 현재 상태에 매우 실망했다는 글이 올라올 정도로 실사용 반응이 마냥 우호적이지만은 않다.

국내 커뮤니티 후기도 엇갈린다. 클리앙·퀘이사존 등에는 128GB 통합 메모리 덕에 200B급 모델까지 개인 책상에서 돌릴 수 있다는 호평과 함께, USB·전원·발열·ConnectX-7 관련 문제가 겹쳐 나타난다는 경고도 함께 올라와 있다. 생업이나 학업에 당장 필요한 게 아니라면 문제가 정리될 때까지 구매를 미루라는 의견도 있었다.

가격 경쟁력도 흔들린다. AMD 스트릭스 헤일로나 애플 M4 프로 미니처럼 더 낮은 가격의 대안도 있어서다. 다만 오픈소스 LLM 생태계 대부분이 CUDA를 1순위로 최적화한다는 점은 여전히 DGX Spark 쪽에 남는 이점이다. 엔비디아는 CES 2026에서 Qwen-235B를 듀얼 DGX Spark에서 NVFP4와 추측 디코딩으로 실행해 같은 구성의 FP8 대비 최대 2.6배 성능 향상을 발표하기도 했다.

로컬로 돌릴 만큼 쓰는가

로컬 추론이 클라우드 API보다 싸지는 지점은 사용량에 달려 있다. 구체적인 손익분기점은 모델과 API 가격, 하드웨어 비용·가동률에 따라 달라진다. 로컬 하드웨어 투자의 손익분기점도 이 조건에 따라 달라진다.

개인 개발자·1인 팀 입장에서 DGX Spark의 값어치는 속도 경쟁이 아니라 다른 데 있다. API 키 없이, 데이터를 어디에도 보내지 않고 30B급 에이전트 모델과 메모리 스택을 통째로 자기 하드웨어에 얹어 상시로 돌릴 수 있다는 점이다. 초당 45~50토큰은 실시간 대화와 크론으로 예약해 두고 밤새 돌아가는 백그라운드 에이전트 루프에 활용할 수 있는 속도다.

남는 질문은 하나다.

엔비디아가 내세운 2.5배 성능 개선이 방 안에서 나온 45~50토큰이라는 체감선을 실제로 끌어올리는지는 다음 실측이 답할 몫이다.