콜센터 로컬 AI는 정말 월 비용을 없애는가, GPU 뒤의 TCO

콜센터 AI를 사내 서버에 올리면 매달 나가는 비용이 사라질까. API 청구서는 줄일 수 있지만 통화를 처리하는 시스템은 GPU 한 장보다 훨씬 크다. 지금 필요한 질문은 "로컬이 싼가"가 아니라 "같은 품질과 가용성을 얼마에 제공하는가"다.

0원이 되는 것은 API 청구 항목뿐이다

로컬 AI는 모델 추론을 자기 장비에서 실행한다. 외부 모델의 토큰 요금은 없어지지만 장비 구입비, 감가상각, 전력, 냉각, 랙, 네트워크, 라이선스가 생긴다. 장애를 감지하고 드라이버와 모델을 갱신할 사람도 필요하다.

국제에너지기구(IEA)의 2025년 분석은 현대 데이터센터 전력에서 서버 비중을 평균 60%로 잡았다. 냉각 비중은 효율적인 하이퍼스케일 시설에서 약 7%, 덜 효율적인 기업 시설에서는 30%를 넘는다. 서버 소비전력만 전기료 계산기에 넣으면 숨은 비용이 남는 이유다.

API 청구액 0원과 운영비 0원은 같은 계산이 아니다.

커뮤니티 논의에서도 "월 비용 0원"은 구축비와 운영비를 뺀 계산이라는 비판이 많았다. 저가 모델로 바꾸면 문제가 끝난다는 판단에도 우려가 나왔다. 모델 가격은 비용표의 한 줄일 뿐, 콜센터의 완성도를 보장하지 않는다.

한 통의 전화를 처리하려면 다섯 단계를 연결해야 한다

구축은 전화 게이트웨이가 음성 스트림을 받는 데서 시작한다. NVIDIA Riva 같은 ASR이 음성을 텍스트로 바꾸고 NIM이나 vLLM이 로컬 LLM을 서비스한다. 사내 FAQ와 상담 규정을 벡터 데이터베이스에 넣으면 RAG가 관련 문서를 찾아 프롬프트에 붙인다.

LLM이 만든 답은 정책 엔진을 거쳐야 한다. 환불·예약처럼 실제 업무가 필요하면 CRM이나 사내 API를 호출한다. 확신이 낮거나 금지 조건에 걸리면 상담원에게 넘긴다. Riva TTS가 최종 문장을 음성으로 바꾸면 고객에게 돌아간다.

입력 재료는 통화 시나리오, FAQ, 금칙어, 상담원 전환 규칙, 실제 소음이 섞인 음성 샘플이다. 산출물은 단순 챗봇이 아니라 실시간 음성 응답과 상담 기록, 업무 처리 결과다. 평균 지연만 재지 말고 첫 응답 지연, 동시통화 한계, 인식 오류, 전환 성공률을 함께 기록해야 한다.

NVIDIA 문서에서 Riva는 ASR·TTS를 gRPC 마이크로서비스로 제공하며 온프레미스와 클라우드 배포를 지원한다. NIM의 안내치는 Llama 8B에 약 15GB, Llama 70B에 약 131GB의 GPU 메모리를 잡는다. 양자화, 문맥 길이, KV 캐시에 따라 실제 요구량은 달라진다.

GPU 이름만 비교하면 서버 비용을 놓친다

RTX A6000은 48GB 메모리와 최대 300W를 갖춘 워크스테이션 카드다. L40S는 같은 48GB지만 최대 350W의 데이터센터용 제품이며 서버 섀시의 강제 공기 흐름을 전제로 한다. RTX PRO 6000 Blackwell Workstation Edition은 96GB와 최대 600W를 제공한다. 미국 NVIDIA Marketplace 표시가는 1만3250달러다.

H200은 141GB 메모리와 최대 600~700W를 쓰는 데이터센터 가속기다. NVIDIA는 H200 서버를 4장 또는 8장 구성으로 안내한다. RTX PRO 6000과 H200을 "GPU 한 장"으로 묶으면 냉각, 전원, 랙, 이중화 조건이 지워진다.

차이는 완제품에서 더 선명하다. 8개 H100 또는 H200을 넣는 DGX H100/H200은 최대 입력전력이 10.2kW다. 8U 크기에 4+2 전원 이중화를 쓰고 시간당 3만8557BTU의 열을 배출한다. 콜센터가 요구하는 24시간 가용성은 예비 장비와 복구 절차까지 비용으로 만든다.

API도 토큰 가격만 보면 싸게 보인다

Anthropic의 공식 가격표에서 Claude Sonnet 5는 입력 100만 토큰당 2달러, 출력은 10달러다. 반복되는 시스템 프롬프트와 상담 규정을 캐시에 맞히면 입력 가격이 기본의 10%로 내려간다. 사용량이 작거나 변동이 크면 초기 장비 없이 수요만큼 내는 방식이 유리할 수 있다.

그러나 API 방식도 모델 요금으로 끝나지 않는다. Amazon Connect의 AI 음성 셀프서비스는 분당 0.008달러지만 기본 음성 서비스, 전화망, Amazon Lex가 별도다. AWS의 미국 서부 3분 통화 예시는 이 항목들을 합쳐 0.1926달러다.

클라우드 GPU 역시 다른 기준점이다. AWS Capacity Blocks에서 H200 8개인 p5e.48xlarge는 시간당 39.80달러로 표시된다. 그 시간당 값을 730시간에 단순히 곱하면 약 2만9054달러다. 스토리지와 운영 인력은 빠진다. 로컬과 API 어느 쪽도 단일 숫자로 비교할 수 없다.

손익분기는 통화량보다 조건표에서 갈린다

비교표의 분모를 "성공적으로 처리한 통화 분"으로 맞춰야 한다. 로컬 월 비용에는 장비 월 감가, 전력과 냉각, 공간, 소프트웨어, 운영 인력, 장애 대비분을 넣는다. API 쪽에는 토큰, ASR·TTS, 전화망, 검색, 저장, 데이터 전송비를 더한다.

그다음 예상 동시통화가 아니라 피크 동시통화에서 같은 응답 지연과 전환 규칙을 만족하는지 시험한다. 2~4주 동안 실제 FAQ와 익명화한 음성 샘플로 두 구성을 나란히 돌리면, 분당 원가와 실패 비용을 함께 계산할 수 있다. 작은 팀은 이런 제한된 파일럿으로 고정비를 지기 전에 부하 형태를 확인할 수 있다.

써본 사람들 사이에서는 새 GPU를 사야 하고 사용량이 보통이면 API가 더 싸다는 반응이 있다. 반대로 이미 장비가 있고 반복 작업이 많거나 데이터 반출을 막아야 하면 로컬의 수고를 감수할 가치가 있다는 의견도 나온다. 어려운 추론은 Claude API로 보내고 민감한 RAG와 정형 처리는 로컬에 두는 혼합형이 자주 거론되는 이유다.

로컬 AI의 경제성은 API 청구서를 지우는 순간이 아니라, 그 혼합 경계를 수치로 정하는 순간 결정된다. 콜센터가 먼저 사야 할 것은 가장 큰 GPU가 아니라, 어떤 통화를 어디까지 자체 처리할지 보여주는 측정 결과다.