AI 챗봇 응답이 느려지고 메시지 순서가 꼬이는 이유

방에서는 챗봇이 어떤 메시지엔 답하지 않고 넘어가거나, 한참 지나서야 밀린 답을 한꺼번에 쏟아내는 장면이 여러 번 나왔다. 참여자들은 큐가 밀린 것 아니냐고 물었고, 비슷한 카카오톡 봇을 쓰는 사람은 왜 이렇게 느리냐고 되물었다. 봇 스스로는 여러 발화가 동시에 들어오면 응답 순서가 밀린다고 답했다. 이 설명이 실제로 어디까지 맞는 말인지, 웹에서 확인되는 사실로 짚어본다.

잡담엔 3초, 리즈닝을 켜면 왜 배로 느려지나

방에서 나온 설명 하나는 명확했다. 잡담은 3초 안팎으로 답하지만 리즈닝을 넣으면 눈에 띄게 느려진다는 것. 이 설명은 리즈닝(추론) 모델의 구조적 특성과 맞아떨어진다.

추론 모델은 최종 답을 내놓기 전에 내부적으로 생각 토큰을 먼저 생성한다. 이 사고 과정은 사용자에게 보이지 않지만 시간은 그대로 소비한다. 출력 토큰은 한 번에 하나씩만 순차적으로 만들어진다. 그래서 사고 토큰이 길어질수록 첫 답이 나오기까지 걸리는 시간도 그만큼 늘어난다.

API 지연시간을 비교한 조사에서는 이 차이가 수치로도 드러난다. 리즈닝을 켜지 않은 표준 모델보다 리즈닝을 켠 모델에서 첫 토큰이 늦게 나오는 경향이 확인된다. 일부 벤치마크에서도 리즈닝 모델의 첫 응답이 더 늦게 나타났다.

앤트로픽의 확장 사고 기능을 다룬 활용 사례 분석들도 비슷한 폭을 보고한다. 사고 토큰 예산을 5천 토큰만 늘려도 응답까지 5~15초가 추가된다. 맥락이 긴 요청에 사고 예산을 키우면 첫 단어가 나오기까지 더 오래 걸리는 경우도 있었다. 반대로 사고 예산을 줄이면 같은 질문도 몇 초 만에 끝난다. 리즈닝을 켜고 끄는 스위치 하나가 속도와 비용을 맞바꾸는 손잡이인 셈이다.

메시지가 몰리면 왜 순서가 밀리나

리즈닝 지연과는 별개로, 동시에 여러 메시지가 들어올 때 생기는 지연은 원인이 다르다. 대부분의 챗봇은 들어온 메시지를 순서대로 쌓아두는 큐를 두고 비동기로 하나씩 꺼내 처리한다. 메시지가 한꺼번에 몰리면 큐에 쌓이는 속도가 처리 속도를 앞지르고, 뒤에 들어온 메시지일수록 대기 시간이 길어진다.

시스템 설계 가이드들은 큐가 쌓이는 깊이와 대기 시간을 지표로 감시하라고 권한다. 대기 시간이나 큐 길이가 처리 용량을 넘어서면 경고를 띄우는 방식이 쓰인다. 밀린 메시지가 뒤늦게 한꺼번에 나오는 현상은 큐가 쌓였다가 처리되는 과정으로 설명될 수 있다.

모델을 서빙하는 인프라 단에서도 같은 트레이드오프가 반복된다. 한 서빙 최적화 가이드에 따르면 처리량을 높이려 요청을 크게 묶어 배치 처리한다. 배치 크기를 64로 키웠을 때 처리량은 14배 늘지만 개별 요청의 지연은 4배 늘어난다. 처리량과 개별 응답 속도는 같은 방향으로 움직이지 않는다.

API 제공사가 두는 상한선도 변수다. 앤트로픽 API에는 스타트·빌드·스케일 3단계의 사용 등급이 있다. 분당 요청 수 상한은 모델과 사용 등급에 따라 정해진다. 소규모 팀이 쓰는 봇이 이 상한에 걸리면, API는 초과 요청에 429 오류를 반환할 수 있고 봇 구현에 따라 재시도가 지연될 수 있다. 방 봇이 말한 동시 요청이 쌓이면 순서가 밀린다는 설명은 이 구조와 맞을 수 있다.

디스코드처럼 대량 메시지를 다루는 플랫폼에서도 같은 문제가 반복된다. API가 429 오류로 요청을 거절하면 곧바로 재시도하지 말고, 재시도 대기시간을 지켜 다시 시도하라는 게 표준적인 권고다. 그렇게 하지 않으면 같은 한도에 다시 걸려 지연이 오히려 길어진다.

비슷한 소동은 이 방만의 일이 아니다

리즈닝 강도 조절이 지연으로 직결된 사례는 대형 서비스에서도 반복됐다. GPT-5 출시 이후 고강도 추론 모드의 일부 요청에서 응답이 오래 걸렸다는 보고가 나왔다. 보도에 따르면 자동 전환 기능 일부가 출시 당일 제대로 작동하지 않아 의도한 모델 선택이 이뤄지지 않았다. 레딧에서는 관련 게시물 하나에 수천 개의 반응이 몰릴 정도로 논란이 커졌다.

리즈닝 모델을 실제로 써본 사람들 사이에서는 답을 기다리다 지쳐 포기하게 된다는 불만이 드물지 않게 나온다. 속도보다 정확도를 우선한 설계라는 걸 알아도, 기다리는 쪽에서는 그 차이가 잘 와닿지 않는다는 반응도 있다.

지연을 없앨 수 없다면 체감을 어떻게 줄이나

응답을 부분적으로 흘려보내는 스트리밍 방식은 체감 지연을 크게 줄인다는 연구 결과가 있다. 전체 생성이 끝나기 전에 사용자가 답의 일부를 볼 수 있기 때문이다. 타이핑 표시 같은 로딩 신호도 효과가 있다. 아무 표시 없이 기다리는 것보다 처리 중이라는 신호가 있는 편이 만족도가 높다는 조사가 여럿이다.

답이 너무 빨리 오면 오히려 신뢰가 떨어진다는 관찰도 흥미롭다. 즉시 돌아오는 답은 사람이 아니라 정해진 문구를 뱉는 스크립트처럼 느껴질 수 있기 때문이다. 처리하고 있다는 느낌 자체가 신뢰를 만드는 요소로 작동한다.

개인 개발자나 소규모 팀이 봇을 직접 운영한다면 손댈 수 있는 지점이 몇 군데 있다. 캐주얼한 대화엔 사고 예산을 낮게, 복잡한 질문에만 깊은 추론 예산을 걸어 나누는 방식이 첫 번째다. 큐에 우선순위를 둬서 짧은 질문을 먼저 처리하는 방식도 있다. 동시 요청이 API 상한에 걸릴 걸 대비해 지수 백오프로 재시도 간격을 벌리는 처리도 디스코드 봇 운영에서 흔히 쓰인다.

방 봇이 밝힌, 동시 요청이 쌓이면 순서가 밀린다는 설명은 거짓이 아니다. 다만 그 지연이 리즈닝 자체의 구조적 지연인지, 큐잉과 상한선이 겹친 결과인지는 서로 다른 문제이고 해법도 다르다. 이 방 봇이 캐주얼 질문과 리즈닝이 필요한 질문을 다른 처리 경로로 나누고 있는지는 확인해볼 지점이다. 스트리밍이나 타이핑 표시를 붙일 여지가 있는지도 마찬가지다.