오픈채팅 챗봇 노린 프롬프트 인젝션, 3진아웃 블랙리스트로 막다

카카오톡 오픈채팅방에서 운영되는 대화형 봇에 세션ID나 GPS 좌표, 내부 UUID 같은 정보를 캐내려는 프롬프트 인젝션 시도가 이어진다. OWASP는 프롬프트 인젝션(LLM01)을 2025년 대규모 언어모델(LLM) 애플리케이션 최대 위험으로 3년 연속 지목했고, "완벽한 차단 방법은 없다"고 못박는다. 클로드 코드 사용자 커뮤니티 '클코단' 오픈채팅방에서도 실제 인젝션 시도와 이를 막아낸 가드레일 사례가 공유돼, 이론과 현장 경험을 함께 짚어볼 만하다.

프롬프트 인젝션, 왜 3년째 1위 위험인가

프롬프트 인젝션은 사용자가 입력한 문장으로 AI 모델에게 내려진 원래 지시를 무력화하거나 우회시켜, 개발자가 의도하지 않은 답변이나 내부 정보를 끌어내는 공격이다. 코드 취약점이 아니라 모델이 읽는 입력 자체를 조작한다는 점에서 '기계를 겨냥한 소셜 엔지니어링'으로 불린다. OWASP는 2025년판 LLM 애플리케이션 톱10에서도 이를 1순위로 유지했고, 최근에는 검색증강생성(RAG)을 노린 문서 오염 공격이 잘 짜인 문서 5개만으로 90% 확률로 응답을 조작할 수 있다는 연구 결과도 나왔다. 업계 전문가들은 생성형 AI의 확률적 특성상 프롬프트 인젝션을 원천 차단하는 방법은 존재하지 않으며, 입력 검증·출력 필터링·권한 제한·사람의 개입을 겹겹이 쌓는 '심층 방어'만이 현실적 대응이라고 본다.

세션ID·GPS·UUID··· 캐내려는 시도들

클코단 방에서는 참가자 일부가 봇을 상대로 세션ID, GPS, UUID 등 내부 식별 정보를 얻어내려는 다양한 인젝션을 시도한 정황이 공유됐다. 이런 시도가 낯선 일은 아니다. 2023년 2월 스탠퍼드 학생 케빈 리우는 직접 프롬프트 인젝션으로 빙 챗(Bing Chat)의 숨겨진 시스템 지침을 드러낸 바 있고, 같은 해 3월에는 챗GPT에서 약 9시간 동안 유료 이용자의 1.2%에게 이름·대화 내역·이메일·결제정보 일부가 노출되는 사고가 발생했다. 국내에서는 2021년 AI 챗봇 '이루다' 개발사가 이용자 동의 없이 수집한 카카오톡 대화가 챗봇 학습과 응대에 그대로 활용돼 논란이 된 사례도 있다. 보안 연구 그룹이 소스코드 주석에 악성 프롬프트를 숨겨 개발 환경의 API 키 등 민감 정보를 외부로 빼돌린 시연도 보고된 바 있어, '해커가 올바른 문장만으로 챗봇이 내부 정보를 스스로 발설하게 만들 수 있다'는 우려는 과장이 아니다.

"3회 걸리면 블랙리스트" — 닉네임 바꿔도 소용없는 이유

클코단 방장은 인젝션 시도가 3회 이상 감지되면 자동으로 블랙리스트에 등록되도록 봇을 설계했다고 밝혔고, 실제로 시도자가 차단되는 것이 확인됐다. 닉네임을 바꿔도 내부 식별 키값은 그대로 유지되기 때문에 차단이 풀리지 않는다는 대목이 눈길을 끈다. 이는 서비스명이 아니라 계정 ID나 디바이스 단위 식별자를 기준으로 사용자를 추적하는 어뷰징 방지 방식과 같은 원리로, 표면적인 값(닉네임)을 바꿔도 근본 식별자가 유지되면 우회가 막히는 구조다. 앤트로픽도 공식 가이드에서 입력 스크리닝, 강화된 시스템 프롬프트, 신뢰할 수 없는 도구 응답의 안전한 처리를 조합하라고 권고하며, 사용자가 공격자인 '직접 인젝션'과 신뢰된 사용자가 실어나른 제3자 콘텐츠가 공격이 되는 '간접 인젝션'을 구분해 대응해야 한다고 설명한다. 실제로 앤트로픽이 도입한 '헌법적 분류기(Constitutional Classifiers)'는 클로드 3.5 소네트 기준 탈옥 성공률을 81.6% 낮췄다고 보고된 바 있어, 자동 감지·차단 체계가 실효성 있는 방어선이라는 점은 업계 데이터로도 뒷받침된다.

레드팀 테스트, 사용자 적을 때가 기회다

클코단에서는 사용자가 적을 때 미리 레드팀 테스트를 해볼 수 있어 유용했다는 평가가 많았다. 과거 한 사내 sLLM 레드팀 테스트에서 인젝션으로 안전장치를 뚫어 부적절한 콘텐츠가 생성된 사례가 공유되기도 했는데, 이는 국내외 레드팀 사례와도 맥이 닿는다. 마이크로소프트, 앤트로픽 등 주요 사업자들도 탈옥 시뮬레이션과 적대적 테스트를 상시 운영 절차로 권고한다. 다만 완벽한 방어는 없다는 것이 업계 공통된 결론이다. 실사용자가 몰리기 전 소규모 커뮤니티에서 공격을 유도해보고 가드레일을 검증하는 방식은, 정식 방어책이 갖춰지지 않은 초기 서비스 단계에서 특히 비용 대비 효과가 크다는 평가를 받는다.

프롬프트 인젝션은 모델 자체를 아무리 정교하게 만들어도 완전히 없앨 수 없는 위협으로 남아 있다. 클코단의 3진아웃 블랙리스트와 내부 키값 기반 차단은 업계가 권고하는 '입력 감지 + 지속적 식별자 추적'이라는 심층 방어 원칙을 소규모 커뮤니티 단위에서 실제로 구현한 사례로 볼 수 있다. 서비스 규모가 커질수록 이런 자체 레드팀 경험이 갖는 값어치는 더 커질 것으로 보인다.