쿠팡·스마트스토어 크롤링 차단, AI 에이전트는 어떻게 뚫나

크롤링을 막는 쿠팡·네이버, AI 에이전트는 어떻게 우회하려 하는가

클로드 코드로 에이전트를 붙여 쿠팡이나 네이버 스마트스토어에서 상품 정보를 가져오려던 사용자들이 최근 잇달아 접속 차단을 겪고 있다. 결론부터 말하면 이는 버그가 아니라 두 플랫폼이 의도적으로 세워둔 방어벽이다. 이 기사는 두 사이트가 왜, 어떻게 크롤링을 막는지, AI 에이전트로 이를 우회하는 기술이 실제로 통하는지, 그리고 그 과정에서 어떤 법적 리스크가 따르는지를 정리한다.

쿠팡과 스마트스토어가 크롤링을 막는 이유

쿠팡은 robots.txt에서 구글봇을 제외한 모든 크롤러의 접근을 기본적으로 차단(Disallow: /)하고 있고 실제 서비스 단에서는 Akamai Bot Manager를 사용한다. 페이지가 열리면 약 70KB 분량의 Akamai 센서 스크립트가 실행돼 브라우저의 자바스크립트 실행 여부, 응답값, 마우스·키보드 움직임 같은 행동 패턴까지 종합해 지문을 만들고 _abck 쿠키를 발급한다. Selenium·Playwright·Puppeteer 같은 표준 자동화 도구는 이 단계에서 대부분 걸러진다. 같은 IP로 짧은 시간 내 동일 상품 페이지에 반복 접속하면 IP 자체가 차단되며 통상 접속 중단 후 이틀 정도가 지나야 재접속이 가능해진다는 보고가 많다.

네이버도 2024년 3월 27일부터 스마트스토어센터에 대한 비정상적·기계적 접근을 체계적으로 차단하기 시작했다. 자체 봇 차단 시스템을 운영하며 크롤링이 의심되면 "비정상적인 요청이 감지됐다"는 메시지와 함께 접근을 막는다. 판매자나 솔루션 업체가 주문 건수·결제 통계 등을 무분별하게 긁어가면 서버 부하가 급증해 다른 판매자에게 피해가 갈 수 있다는 게 네이버가 밝힌 도입 배경이다. 네이버는 대안으로 커머스 API 센터 같은 공식 경로 이용을 안내하고 있다.

클코단에서 확인된 실제 우회 경험

방 안에서는 에이전트가 두 사이트에 접속할 때마다 막히는 이유를 묻는 질문에서 논의가 시작됐다. 결론은 두 플랫폼이 자산 보호를 위해 의도적으로 접근을 차단하고 있으며 계속 시도하면 IP 차단 등 제재를 받을 수 있다는 것이었다. 특히 자주 언급된 도구는 insane search로, 이는 patchright라는 오픈소스 라이브러리 기반의 스텔스 래퍼다. patchright는 Playwright의 자동화 흔적(자동화 플래그 등)을 패치해 Cloudflare, Kasada, Akamai, Datadome, Fingerprint.com 등 주요 봇 탐지 서비스를 통과하도록 설계된 프로젝트다.

이 우회는 영구적이지 않다는 게 문제다. 방 논의에서는 patchright가 업데이트되면 언제든 다시 막힐 수 있다는 기술적 설명이 나왔고 실제로 쿠팡은 현재 접속이 막힌 상태라는 게 확인됐다. 탐지 기술과 우회 기술이 서로 업데이트를 주고받으며 쫓고 쫓기는, 전형적인 "창과 방패" 구도다. Akamai 쪽도 탐지 로직을 계속 갱신하기 때문에, 오늘 뚫리는 우회 방법이 내일도 통한다는 보장은 없다는 의견이 많았다.

컴퓨터유즈라는 대안, 그러나 비싼 값

대안으로 거론된 것이 앤트로픽의 컴퓨터유즈 기능이다. 이는 스크린샷을 찍고 마우스를 움직이고 클릭·타이핑하는 식으로 실제 사람처럼 브라우저를 조작하는 방식이라, 자동화 플래그 자체가 남지 않아 봇 탐지를 원천적으로 우회할 수 있다는 설명이 나왔다. 다만 비용이 걸림돌이다. 컴퓨터유즈는 스크린샷 한 장 한 장이 이미지 입력 토큰으로 계산되고 작업 하나에 수십 장이 소요되는 경우가 많아 한 번의 다단계 작업에 5만에서 많게는 20만 토큰 이상이 든다는 분석이 있다. 스크립트 기반 크롤링에 비하면 훨씬 비싼 방식인 셈이라, 소량·고가치 작업에는 적합해도 대량 수집에는 비용 부담이 크다는 게 방 논의의 결론이었다.

크롤링, 어디까지가 합법인가

기술적으로 우회가 가능하다고 해서 법적으로 안전한 것은 아니다. 한국에서는 잡코리아와 사람인 간의 크롤링 분쟁에서 법원이 무단 크롤링을 데이터베이스제작자 권리 침해로 인정하고 사람인 측에 4억 5000만원 배상을 명령한 바 있다. 반면 야놀자와 여기어때 간 소송에서는 결과가 갈렸다. 형사재판에서는 여기어때 창업주 등에게 무죄가 확정됐는데 재판부가 수집된 정보 대부분이 이용자에게 이미 공개된 정보였다고 판단했기 때문이다. 그러나 민사재판에서는 다른 판단이 나왔다. 법원은 여기어때가 야놀자의 상당한 투자와 노력으로 만들어진 성과를 부정한 방법으로 가져다 썼다고 보고 부정경쟁방지법 위반을 인정, 10억원의 손해배상을 명령했다.

즉 크롤링 자체가 형사처벌 대상은 아니더라도, 경쟁사 데이터를 대량·반복적으로 가져다 쓰면 민사상 부정경쟁행위나 데이터베이스권 침해로 책임질 수 있다는 게 국내 판례의 흐름이다. 정보통신망법상으로도 크롤링은 상황에 따라 정보통신망 침입, 컴퓨터등장애업무방해죄 등을 구성할 수 있어, 법적 평가는 접근 방식과 피해 발생 여부에 따라 사안마다 달라진다는 게 법조계의 공통된 설명이다.

정리

방 논의에서는 쿠팡 판매자 페이지의 상품·별점 정보를 수집하는 크롤러를 오픈소스로 공개할 예정이라는 이야기도 나왔다. 다만 도구가 공개되더라도 앞서 살펴본 기술적 한계와 법적 리스크는 그대로 남는다. patchright 기반 우회는 상대 플랫폼의 업데이트 한 번으로 무력화될 수 있고 컴퓨터유즈는 비용 때문에 대량 수집에는 맞지 않으며, 반복적·체계적인 수집은 민사상 손해배상 책임으로 이어질 수 있다. 에이전트로 쇼핑몰 데이터를 다루려는 이들에게는 우회 기술 자체보다, 언제 막히고 언제 책임질 수 있는지를 함께 아는 게 더 실질적인 대비라는 의견이 방 안에서 많았다.