여러 AI 모델의 사고 과정을 섞어 증류하면 더 똑똑해질까

클코단 방에서 최근 이런 질문이 나왔다. 여러 모델의 사고 과정을 뽑아 하나로 합치면 지금보다 똑똑한 모델을 만들 수 있지 않을까. 실험해본 사람의 답은 회의적이었다. 찾아보니 이 질문은 지금 Anthropic과 OpenAI, 그리고 중국 AI 랩들이 정면으로 부딪히고 있는 업계 최대 분쟁과 정확히 같은 지점을 건드리고 있었다.

사고 과정을 뽑아 학습시킨다는 것의 실체

원래 지식 증류(distillation)는 교사 모델의 로짓(확률 분포)까지 넘겨받아 학생 모델을 학습시키는 기법이다. 하지만 API로만 접근하는 상용 모델에는 로짓이 없다. 실제로 벌어지는 일은 교사 모델의 응답과 사고 과정을 텍스트로 많이 뽑아낸 뒤, 그 텍스트로 작은 모델을 지도학습(SFT)시키는 것에 가깝다.

DeepSeek이 R1을 공개하며 보여준 방식이 이 구조를 잘 드러낸다. R1이 만든 80만 건의 추론 과정을 Qwen·Llama 계열 모델에 지도학습만으로 입혀, 강화학습 없이도 AIME·MATH 벤치마크에서 더 큰 비추론 모델을 앞질렀다. 스탠퍼드의 s1 연구는 반대 극단을 보여줬다. Gemini 2.0에서 뽑은 단 1,000개의 정제된 추론 예시만으로도 비슷한 효과를 냈다. 두 사례를 겹쳐 보면 뚜렷해진다. 추론 능력을 옮기는 데는 사고 과정의 세부 내용보다 긴 사고 흐름의 구조 자체가 더 크게 작용한다.

방에서 공유된 실험도 이 결을 벗어나지 않았다. 개발자 커뮤니티에서 Claude의 대화 로그로 1B급 소형 모델을 파인튜닝한 사례가 최근 보고됐다. 결과물은 형식과 문체는 흉내 냈지만 교사 모델의 근본적인 추론 능력까지는 옮겨오지 못했다는 평가를 받았다. 로짓 없이 텍스트만으로는 흉내 내기이지 이식은 아니라는 얘기다.

어떤 모델은 사고 과정을 내주고 어떤 모델은 막아서는 이유

OpenAI는 o1을 내놓을 때부터 원본 사고 사슬을 사용자에게 보여주지 않았다. 모델이 요약한 버전만 노출한다. 경쟁사가 자사가 투자한 추론 능력을 그대로 학습해 가져가는 것을 막겠다는 목적을 이유로 들었다. Claude 역시 세이프티 시스템이 사고 블록을 문제로 판단하면 이를 암호화한 redacted thinking 블록으로 감싸 반환한다. 서명된 내용은 모델 자신만 다시 읽을 수 있고 사람은 읽을 수 없다.

방 논의에서 나온 "특정 모델은 추출되고 다른 모델은 우회적 방법만 가능했다"는 경험은 실제 보안 연구와 겹친다. 서명된 thinking 블록을 다른 요청에 재사용해 더 약한 모델이 이를 그대로 받아쓰게 유도하는 방식이 보고된 바 있다. Claude는 서명된 블록을 Haiku 같은 하위 모델에 넘겨 전사를 유도하는 방식이, GPT 계열은 암호화된 콘텐츠를 여러 조각으로 쪼개 삽입하는 방식이 쓰였다. 이런 보호 장치가 상태 비저장 프로토콜 수준의 방어일 뿐 완전한 기밀 보장은 아니라는 평가가 나온다. 논문에 나온 정공법 그대로는 안 되고 우회로만 뚫린다는 방 안의 체감과 방향이 같다.

모델 여러 개를 한꺼번에 증류하면 더 나은 조합이 나올까

다중 교사 증류(multi-teacher distillation) 연구는 이 지점에서 방의 결론에 힘을 싣는다. 서로 다른 교사 모델의 출력이 충돌할 때 학생 모델이 이를 단순 평균하면 오히려 전달되는 지식이 얕아진다. 일부 실험에서는 지식을 합치는 시도가 충돌을 줄이기는커녕 악화시키는 부정적 전이(negative transfer)로 이어졌다. 교사별 신뢰도에 따라 가중치를 다르게 주거나 잘 맞는 교사를 골라 라우팅해야 개선 효과가 났다.

한 모델이 특정 방향의 데이터·정책에 맞춰 최적화된 상태에서, 서로 다른 방향으로 최적화된 모델들을 그대로 섞으면 상쇄가 일어나기 쉽다는 게 방에서 나온 설명이었다. 모델이 만든 데이터를 다시 학습에 쓰면 분포의 꼬리, 즉 드문 패턴이 지워지고 다수 패턴만 남는 모델 붕괴(model collapse) 현상이 보고된 것도 같은 맥락이다. 다만 증류가 완전히 무의미하지는 않다. 특정 방향으로 모델의 응답 분포를 옮기는 용도로는 여전히 유효하다는 게 방과 연구 양쪽에서 공통으로 확인되는 지점이다.

왜 이 실험적 질문이 지금 업계 최대 분쟁이 됐나

2025년 8월, Anthropic은 OpenAI의 Claude API 접근을 차단하며 서비스 약관 위반을 이유로 들었다. OpenAI 기술 인력이 GPT-5 출시를 앞두고 Claude Code를 벤치마킹에 썼다는 게 표면적 사유였다.

2026년 2월에는 Anthropic이 훨씬 큰 규모의 보고서를 냈다. DeepSeek·Moonshot·MiniMax 세 곳이 약 2만 4,000개의 가짜 계정으로 1,600만 건 넘는 대화를 생성해 Claude의 에이전트 추론·툴 사용·코딩 능력을 조직적으로 빼냈다는 내용이었다. Moonshot의 Kimi 계열 모델이 이 과정에서 이름이 오르내렸다. 이는 중국에 Claude를 상업적으로 제공하지 않는 Anthropic의 지역 접근 제한을 우회한 사례로 지목됐다.

OpenAI·Anthropic·Mistral·xAI는 모두 약관에 "자사 출력물로 경쟁 모델을 학습시키는 행위"를 금지하는 조항을 넣어 뒀다. 워싱턴에서는 이 문제가 미중 AI 경쟁 구도의 정책 의제로까지 올라갔다는 보도가 이어졌다. 방에서 순수하게 기술적 호기심으로 오간 "증류로 더 나은 모델을 만들 수 있나"라는 질문이 지금은 소송과 무역 정책의 언어로 다뤄지고 있는 셈이다.

개인 개발자에게 남는 실익은 증류가 아니라 오케스트레이션

프런티어 모델의 사고 과정을 그대로 복제해 오려는 시도는 기술적으로도 로짓 없이는 흉내 내기에 그친다. 약관과 암호화된 서명 때문에 막혀 있고, 뚫는다 해도 법적 위험을 진다. 1인 개발자나 소규모 팀이 실제로 쓸 수 있는 선택지는 다르다. 2026년 현재 업계에서 자리 잡은 방식은 쉬운 작업은 저렴한 모델로, 어려운 작업만 상위 모델로 올려보내는 단계적 라우팅이나, 여러 모델이 동시에 답을 내고 판정 모델이 종합하는 병렬 검증 구조다.

방에서 증류 논의 끝에 다다른 결론도 같은 방향이었다. 모델마다 최적화된 방향이 다르니 하나로 섞기보다 모델별로 시스템 프롬프트를 따로 두고, 작업 성격에 맞춰 어떤 모델에 무엇을 맡길지 오케스트레이션을 설계하는 쪽이 실제로 작동한다는 것이다. 서명된 thinking 블록을 복제해 우회하는 기법까지 나온 지금, 남의 모델 사고를 옮겨 오려는 시도보다 모델마다 다른 결을 인정하고 그 위에 라우팅을 쌓는 쪽이 더 실용적인 선택지다.