형태소 분석으로 짚어주는 AI 윤문, 통계적으로 가능한가

형태소 단위로 근거를 짚어주는 도구는 이미 있다

한국어에서 형태소 분석 기반 교정은 새 아이디어가 아니다. 부산대학교 한국어 맞춤법·문법 검사기는 1991년 개발돼 2001년 무료로 공개된 이래, 정보컴퓨터공학부 인공지능연구실과 나라인포테크가 형태소 분석 결과를 근거로 오류 유형을 짚어주는 방식을 유지해왔다. 바른AI 같은 최근 서비스도 맞춤법·문법·띄어쓰기 교정 기능을 제공한다. 오픈소스 형태소 분석기 Kiwi도 이런 작업에 활용된다. 어체를 공손하게 바꿔주는 패키지 Politely도 내부 분석 엔진을 Kiwi로 교체한 뒤 성능이 좋아졌다고 밝힌 바 있다.

이 방식의 가치는 뜻밖의 사건으로도 드러났다. 2023년 3월 초부터 4월 중순까지 부산대 맞춤법 검사기에 특정 IP에서 500만 회 이상 접속하는 비정상 패턴이 잡혔다. 운영진은 거대언어모델 학습용 데이터 수집을 의심했다. 30만 건 규모 학습 데이터를 정상 경로로 확보하려면 15억 원 안팎이 든다는 점을 감안하면, 형태소 분석 근거가 붙은 교정 데이터 자체가 누군가에게는 탐낼 만한 자산이었다는 뜻이다.

문제는 이 근거 제시가 딱 맞춤법과 띄어쓰기까지만 잘 통한다는 점이다. 부산대 검사기는 외래어를 순우리말이나 한자어로 바꾸라고 과도하게 권고하는 경우가 있다는 지적을 오래 받아왔다. 전문 용어를 정확히 써야 하는 사용자에게는 이 권고가 오히려 방해가 된다. 규칙이 옳고 그름을 판정할 수 있는 영역에서는 형태소 분석이 설명 가능한 근거가 된다. 규칙 밖의 맥락까지 판단해야 하는 순간에는 같은 방식이 삐걱댄다.

근거 제시는 맞춤법에서 통하고 문장력에서는 흔들린다

문법 교정을 태그를 붙이는 문제로 바꾼 GECToR는 이 경계를 잘 보여준다. Grammarly가 2020년 발표한 이 모델은 문장 전체를 새로 생성하는 대신 유지·삭제·삽입 같은 편집 태그를 예측한다. 그 결과가 어떤 태그로부터 나왔는지 역추적할 수 있게 설계됐다. 속도는 시퀀스투시퀀스 모델보다 최대 10배 빠르고 해석도 쉽다. 다만 태그 종류 자체가 제한적이라 문장을 통째로 다듬어야 하는 윤문에는 잘 안 맞는다.

미국 교육평가원(ETS)의 에세이 자동 채점 엔진 e-rater도 비슷한 벽에 부딪혔다. 문법·어법·기계적 오류·문체뿐 아니라 어휘·조직·전개 등 여러 특징으로 점수를 매기도록 설계돼 설명력은 있다. 그 특징 집합이 잘 쓴 글의 전부를 담아내진 못한다. 채점 근거를 사람이 읽을 문장으로 보여줄 수는 있어도, 왜 이 문장이 저 문장보다 나은 글인지까지 그 특징들이 답해주진 않는다.

과적합 걱정도 근거가 있다. 학습 데이터가 적은 상태에서 통계 모델이나 규칙 세트를 만들면 신호뿐 아니라 노이즈까지 학습해버리는 현상은 머신러닝 일반론에서 이미 정리된 문제다. 정규화나 특징 선택으로 완화는 된다. 다만 윤문처럼 정답이 하나가 아닌 영역에서는 애초에 학습 데이터의 정답 자체가 사람마다 갈린다. 클코단에서 나온 회의론은 이 지점과 정확히 맞닿아 있다.

그래서 연구는 고치기보다 다시 쓰기 쪽으로 방향을 틀었다

LLM 기반 문법 교정을 다룬 최근 연구들은 공통된 관찰을 내놓는다. GPT-4가 만든 교정문은 사람이 만든 교정문보다 원문과의 편집 거리(Levenshtein distance)가 뚜렷하게 크다. 사람은 최소한만 고치는 반면 LLM은 문장을 통째로 다시 쓰는 쪽으로 기운다는 뜻이다. 이 편향은 결점이 아니라 생성형 모델의 본질에 가깝다. 모델에게 여기만 고치라고 지시하기보다 이런 기준으로 다시 쓰라고 지시하는 편이 훨씬 자연스럽게 작동한다.

이 방향을 구조화한 사례도 있다. 2024년 NAACL findings에서 발표된 GEE 연구는 GPT-4가 문법 오류를 한 문장으로 설명하는 과제에서, 원샷 프롬프팅만으로는 오류의 40.6%를 정확히 설명했고 39.8%에는 설명을 시도하지 않았다고 보고했다. 토큰 단위 편집을 먼저 구조적으로 추출하고 그 결과를 바탕으로 GPT-4에게 설명을 생성시키는 2단계 파이프라인을 붙이자, 독일어·중국어·영어 모두에서 사람이 정확히 짚었다고 판정한 비율이 90%대까지 올라갔다. 판단 기준을 먼저 명시적으로 뽑아내고 그다음 재구성하게 만드는 순서가, 처음부터 하나의 모델에게 통계적 정답을 내라고 요구하는 것보다 잘 작동했다.

자기 출력을 스스로 비평하고 반복 개선하는 Self-Refine 연구도 같은 결을 뒷받침한다. 별도 학습 데이터 없이 생성-비평-재생성을 반복하는 것만으로 여러 과제에서 평균 20%포인트 안팎의 품질 개선이 보고됐다. 다만 모델이 자기 출력을 과대평가하는 self-bias는 여전히 한계로 남는다. 채점 기준을 실행 가능한 편집 계획으로 바꾼 뒤 그 계획에 맞춰 다시 쓰게 하는 절차도 연구되고 있다.

평가를 사람이 최종 승인하는 벽, AI 업계도 아직 못 넘었다

클코단 논의가 도달한 결론, 즉 평가 기준의 병목은 사람이라는 지점은 방 안의 직관이 아니라 업계가 실제로 겪는 문제이기도 하다. LLM을 평가자로 세우는 LLM-as-judge 방식은 대량의 출력을 빠르게 채점할 수 있어 확산했다. 하지만 응답 순서에 따라 판정이 흔들리거나 장황한 답을 더 좋게 평가하는 편향, 같은 입력에도 반복마다 판정이 달라지는 비일관성이 계속 보고된다.

사람 평가자도 완전히 공정하진 않다. 관련 연구에 따르면 사람 평가자도 답변의 자신감 같은 비의미적 요소에 영향을 받을 수 있다. 그래서 LLM 판정으로 범위를 넓히고 사람 검수로 최종 신뢰를 얹는 하이브리드 구조가 활용된다.

개인 개발자나 소규모 팀이 오늘 시도해볼 수 있는 조합은 이 지점에서 갈린다. 맞춤법·띄어쓰기처럼 정답이 하나인 오류는 Kiwi나 바른AI 같은 형태소 분석 기반 도구로 기계적으로 잡아내면 된다. 문장력·톤처럼 정답이 갈리는 영역은 LLM에게 먼저 평가 기준을 주고, 그 기준에 맞춘 편집 계획을 세우게 한 다음 그 계획대로 다시 쓰는 2단계를 적용할 수 있다. 그 결과를 사람이 눈으로 승인하는 마지막 단계는 빼면 안 된다.

그렇다면 남는 질문은 하나다. 통계와 형태소 분석은 왜 틀렸는지까지는 설명해줄 수 있다. 왜 이 문장이 저 문장보다 나은지까지 통계로 설명하는 일은 여전히 연구 과제로 남아 있다.