AI 답변은 짧은데 왜 읽기 어려울까?

세 줄 요약

영어 AI 대화·코딩 설명 등을 분석한 연구에서, 독해 부담과 관련된 일부 구문이 사람의 글이나 바꿔 쓴 문장보다 자주 나타났다.
별도 소형 모델에 짧은 답을 보상하자 문법 선택도 달라졌다. 답이 맞아도 사람에게 자연스럽게 전달되는 것은 아니라는 단서다.
한국어까지 검증한 연구도, 특정 표현으로 AI 글을 판별하는 검사법도 아니다. 문장 길이와 이해하기 쉬운 정도를 구분해 읽어야 한다.

단어를 줄여도 관계를 풀어 읽는 일은 남는다

AI가 만든 코드 설명이 한 문장인데도 뜻이 바로 잡히지 않을 수 있다. 명사를 여러 개 이어 붙이거나, 낯선 단어 조합으로 여러 관계를 압축하면 읽는 사람은 그 관계부터 풀어야 한다. 문법적으로 가능한 문장이라는 사실만으로 독해가 쉬워지는 것은 아니다.

10월 21일 공개된 「Why is AI-generated language so hard to understand?」에서 Thomas Hikaru Clark, Matias B. Martin, Kyle Mahowald 연구팀은 이 문제를 영어 문장 구조로 살폈다. AI가 사람의 글과 다른 표현을 쓰는 현상에 더해, 정보를 적은 토큰에 담으려는 압력이 그 차이를 만들 수 있다는 가설을 제시했다.

예를 들어 설명을 위해 만든 customer request review process라는 표현은 명사가 연달아 등장한다. 이를 how the team reviews requests from customers처럼 풀면 단어는 늘지만 누가 무엇을 검토하는지 드러난다. 이는 연구에서 측정한 예문이 아니라, 명사 사이 관계를 펼친다는 뜻을 보여 주는 예다.

낯선 단어 하나보다 단어가 결합하는 방식을 봤다

연구팀은 전체 14개 모델을 대상으로 대화, 코딩, 에세이 자료를 모았다. 실제 분석에 참여한 모델 수는 과제별로 달랐다. 대화에는 12개, 코딩에는 9개, 에세이에는 14개 모델이 포함됐다.

비교는 두 방향으로 이뤄졌다. 사람의 대화 자막·StackExchange·학생 에세이 등과 비교했고, AI 문장을 일본어로 번역했다가 영어로 되돌린 문장과도 비교했다. 후자는 내용이 비슷한 상태에서 표현 방식이 어떻게 달라지는지 보기 위한 장치다.

살핀 특징	읽는 사람에게 생기는 과제
드문 단어 조합	익숙한 단어라도 잘 쓰이지 않는 조합이면 의미를 새로 연결해야 한다.
명사 셋 이상이 이어진 수식 구조	어느 명사가 어느 명사를 꾸미는지 판단해야 한다.
서로 관계있는 단어 사이의 긴 거리	앞의 정보를 기억하며 뒤의 단어와 연결해야 한다.
사물에 사람의 동작을 붙이는 표현	비유나 생략된 뜻을 문맥에서 해석해야 한다.

주요 최신 모델 9개는 사람의 글과 비교할 때 드문 단어 조합과 일부 무생물 주어 표현을 더 많이 사용했다. 다른 특징은 모델과 과제에 따라 차이가 있었다. 특히 에세이에서는 대화·코딩보다 왕복 번역 전후의 변화가 작게 나타난 항목이 있었다.

여기서 드문 조합은 비교에 쓴 말뭉치에서 드물거나 관측되지 않은 조합이다. AI의 전체 학습 자료에 한 번도 없던 표현이라는 뜻은 아니다. 또 이번 분석은 새 피험자를 모집해 모든 답변의 읽기 시간을 재는 실험이 아니라, 기존 언어 연구에서 처리 부담과 관련된 특징을 얼마나 쓰는지 살핀 것이다.

정답을 유지하면서도 문장은 더 압축될 수 있었다

연구팀은 원인을 살피기 위해 별도로 Qwen2.5-1.5B-Instruct를 훈련했다. 구조화된 사건 정보를 영어 문장으로 바꾸는 과제를 주고, 출력이 길어지면 불이익을 받도록 했다. 같은 뜻을 나타내는 문법적 선택지 가운데 더 짧은 쪽을 고르는지 보기 위한 실험이다.

길이에 대한 불이익이 커질수록 모델은 짧은 표현을 더 선호했다. 이런 성향은 훈련에 직접 나오지 않은 일부 유사 구문에도 이어졌다. 그러나 멀리 떨어진 다른 구문으로의 전이는 제한적이었다.

핵심은 모델이 과제에서 틀리지 않아도 문장 선택은 사람과 달라질 수 있었다는 점이다. 선택지 둘 다 정답이었기 때문이다. 연구팀은 이 결과를 압축 압력이 문법에 영향을 줄 수 있다는 개념 검증으로 설명한다. 실제 상용 모델이 왜 특정 문체를 갖게 됐는지까지 모두 밝혔다는 뜻은 아니다.

‘더 짧게’와 ‘더 쉽게’는 따로 평가해야 한다

이 연구의 분석 언어는 영어다. 한국어의 조사·어순·명사 연결에서도 같은 결과가 나온다고 옮겨 말할 수는 없다. 모델과 시작 질문도 제한돼 있으며, 사람이 쓴 문장에도 같은 구문이 등장한다. 명사가 여러 개 붙었다는 이유로 AI가 썼다고 판정할 근거는 되지 않는다.

AI 설명을 업무에 옮겨 쓸 때 얻을 시사점은 더 구체적이다. 글자 수를 줄였는지와 누가 무엇을 했는지 읽히는지를 따로 봐야 한다. 짧아진 문장에서 관계를 독자가 다시 복원해야 한다면, 생략한 말을 되살리는 편이 설명의 목적에 맞을 수 있다.

코드가 맞는지와 코드 설명이 이해되는지는 별도의 평가 대상이다. 이번 연구는 그 차이가 단순한 취향을 넘어, 모델이 어떤 답에 보상을 받는지와도 연결될 수 있음을 보여 준다.