Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 생성한 언어는 정보 전달의 유용성보다 '좋은 글처럼 보이는' 특성에 최적화되어 있습니다. 이로 인해 문장이 지나치게 장황하고, 기술 문서에 필요한 높은 정보 밀도를 갖추기 어렵습니다. 또한, 맥락 이해 부족과 문법 규칙의 기계적인 적용이 오류를 발생시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기기술 문서 작성자로서, AI의 기본 응답은 실제로 좋은 글보다 사람들이 좋은 글이라고 여기는 특성에 최적화되어 있다고 봄.
수년간의 RLHF가 평가자의 첫인상을 최적화한 결과 아닐까 싶음. 목록과 제목이 있고, ‘결정적 증거’ 같은 인상적인 표현을 쓰며, 길고 유익해 보이는지는 빠르게 판단하기 쉬움. 하지만 이런 특성만으로는 독자에게 유용한지 알 수 없고, 평가자가 실제 독자가 아니라면 판단하기도 어려움.
Google이 Gmail에 글쓰기 도움 기능을 넣었을 때 절감했음. 내가 쓴 문장마다 ‘더 간결하게’, ‘이어 붙인 문장을 줄이기’ 같은 제안이 평균 문장당 1.3개쯤 나왔는데, 거의 모두 형편없었음.
영어 작문 교과서의 규칙을 모든 절에 기계적으로 적용하고, 호흡이나 핵심 단어 강조, 감정의 강약은 전혀 고려하지 않는 듯했음. 최첨단 모델도 미세 조정 과정에서 간결함, 군더더기 제거, 문장 길이 등에 보상을 받지만, 글 전체의 흐름을 평가하는 균형추는 없는 것 같음.
LLM의 글이 지나치게 조밀해서 읽기 어렵다는 가설은 내 체감과 정반대임. 오히려 정보 밀도가 너무 낮아서 읽기 어려우며, 정보 전달보다 ‘좋은 글처럼 보이기’에 최적화된 느낌임.
작가이자 기술 문서 작성자이고, 경영진 영역에서 일하는 기술 전문가로서 소통은 늘 내 강점이었지만 AI의 장황함은 견디기 어려움. 기술적인 글에서는 정보 밀도가 높고 직접적인 문장을 선호하는데, LLM은 출력을 원하는 대로 맞추기도 어렵고 늘 꾸미거나 곁가지로 빠짐.
적어도 ChatGPT는 사용자 참여를 높이는 방향으로 최적화됐고 지금도 대체로 그러함. 선두 모델이었고 많은 지식 증류가 이루어진 만큼 그 흔적이 다른 모델에도 남아 있음.
중국 모델들이 이 목표를 중시하는지는 모르지만, 증류를 많이 하므로 원치 않아도 물려받게 됨. 미국 모델들은 정도의 차이는 있어도 대부분 사용자 참여를 중시함.
작가와 소프트웨어 엔지니어 양쪽에서 보기에 LLM의 문제는 같음. 국소적인 목표는 달성하지만 여러 제약을 동시에 유지하기 어려움.
대화 중인 인물이 총을 들고 있다는 사실을 잊거나, 그걸 기억하면 남부 억양을 놓치거나 비논리적인 비유를 만듦. 단어가 묘사하는 현실의 구조와 공간을 명확히 이해하지 못하기 때문임. 프로그래밍에서는 더 잘 드러나지만, 서로 얽힌 의미에 대한 이해가 부족하고 실제 세계와 문맥 내부의 세계가 어긋난다는 본질은 같음.
논문에서 타동사를 자동사처럼 쓰는 경향을 다루지 않은 점이 의외임. LLM은 사람이 쓴 글에서는 거의 못 본 방식으로 이를 남용하며, 문장을 모호하게 만들거나 거의 이해 불가능하게 만듦. 특히 정확해야 하는 기술 문서가 독자에게 추측을 요구한다면 심각하게 잘못된 것임.
예를 들어 “The user presses a button, and the form submits.”에서 submit의 자동사 용법은 문맥에 맞지 않음. “the form submits data”나 “the form submits data to the server”처럼 목적어를 넣거나, 목적어를 쓰지 않겠다면 “the form is submitted”로 바꿔야 함.
어느 정도 동의하지만 좀 더 미묘한 문제임. 언어는 변하고, 불규칙한 특성을 일반화해 규칙적으로 만드는 경향이 있음. 영어에는 “I opened the door / the door opened”, “the heat melted the ice / the ice melted”처럼 타동사와 자동사 양쪽으로 쓰이는 동사가 많음.
이런 확장은 LLM 이전에도 전문 용어에서 흔했음. Merriam-Webster는 compile을 타동사로만 분류하지만, 개발자 대부분은 “wait for the code to compile”도 자연스럽게 받아들일 것임. 2007년 XKCD 만화에서도 볼 수 있음.
특정 동사에서 사회적으로 정착한 용법을 가끔 쓰는 건 괜찮음. 문제는 LLM이 이를 곳곳에 남발한다는 것임. ‘X가 아니라 Y’라는 표현도 가끔은 괜찮지만 과용하면 진부해지는 것과 같음.
LLM은 우리가 인지라고 여기는 상당 부분이 생물학적·인공적 ‘마음’의 속성이 아니라 언어라는 정교한 기호 체계의 일부임을 보여줌.
LLM의 글은 인지적·정보적 패턴을 따르는 멀쩡한 언어이지만, 다른 마음의 의도나 정신 모형을 반영하지 않으므로 이해하기 어려움.
여기서 언어를 사고의 언어 같은 정교한 개념으로 쓰더라도, 이는 추측이며 논쟁이 큰 명제임. 인지의 상당 부분은 신체에 기반하고 시각·촉각·청각·운동감각 등의 표상을 활용함. 언어는 주로 생각을 전달하는 수단이지, 생각하는 주된 방식은 아니라고 봄.
그렇다고 핵심 취지까지 반박하는 것은 아님. LLM은 거의 전적으로 글로 된 언어를 학습하며, 언어는 실제 인지의 제한된 한 측면에 불과하므로 그 글이 낯설고 읽기 불편해짐.
AI 학습 자료에는 비판적 판단을 무디게 하고 행동을 유도하는 상업적 문구가 대량으로 포함됨. 설득을 목적으로 하는 논평도 많으며, 의도적인 수사 전략이든 필자의 불완전한 사고 때문이든 논리적 오류를 활용하는 경우가 잦음.
사전 학습만 한 기본 모델을 써 보면 이 가설은 잘 맞지 않음. RLHF나 지시 미세 조정을 거치지 않은 모델은 훨씬 사람답게 씀. Llama 3의 기본 모델과 지시 모델 등을 비교했는데, 기본 모델이 사람의 문체를 훨씬 잘 재현함. https://www.pnas.org/doi/10.1073/pnas.2422455122.
원인은 원본 학습 자료보다 강화 학습·직접 선호 최적화·지시 미세 조정용으로 수집한 표본이라고 봄. 학습 데이터가 공개된 Allen AI 모델로 이를 검증하는 중임.
반대로 주요 이용자층이 그런 문체를 선호해서 기업들이 쓰고 AI도 모방하는 것일 수 있음. 전형적인 미국 교외 소비자가 Linus처럼 직설적이고 거침없는 챗봇을 받아들일 것 같지는 않음.
AI는 페타바이트 규모의 낚시성·반응 유도 콘텐츠를 학습했음.
쓰레기를 넣으면 쓰레기가 나온다는 가설을 강하게 지지함. 틀리는 방법이 맞는 방법보다 훨씬 많기에 통계적으로 가장 흔한 표현은 대체로 맞지만, 사람들은 거짓말과 허풍도 일정한 방식으로 반복함. 무의미한 내용을 의미 있어 보이게 만드는 수사 기법은 오래전부터 존재함.
자기 관점을 팔고 돈을 벌려는 글을 학습하면, 추론을 속이는 언어 패턴은 재현하면서도 정작 설득하려는 목적은 없는 결과가 나옴. 인간의 글은 동기를 짐작해 수사적 함정을 찾을 수 있지만, LLM은 동기 없이 그런 장치를 무작위로 사용함.
최근 AI의 발전은 주로 주변 도구에서 이루어지며, 모형을 재귀적으로 만들고 생성이 탈선하지 않을 만큼 짧은 출력으로 채우는 방식이라고 봄. 기호주의 AI가 돌아오되 무작위 단어 연상이 연결재 역할을 하는 셈임.
내 해석으로는 Georges Bataille도 비슷한 것을 봤음. 무작위 연상은 이성의 핵심이지만, 세계에 대한 관점의 옳고 그름은 그것을 만든 욕망이나 공포가 아니라 실제로 작동하는지에 달려 있음. 세계 자체에는 이드가 없지만 이드에 이끌리는 존재만이 세계를 이해하며, 주변 도구를 제외한 LLM은 온통 이드라고 봄.
제목만 보고 답하기보다 논문의 결론을 볼 필요가 있음. GRPO 강화 학습에서 길이 페널티를 주자, 압축된 문체를 지시하거나 구문 선택지를 알려주지 않았는데도 더 짧은 구문을 선호하는 성향이 나타났다고 함. 검증 가능한 보상은 정답 여부와 인간다운 소통을 분리해, 이해하기 어려울 수 있는 새로운 언어 분포로 모델을 수렴시킨다는 추정도 제시함.
모델과 학습을 만져 본 사람에게는 상식처럼 들리겠지만, 정량적으로 검증한 가치가 있음. 또 이런 특징은 Claude의 기본 문체에서 나타날 뿐, 요청하면 다른 방식으로 쓸 수도 있음.
토큰당 과금하는 만큼 최첨단 AI 연구소가 이런 길이 제한을 도입하지 않을지도 모르겠다는 의심이 듦.
AI의 글에는 인간 중심의 물리적 현실 모형이 없어서 비유가 부자연스러워짐. 말하는 지네가 있다면 이유는 달라도 비슷한 결과가 나올 것 같음.
학습 과정에서는 명백히 틀린 글이 명백히 틀리지는 않은 글보다 훨씬 강하게 벌점을 받음. 그러면 상대적으로 이해하기 어려운 글을 쓸 유인이 생김.
글 뒤에 의도가 없다는 느낌도 듦. 도입과 핵심, 재미있는 곁가지가 있는 대신, 가짜 ‘핵심’이 너무 자주 거의 무작위로 끼어드는 기계적이고 일정한 단어의 흐름만 있음.
초안을 끝까지 쓰게 한 뒤 수정하도록 해 보는 게 좋음. 가장 효율적인 방법이고, 수정 지시도 훨씬 적게 필요할 가능성이 큼.
AI는 사람이 읽기 좋게가 아니라 최소한의 문맥·토큰에 최대한의 정보를 담도록 최적화됐기 때문임. 예를 들어 전치사로 관계를 풀어 쓴 “validating the latency of state transitions in the baseline system” 대신 “baseline system state transition latency validation”처럼 명사를 쌓음.
나는 두 문단 전에 읽은 내용을 잊어서 책을 거의 못 읽음. 글을 훑어보는 데 능숙한 사람은 AI의 글도 덜 불편할 것 같음.
정말 그런가? 답변이 길수록 돈을 더 받지 않나?
내 모국어에서는 그 표현이 문법적으로 하나의 합성어가 됨. 영어에서도 가끔 그 점이 아쉬움. 단어를 띄어 쓰면 피곤할 때 transition에 복수형 s가 있는지 헷갈려 의미를 다시 확인하게 됨.
오히려 Baselinesystemstatetransitionlatencyvalidation처럼 붙어 있으면 하나의 대상을 설명하는 단어라는 사실을 먼저 알 수 있어 덜 혼란스러움. 오랜 훈련 덕분에 시선이 단어 중간중간을 훑어도 구성 요소를 파악함. 읽는 속도는 조금 느릴 수 있지만 읽고 이해하는 전체 과정은 더 빠름.
실제로 LLM의 글은 훑어 읽기가 거의 불가능함. 수식이 지나치게 많고 실제 의미가 글 전체에 너무 얇게 흩어져 있어, 문단의 ‘중요한’ 문장만 골라 읽을 수 없음.
AI는 추상적인 언어로 인상적이고 유창하게 들리지만, 실제로는 앞뒤가 맞지 않는 군더더기인 경우가 많음. 정치인이나 학자 중에도 영리하게 표현하지만 막상 뜻을 따져 보면 전혀 말이 되지 않는 경우가 있음.
AI는 여전히 좋은 코드를 만들어 내므로 그 비유가 맞지는 않는다고 봄.
순전히 추측이지만, 단계별 사고와 강화 학습의 압력이 문법적으로 모호한 문장을 부추기는 것은 아닐까? 극단적으로는 읽다가 앞부분을 재해석해야 하는 문장처럼, 문장 끝에 가까워질 때까지 모델이 해석의 선택지를 열어 두도록 만드는 것일 수 있음.