TL;DR

신청서나 보고서에서는 인간이 한 문장씩 쓰는 것보다, 결론과 논리 구조를 결정하는 것이 더 중요하다.

초안은 AI에게 맡기고, 확보된 시간을 퇴고, 1차 자료 확인, 논리 검증에 사용하면 된다. 다만, 주장이 모호한 상태로 생성된 문장을 받아들이면, AI가 보완한 전제에 자신의 생각이 끌려가게 된다.

문장화 그 자체가 사고를 심화시키는 장면도 있다. 앞으로는 그 역할의 일부가 AI와의 대화로 옮겨갈 것이라고 생각한다.

AI에게는 오탈자 교정만 맡긴다고 생각하고 있는가

"본문은 인간이 쓰고, AI에는 오탈자나 조사(てにをは) 수정만 맡겨야 한다"

생성 AI가 보급되기 시작했을 무렵에는 자주 보이던 조언이다. 초기 모델은 긴 문맥 유지나 논점 정리가 불안정하여, 문장 전체를 맡기기에는 불안했다. 신중한 사용법으로서는 타당했다고 생각한다.

하지만 그 전제는 이미 바뀌었다. 현재의 모델은 구성, 요약, 바꿔 쓰기(Paraphrasing), 독자에 맞춘 설명량 조절까지 해낸다. 과거의 성능을 전제로 한 역할 분담을 그대로 계속 지킬 이유는 없다.

지금 생각해야 할 것은 AI에게 어디까지 쓰게 할 것인가가 아니라, 인간이 어디까지 판단을 쥐고 있을 것인가이다.

AI는 이미 초안을 맡길 수 있는 수준에 있다

현재의 생성 AI는 오탈자를 고치는 것만 가능한 도구가 아니다. 적어도 신청서나 보고서와 같은 비창작 문서에서는 초안을 만드는 수단으로서 충분히 실용적이다.

2023년 Science에 게재된 실험에서는 453명의 대졸 전문직이 직업에 따른 문장 과제를 수행했다. ChatGPT를 사용한 집단은 평균 소요 시간이 40% 감소했고, 결과물의 품질이 18% 향상되었다. 적어도 이 실험에서는 속도와 품질이 동시에 개선되었다. [1]

학생의 논증 에세이를 다룬 다른 연구에서는 111명의 교사가 270개의 문장을 평가했다. 658건의 평가를 집계하면, ChatGPT가 생성한 문장은 인간이 쓴 문장보다 높게 평가되었다. GPT-4는 논리 구조, 어휘, 문장 간의 연결에서도 GPT-3.5를 상회하고 있다. [2]

한편, 물리학 단문 에세이 300개를 이용한 블라인드 평가에서는 GPT-4와 학생의 점수에 통계적인 유의미한 차이가 없었다. [3] 또한, ChatGPT를 자유롭게 사용하게 한 소규모 실험에서는 품질도 집필 시간도 개선되지 않았다. 이용자가 AI에 익숙하지 않아 출력을 충분히 평가하지 못했을 가능성이 지적되고 있다. [4]

연구 결과는 일관되지 않으며, 대상도 짧은 직업 문서나 학생 에세이에 국한되어 있다. 그럼에도 일반적인 학생이나 지식 노동자의 초안과 동등하거나 그 이상의 문장을 생성할 수 있는 장면이 있다는 것은 이미 보여졌다. 오탈자 교정만 맡기기에는 능력을 낭비하고 있는 셈이다.

빠른 초안은 퇴고 횟수를 늘린다

신청서나 보고서에서는 첫 번째 초안을 정성스럽게 써 내려가는 것보다, 빠른 단계에서 전체상을 만드는 것이 좋다.

결론을 두고, 이유를 나열하고, 필요한 설명을 더하면 문장은 일단 형태를 갖춘다. 시간을 들인다면 많은 사람이 여기까지 도달할 수 있다. 완성도를 좌우하는 것은 그 이후의 조정이다.

앞뒤 연결은 자연스러운가. 독자가 모르는 전제를 건너뛰지는 않았는가. 같은 내용을 바꿔 쓰며 반복하고 있지는 않은가. 결론과 관계없는 정보가 섞여 있지는 않은가. 이러한 점들을 몇 번이고 재검토함으로써 문장은 비로소 읽기 좋아진다.

초안에 시간을 다 써버리면 이 공정이 부실해진다. AI로 전체를 빠르게 뽑아내면 퇴고에 쓸 수 있는 시간이 늘어난다. 완성도를 높여도 좋고, 같은 품질의 문장을 더 많이 만들어내도 좋다. 여러 가지 구성을 비교할 수도 있다. 초안이 빠르다는 것만으로도 문장 작성의 선택지는 크게 넓어진다.

신청서나 보고서에 독창적인 문체는 필요 없다

창작에서는 문체 그 자체가 작품이 된다. 신청서나 보고서에서 독자가 알고 싶은 것은 표현의 개성보다 내용이다.

심사위원이나 교사는 많은 문장을 짧은 시간 안에 읽는다. 독특한 어순, 과도한 비유, 공들인 말투는 내용에 도달하기까지의 부담을 늘린다. 본인은 개성이라고 생각해도 독자에게는 단순히 이해하기 어려운 문장으로 비칠 수 있다.

자신의 문체에 명확한 강점이 있어 이를 의도적으로 구사할 수 있는 사람은 예외로 하더라도, 비창작 문서에서는 표준적이고 솔직한 표현이 더 좋다. 독창성은 문장의 표면에 두지 않아도 된다.

무엇을 결론으로 선택할 것인가. 어떤 문제를 무겁게 볼 것인가. 어떤 데이터를 근거로 채택하고 어떻게 해석할 것인가. 기존 연구와 어떻게 연결할 것인가. 쓰는 사람의 독창성은 이러한 판단에 나타난다.

AI에게는 소스를 수집하게 하고, 인간이 의미를 결정한다

조사에서도 AI는 도움이 된다. 관련 논문이나 공적 자료를 찾게 하고, 대상, 방법, 주장, 한계를 정리하게 한다. 모르는 개념을 참조처와 함께 설명하게 해도 좋다. 연구 결과가 엇갈린다면 조건의 차이를 비교하게 하면 된다.

다만, AI의 요약만을 읽고 조사를 끝내서는 안 된다. 1차 자료(Primary source)는 인간이 직접 읽고, 요약이 정확한지, 문맥을 놓치지는 않았는지, 자신의 논의와 모순되지 않는지 확인할 필요가 있다.

데이터에서 어떤 결론을 채택할 것인지, 선행 연구 속에서 자신의 연구를 어떻게 위치시킬 것인지. 여기에는 해석과 책임이 따른다. AI는 판단 재료를 정리해 줄 수는 있지만, 결론에 대한 책임까지는 지지 않는다.

주장을 정하지 않고 읽으면, AI의 문장에 휘둘린다

AI가 내놓은 문장을 읽고, 그대로도 충분하다고 느끼는 경우가 있다. 실제로 수정이 거의 필요 없는 경우도 있다.

문제는 자신의 주장을 굳히기 전에 그 문장을 그대로 받아들여 버리는 것이다.

생성형 AI (Generative AI)는 결여된 전제를 보완하고, 논리를 연결하며, 자연스러운 결론까지 만들어낸다. 문장이 매끄럽기 때문에 어디까지가 자신의 생각이고 어디부터가 AI의 보완인지 구분하기 어렵다. 자신도 모르는 사이에 생성된 문장에 맞춰 자신의 주장을 바꾸어 읽게 되는 경우도 있다.

데이터의 해석이나 선행 연구와의 관계를 결정하는 장면에서는 이러한 괴리가 치명적이 된다. 읽기 쉬운 문장이 올바른 결론을 보장하는 것은 아니다.

AI의 출력을 다룰 때 가장 두려운 것은 말투의 오류보다, 자신이 무엇을 주장하고 있었는지를 놓치는 것이다.

쓰게 하기 전에, 결론, Why, How를 결정하라

AI에게 문장을 쓰게 하기 전에, 논리 구조를 인간이 준비한다. 순서는 결론, Why, How면 충분하다.

1. 결론을 한 문장으로 만들기

먼저 문장의 도착점을 결정한다. "독자에게 무엇을 옳다고 믿게 하고 싶은가"를 한 문장으로 만든다. 이 부분이 모호하면 AI는 무난하고 반론을 받기 어려운 방향으로 이야기를 보충한다. 정돈된 문장은 만들어질지 몰라도, 자신이 쓸 필요가 없는 내용이 되기 쉽다.

2. Why를 나열하기

다음으로 결론을 뒷받침하는 이유를 정리한다. 데이터, 전제, 선행 연구, 관찰 결과, 예상되는 반론을 나열하고 어떤 순서라면 논증이 통할지 확인한다. 중요한 전제가 무너졌을 때 결론이 어떻게 변하는지도 살펴둔다.

3. How를 결정하기

마지막으로 독자를 결론까지 인도하는 흐름을 만든다. 어떤 예를 사용할지, 무엇을 먼저 정의할지, 보충으로 돌릴 정보는 무엇인지 결정한다.

여기까지 준비할 수 있다면 문장화는 AI에게 맡기기 쉽다. 여러 안을 내놓게 하고, 장황한 부분을 깎아내며, 독자에 맞춰 설명량을 조절할 수 있다.

그래도 역시 문장을 쓰는 것은 중요한가?

여기까지 읽고, "그래도 문장을 쓰는 것 자체에 의미가 있는 것 아닌가"라고 느낀 사람도 있을 것이다.

그 감각은 옳다. 문장으로 만들어서야 비로소 자신의 이해가 모호했던 점이나 논리가 비약되었던 점을 깨닫는 경우가 있다. 머릿속으로는 정리되어 있다고 생각해도, 막상 써보면 설명할 수 없다. 문장화에는 생각을 밖으로 꺼내 검사할 수 있는 형태로 만드는 기능이 있다. 공부를 위해 쓰는 경우도 마찬가지로, 설명하려고 하는 과정에서 이해의 빈틈이 발견된다.

그렇다고 해서 그 효과를 얻는 방법이 스스로 한 글자씩 쓰는 것에만 국한된다고 생각하지는 않는다.

AI에게 생각을 설명하고, 반론을 요구하며, 다른 표현을 시도하게 한다. 생성된 문장을 읽으면서 전제의 누락이나 논리의 비약을 찾고, 자신의 주장과 어긋나 있다면 수정한다. 이러한 왕복 과정에서도 문장을 쓰면서 생각하는 것과 마찬가지로 자신의 이해는 깊어진다.

오히려 혼자서 계속 문장을 쓰는 것보다, 짧은 시간 안에 많은 반론과 구성을 시험해 볼 수 있는 장면은 늘어날 것이다. "문장을 쓰는 것이 사고가 된다"라는 관점은 유지되더라도, 그 사고를 진행하는 수단의 일부는 AI와의 대화로 옮겨가지 않을까.

그렇게 되면 문장을 쓰는 속도 이상으로 AI와의 대화 방식이 중요해진다. 무엇을 먼저 전달하고, 어디서 반론을 요구하며, 출력을 어떻게 검사하느냐에 따라 동일한 모델로부터 얻을 수 있는 결과도 달라진다.

이 대화의 설계에 대해서는 다음 글에서 자세히 다룬다.

문장을 쓰지 마라. 논리를 써라

신청서나 보고서의 가치는 누가 한 글자씩 입력했느냐로 결정되지 않는다. 결론에 근거가 있고, 논리가 통하며, 읽는 사람이 헤매지 않고 이해할 수 있는 것이 중요하다.

인간이 담당해야 할 것은 결론을 정하고, 근거를 선택하며, 그 책임을 지는 것이다. AI에게는 문장화를 맡기고, 생성된 문장을 읽으면서 논리의 빈틈이나 주장의 어긋남을 확인하면 된다.

문장을 쓰지 마라. 논리를 써라.

참고문헌

참고문헌

• Noy, S., & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence.
  Science, 381(6654), 187–192. https://doi.org/10.1126/science.adh2586
• Herbold, S. et al. (2023). A large-scale comparison of human-written versus ChatGPT-generated essays.
  Scientific Reports, 13, 18617. https://doi.org/10.1038/s41598-023-45644-9
• Yeadon, W. et al. (2024). Assessing the performance of ChatGPT in physics essays. arXiv:2403.05458. https://arxiv.org/abs/2403.05458
• Bašić, Ž. et al. (2023). Better by you, better than me, chatgpt3 as writing assistance in students’ essays.
  Humanities and Social Sciences Communications, 10, 811. https://doi.org/10.1057/s41599-023-02269-7

논의 (Discussion)