AI에게 논문/졸업논문을 쓰게 하기 전에: 9개 대규모 언어 모델을 11가지 태스크로 벤치마킹하여 알게 된 것 (Claude Opus 5.5와

본 기사는 AI 지원을 받아 작성되었습니다(Qiita 가이드라인에 따라 공개). 본문 중 측정 결과, 프롬프트, 출력, 점수는 모두 필자가 직접 실행한 실제 API 호출에서 얻은 것이며, 글 자체는 Claude로 초안을 잡은 후 수동으로 수정했습니다.

2026년, 논문이나 졸업논문을 작성하는 데 AI를 사용할지 여부에 대한 논의는 이미 끝났습니다. 문제는 “어떤 AI를 어느 단계에서 사용하느냐”입니다.

Turnitin의 AI Detection, Grammarly의 AI Check, 각 출판사의 AI 공개 정책 등 투고처의 심사가 점점 까다로워지는 한편, 지도교수 역시 'AI 느낌이 나는 글'을 구별하는 것이 빨라지고 있습니다. 하지만 반면 Claude Opus 5.5, Kimi K3.1 Pro, GPT-5, DeepSeek V4 Pro, Qwen 3.8 Max, Doubao Seed 2.1 Turbo, GLM 5.3 Prime, Claude Sonnet 5.5, Codex 5.3 등 실용적인 수준의 LLM(대규모 언어 모델)이 9개 이상 확보된 시대입니다.

이에 9개 모델 · 11가지 태스크 · 89건의 예정 슬롯으로 벤치마킹을 진행했습니다. 주 실행에서는 8건을 건너뛰었으며, 실패나 공백 응답 일부는 재실행했습니다. 수집된 출력은 별도의 모델(deepseek-v4.1-flash)로 8축 · 1–10점의 문체 평가를 거쳤습니다. 이 'AI 느낌'은 Turnitin의 탐지 결과가 아닙니다.

본 기사는 엔지니어 및 연구자를 대상으로 어떤 모델을 어떤 태스크에 할당해야 하는지를 실데이터와 함께 정리한 것입니다.

• 연구 주제 전개 (发散)
• 논문 아웃라인 작성
• 영어 초록 독해(4점 요약)
• 긴 PDF의 사실 검색(10문 QA)
• 중국어 학술문 리라이팅 ※일본어 태스크는 별도 조사 예정
• 영어 폴리싱 (Polishing)
• 250 단어 분량의 영어 초록 작성
• 중영 번역
• OLS 분산 행렬 도출
• pandas 데이터 분석 스크립트
• 심사위원 코멘트에 대한 답변 초안

9개 벤더 각각에 계정을 열고 9종류의 Base URL을 관리하는 것은 현실적이지 않기 때문에, OpenAI 호환 집계 엔드포인트를 통해 통일했습니다.

async function callModel(apiKey, modelId, prompt, maxTokens = 4500) {
const res = await fetch('https://api.crazyrouter.com/v1/chat/completions', {
method: 'POST',
...
}

구현 시 막혔던 포인트 3가지:

• 추론 모델은 있습니다. Kimi K3.1 Pro 등에서 temperature 파라미터를 거부하는 temperature: 0.3을 보내면 400 provider_rejected가 반환됩니다. 생략하고 기본값을 사용하는 것이 안전합니다. -
• 따라서, 1500처럼 작게 설정하면 GPT-5나 Kimi의 경우 max_tokens는 추론 토큰을 포함하는 content: ""로 돌아옵니다. 생각만으로 예산을 다 소진하기 때문입니다. 4500 이상을 권장합니다. -
• 각 벤더 공식 API도 당연히 사용할 수 있습니다. Anthropic, OpenAI, Moonshot, DeepSeek 모두 SDK와 문서가 완비되어 있습니다. 본 기사의 결론은 '어떤 모델이 어떤 능력을 가졌는가'이며, 호출 경로에 의존하지 않습니다. 자세한 내용은 Crazyrouter 일본어 문서를 참조해 주십시오.

5,000 단어 분량의 arXiv 논문(교육 심리학 분야) Introduction 전체를 제시하고, 10가지 사실 질문(연구 과제, 샘플 크기, 두 가지 핵심 구성 요소, 제거 실험 섹션 번호 등)을 했습니다. Kimi K3.1 Pro는 10개 질문 모두 정답이었으며, 각각 원문의 해당 단락을 인용할 수 있었습니다. "텍스트 대화와 음성 대화의 비율은 70% vs 30%"와 같은 세부적인 숫자도 원문에서 정확하게 찾아냈습니다.

같은 태스크에서 GPT-5는 공백 응답으로, finish_reason: length로 종료되었습니다. 주 실행에서는 다른 곳에서도 공백 응답이 있었고, 복수는 재실행으로 해결했습니다. 이 주제에서는 Kimi의 결과가 좋았지만, 이것만으로 GPT-5의 장문 독해 전반을 부정할 근거는 아닙니다.

Kimi의 작은 습관: 프롬프트에 "각 장의 분량을 합하여 100%로 해주세요"라고 지정하면, 끝 부분에 "분량 비율 검증: 8% + 14% + 10% + ... = 100%"와 같이 스스로 계산한 줄을 출력합니다. 인간은 개요에 검산표를 적지 않습니다. 이 줄만 삭제하면 본문은 그대로 사용할 수 있습니다.

같은 개요 작성 태스크를 Opus, Qwen, Doubao 세 모델로 비교했습니다:

Opus의 출력: 3단계까지의 제목, 각 장별 1문 요약, 분량 배분이 단순하게 나열됨 (AI 느낌 4/10) -
Qwen의 출력 시작 부분: "개요는 3단계 제목으로 세분화하고, 각 장에 1문 요약을 붙였으며, 분량 배분은 합계 **100%**로 했습니다" (AI 느낌 8/10) -
Doubao의 출력 끝부분: "필수 모듈 검증: 문헌 리뷰(제2장), 이론적 틀(제3장), 연구 설계(제4장), ... 모두 포함" (AI 느낌 8/10)

Qwen과 Doubao의 출력은 "당신의 지시를 전부 충족했습니다, 보세요"라는 납품서가 붙은 개요입니다. 인간은 개요에 검수표를 적지 않습니다. 이것이 지도교수에게 "AI 아니야?"라는 말을 듣는 가장 큰 원인입니다.

Opus의 작은 습관: 출력 끝 부분에 "제출 전에 다음을 다시 확인하세요: 1. 샘플 크기 기술..."와 같은 체크리스트를 붙일 때가 있습니다. 이것은 자신만을 위한 메모처럼 추가하는 동작이며, 본문의 일부가 아닙니다. 삭제하면 됩니다.

국제 저널용 영문 초록(Abstract)의 경우, 내용과 영어 표현 확인이 필수적입니다. 이번 테스트에서는 Opus의 출력이 이 용도에 적합했습니다. 탐지 시스템 통과율은 측정하지 않았습니다.

10개 항목으로 구성된 불릿 포인트를 주고 250단어 분량의 영문 초록(Background / Methods / Results / Conclusion의 4단락 구성)을 작성하게 했을 때, Opus의 출력:

• 단어 수 247단어 (±20단어 허용 범위 이내)
• 구조가 엄격하게 4개 단락
• 10개 항목 모두 대응하며, 원 목록에 없는 내용은 추가하지 않음
  "delve into", "pivotal", "cutting-edge", "novel framework" 등 한눈에 AI라고 알 수 있는 고빈도 어휘를 일절 사용하지 않았습니다.

번역 느낌 점수는 3/10으로, 9개 모델 중 가장 낮았습니다.

DeepSeek V4 Pro는 이번 테스트에서 가장 저렴합니다(공식 가격 기준 11가지 태스크 실행에 약 $0.09로, Opus의 1/19 수준). 중국어 본문 초안 작성 용도로는 이 가격으로 충분히 사용할 수 있습니다. 하지만 영문 번역만은 별개입니다.

DeepSeek은 중국어 학술 표현을 그대로 영어로 직역하는 습관이 있습니다:

출력 예: "with a beta coefficient of 0.42 and a significance level of p < .001"
기대치: "β = 0.42, p < .001"

이 예시는 영어 학술 문체 교정 포인트입니다. Turnitin이 어떤 표현을 감지하는지는 본 테스트에서 확인하지 않았습니다. DeepSeek의 영어 역시 제출 전에 전문 분야 표기에 맞춰 편집해야 합니다.

120행의 CSV를 읽어 들여 기술 통계(descriptive statistics) + Welch의 t 검정 + Cohen's d + 상자 그림(boxplot)을 출력하는 pandas 스크립트를 작성하도록 했습니다. 9개 모델 모두 필수 키워드(pandas / scipy.stats.ttest_ind + equal_var=False / Cohen's d / matplotlib boxplot / dpi=150 등 총 10가지 항목)를 10/10 만점으로 통과했습니다.

Sonnet 5.5를 선택한 이유는 "지시 사항을 듣고 임의로 라이브러리를 변경하지 않는다"는 점입니다. "scipy로 작성해 달라"고 요청하면 statsmodels로 빠지지 않고, 데이터 분포를 describe()로 확인한 후 모수적(parametric)인지 비모수적(non-parametric)인지를 결정합니다.

Codex 5.3은 OpenAI의 코드 특화 모델이며, 이는 멀티 파일/멀티 스텝 데이터 파이프라인에 적합합니다. 단발 스크립트라면 Sonnet을, 프로젝트 전체라면 Codex를 사용하는 분배가 현실적입니다.

실제 답변 시나리오를 모방했습니다. 심사위원: "n=42로는 인과 추론에 불충분하므로 거절 권고(200까지 늘리면 재고)". 전제: Methods §3.2에서 사전에 검정력 분석(a priori power analysis)을 이미 보고했으며, α=.05, d=0.8일 때 n=42/그룹이 필요한 최소 표본 크기입니다.

Opus의 250단어 영어 답변은, 감사 표시 → Methods §3.2에서 이미 보고된 내용 지적 → 검정력 분석 요점 반복 → Discussion에서 "표본 크기와 외부 타당성의 한계"를 확장하겠다는 약속 → 재모집은 하지 않겠다는 구성으로 프롬프트 요구사항을 완벽하게 충족했습니다. 톤 역시 비굴하지도, 대항적이지도 않은 적절한 선이었습니다.

GPT-5에서도 같은 구성을 작성할 수 있지만, 약간 양보하는 방향으로 기울어집니다. 최종본은 Opus를, 브레인스토밍 단계의 골격은 GPT-5를 사용하는 분배가 가장 가성비가 좋습니다.

Doubao가 압도적으로 느려서, 호출당 100230초가 걸립니다. Qwen 역시 Sonnet보다 35배 느립니다. 실시간 용도로는 부적합하며, 배치 처리(batch processing) 용도로는 문제가 없습니다.

const ROUTE = {
topic_brainstorm: 'deepseek-v4-pro', // 발산, 저렴함
read_long_pdf: 'kimi-k3.1-pro', // 긴 PDF 최강
... 

Qwen 3.8 Max와 Doubao Seed 2.1 Turbo는 본 테스트의 문체 평가에서 8/10을 기록했습니다. 이 수치만으로 투고 가능 여부가 결정되지는 않습니다. 사내 진행 보고서, 보조금 신청서, 기획서 등에서는 요구사항을 명시하는 형식이 도움이 될 때도 있습니다.

본 기사의 'AI 느낌'은 표절률이나 실제 AI 감지율이 아닙니다. 다른 모델에 의한 문체 평가이며, 감지 도구에서의 결과를 예측할 수는 없습니다. 투고 전에는 출처, 인용, 소속 기관의 AI 이용 규정을 확인해 주십시오.

• 인간의 눈을 통한 최종 검토는 생략할 수 없습니다. Opus의 "제출 전 체크리스트", Kimi의 "분량 비율 검증" 줄, GPT-5의 프롬프트 반복, DeepSeek의 중간 끊김, Sonnet의 반각 기호—이 모든 것이 기계적인 흔적이지만, 지우는 것은 인간의 책임입니다. 지도교수님께 제출하는 최종본은 당신의 것이지 모델의 것이 아닙니다.

만약 여러분이 유사한 벤치마크를 진행했고, 이 결론과 다른 동작을 관찰했다면 댓글로 공유해 주십시오. 특히 모델/버전/태스크 세분화 정도에 따라 결과가 변동하기 쉬우므로, 지식을 집약하고 싶습니다.