「LLM은 전문 지식을 가진 사람일수록 더 좋은 결과를 돌려준다」—— 이 언뜻 당연하게 들리는 화제가 Hacker News 커뮤니티에서 1,000건 이상의 반응을 모으며 화제가 되었습니다 (게시자: MaxMussio, 기사 제목 「LLMs reward expertise」).

평소 Claude, ChatGPT, Gemini 등의 LLM을 업무에서 사용하고 있는 엔지니어라면, 경험적으로 「같은 모델인데도 사용하는 사람에 따라 출력의 질이 완전히 다르다」고 느낀 적이 있을 것입니다. 이 기사에서는 그 현상이 왜 발생하는지, 그리고 엔지니어가 일상적인 프롬프트 설계(Prompt Design)나 리뷰 업무에서 어떻게 활용할 수 있는지 정리합니다.

📌 영향을 받는 사람

• LLM을 사용한 코딩 지원·리뷰·설계 상담을 수행하는 엔지니어
• 사내 LLM 활용 교육·가이드라인 정비를 담당하는 사람
• 「AI에게 물어보면 누구나 똑같은 답을 얻을 수 있다」는 전제로 툴 도입을 검토하고 있는 매니저

이 화제의 핵심은 LLM에 대한 입력(질문·지시)의 질이 그대로 출력의 질을 결정짓는다는 구조에 있습니다. 전문 지식을 가진 사용자는 「무엇을 물어봐야 하는지」, 「어디까지 구체적으로 써야 하는지」, 「돌아온 답변을 어떻게 검증할지」를 알고 있기 때문에, 같은 모델이라도 얻을 수 있는 가치가 크게 달라집니다.

이 그림이 보여주는 것처럼, LLM 자체의 성능 차이라기보다는 「입력 설계」와 「출력 검증 능력」의 차이가 체감되는 품질 차이의 대부분을 차지하고 있습니다.

커뮤니티에서의 논의를 바탕으로 「전문 지식이 LLM 활용의 질을 좌우하는」 요인을 정리하면, 크게 다음 3가지로 집약할 수 있습니다.

이것은 특정 모델 업데이트나 API 변경이 아니라, LLM이라는 도구의 성질 그 자체에 관한 통찰입니다. 즉 「모델을 바꾸는 것」보다 「사용하는 측의 스킬」을 높이는 것이 얻을 수 있는 가치에 미치는 영향이 더 큰 경우가 많다는 지적입니다.

💡 Tips

LLM의 출력 품질에 불만이 있다면, 먼저 의심해야 할 것은 「모델의 한계」가 아니라 「프롬프트의 구체성」과 「자신의 검증 프로세스」입니다.

현장에서 취할 수 있는 구체적인 액션은 다음과 같습니다.

프롬프트에 문맥과 제약을 명시한다
목적·전제 조건·제외 사항·출력 포맷을 세트로 전달한다. -
답변을 액면 그대로 믿지 않고 검증하는 플로우를 만든다
특히 코드 생성이나 API 사양 등 사실 확인이 필요한 영역에서는 문서나 테스트로 교차 검증한다. -
대화를 한 번의 왕복으로 끝내지 않고 피드백 루프(Feedback Loop)를 돌린다
「틀렸다」가 아니라 「어느 부분이 어떻게 다른지」를 전달함으로써, 전문가가 아니더라도 출력 품질을 끌어올릴 수 있다. -
팀 내에서 프롬프트 베스트 프랙티스(Best Practice)를 공유한다
개인에게 의존하기 쉬운 「질문하는 요령」을 문서화하여 비전문가 멤버의 역량을 끌어올리는 데 사용한다.

추상적인 지시와 전문 지식을 반영한 구체적인 지시의 차이를 프롬프트 예시로 비교합니다.

Before (애매한 지시)

이 API의 에러 핸들링을 수정해줘

After (전문 지식을 반영한 구체적인 지시)

다음 Express 미들웨어에서, 비동기 처리 내에서 발생한 예외가
Express 본체의 에러 핸들러에 도달하지 않고 묵살되고 있습니다.
- 기대하는 동작: 예외 발생 시 next(err)를 통해 공통 에러 핸들러로 전달
...

후자처럼 「무엇이 문제인지」, 「무엇을 바꾸면 안 되는지」, 「어떻게 출력되기를 원하는지」를 명시할 수 있으면, LLM은 모호함이 적은 상태에서 태스크에 임할 수 있으므로 리뷰의 재작업(rework)이 대폭 줄어듭니다. 이는 모델의 성능이 아니라, 지시자 측의 전문 지식(여기서는 비동기 처리와 Express의 에러 핸들링에 대한 이해)이 출력 품질을 끌어올리고 있는 전형적인 사례입니다.

• LLM의 출력 품질은 모델 자체의 성능뿐만 아니라 「사용하는 사람의 전문 지식」에 크게 좌우된다
• 전문가는 구체적인 지시·검증·피드백의 정밀도가 높기 때문에, 같은 모델로부터 더 높은 가치를 끌어낼 수 있다
• 엔지니어가 취해야 할 대응은 프롬프트의 구체성을 높이는 것, 출력을 검증하는 플로우를 갖는 것, 피드백 루프를 정성껏 돌리는 것이다
• 팀 차원에서는 프롬프트 설계나 검증 노하우를 문서화하여, 전문 지식의 차이에 따른 출력 품질의 편차를 줄이는 노력이 유효하다

「AI에게 물어보면 누구나 같은 답을 얻을 수 있다」는 전제는 잘못된 것이며, 오히려 전문 지식을 가진 사람일수록 LLM의 혜택을 크게 누릴 수 있다는 점은 향후 AI 활용 전략을 구상하는 데 있어 중요한 관점입니다.