💭 LLM 추론 모델, 제대로 쓰기

effort 설정이 실제로 하는 일

"reasoning" 모델은 사람처럼 생각하는게 아님. 답을 내기 전에 중간 과정을 글로 써보는 것뿐.

신경망이 뇌가 아니듯, 이 용어도 문자 그대로 받아들이면 안 됨.

생각 과정을 길게 쓰면 정답률이 올라감. 이게 이 모든 것의 핵심!

특별한게 아니라 "더 많은 토큰을 써서 더 많이 계산한다"는 뜻이고, 그래서 시간과 돈이 더 들기도..

effort를 올린다고 계속 좋아지진 않음. 어느 지점부터는 비용만 늘고 성능은 거의 안 오름.. 최고 설정을 항상 켜두는 건 대개 낭비.

쉬운 질문에 높은 effort는 그냥 손해. 초기 R1 같은 모델은 "1+1은?"에도 장황하게 답했고 끌 방법도 없었음.

요즘 모델에 on/off와 단계 조절이 생긴 이유가 이것!

작은 모델을 열심히 굴리는게 큰 모델을 대충 굴리는 것과 비슷할 수 있음.

실제 벤치마크에서 곡선이 겹치니.. 무조건 제일 큰 모델을 고르는 게 정답은 아니라는 뜻.

그래서 선택은 "모델 크기 × effort" 2차원 문제. 정확도, 비용, 응답속도 중 뭘 우선하느냐에 따라 조합이 달라짐.

실시간 대화라면 지연시간이, 밤새 도는 코딩 에이전트라면 정확도가 더 중요할 수 있음.

접힌 "생각 중..." 영역을 신비롭게 볼 필요 없음. 그건 <think> 태그로 구분된 중간 출력을 UI가 숨긴 것뿐. 태그 자체는 성능과 무관한 형식임.

그 중간 과정은 "모델이 진짜로 어떻게 계산했는지"의 정확한 기록이 아님.

DeepSeek-R1 학습에서 중간 트레이스는 보상 신호로 쓰이지도 않음. 최종 답과 형식만 채점. 참고 자료로 보되, 근거로 맹신하진 말 것.

모델은 스스로 오류를 잡아내기도 함. 중간에 "잠깐, 이건 틀렸네??" 하고 되돌아가는 게 "Aha moment"인데, 이건 별도로 가르친 게 아니라 정답 보상만으로 자연스럽게 나온 행동.

effort 설정은 대개 시스템 프롬프트 한 줄.
gpt-oss는 "Reasoning effort: low/medium/high"를 프롬프트 앞에 붙임.

메뉴에서 고르는 것과 프롬프트로 지시하는 것이 내부적으로는 비슷함.

단, 아무 모델에나 "최대한 열심히 생각해줘"라고 써봐야 소용없음.

그 문구가 먹히는 건 학습 때 해당 라벨과 응답 길이를 짝지어 훈련했기 때문임. 훈련되지 않은 모델에겐 그냥 평범한 문장일 뿐임.

회사마다 부르는 이름이 다를 뿐 같은 개념.
thinking mode / reasoning mode, low high max / 0.0~1.0 연속값 등 표기만 다름.

"생각 끄기"는 답을 없애는 게 아니라 중간 과정을 건너뛰는 것.
번역, 요약, 단순 질의처럼 답이 뻔한 작업에선 끄는 쪽이 빠르고 저렴함.

여러 번 물어보고 다수결을 취하는 것도 성능을 올리는 방법. 이게 self-consistency.

중요한 계산이라면 같은 질문을 몇 번 던져 답이 일치하는지 보는게 실제로 쓰이는 기법.

자동 조절은 아직 미해결 문제.. GPT-5의 Auto 모드는 결국 UI에서 사라짐. 당분간은 사용자가 직접 판단해서 고르는 게 낫다는 뜻.