스스로 결정할 수 없음: LLM은 에이전트 검증자가 확인할 경계를 그릴 수 없다
요약
본 논문은 LLM 기반 에이전트의 자율적 결정 능력에 대한 근본적인 한계를 지적합니다. 특히 금융, 의료 등 외부 규제가 강한 분야에서 에이전트가 스스로 규칙을 정할 수 있다는 가정은 위험하며, 기존 검증 방식으로는 모든 상황을 감시하기 어렵습니다. 연구진은 CoVer(corroborate-then-verify)라는 새로운 프레임워크를 제안하여, 만장일치에 의존하는 대신 개입이 필요한 경우에만 검사를 허용하고 결정론적 재작성을 통해 안전성을 확보해야 한다고 주장합니다.
핵심 포인트
- LLM 에이전트의 자율적 결정 능력은 근본적인 한계를 가짐.
- 외부 규제 환경에서는 사전에 고정된 규칙 분할로는 부족함.
- CoVer 프레임워크는 만장일치 대신 개입 시에만 검사를 허용함.
- 자체 결정 가능성은 모델의 능력이 아닌, 검증자가 구축해야 할 경계임.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기