도구 실행 전, LLM 에이전트의 도구 인수가 어디서 왔는지 기록하는 하네스

요약

이 글은 AI 에이전트의 안전성을 검증하기 위한 테스트 하네스를 소개합니다. 해당 하네스는 도구 실행 전 각 인수의 출처를 기록하고, 입력 동일성 대비 결정 일관성을 측정하는 기능을 제공합니다. 이를 통해 모델이 사용자 외 다른 소스의 텍스트에서 부적절하게 인수를 가져가는지 확인할 수 있습니다.

핵심 포인트

• 도구 실행 전 도구 인수의 출처를 기록하여 투명성을 확보합니다.
• 동일한 입력에 대해 동일한 결정을 내리는지 일관성(Consistency)을 측정할 수 있습니다.
• 모델이 사용자 텍스트가 아닌 다른 소스에서 정보를 가져가는지 테스트 가능합니다.