Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 에이전트가 API 호출 오류 시 스스로 수정할 수 있도록 구조화된 피드백을 제공하는 '자기 성찰적 API' 개념을 제안합니다. 실험 결과 Anthropic 모델에서 작업 완료율과 토큰 효율성이 크게 향상됨을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 에이전트가 API를 호출하다가 유효성 검사 오류 (validation error)를 마주했을 때, 에이전트에게는 무엇이 잘못되었는지 이상의 정보, 즉 다음에 무엇을 해야 하는지에 대한 정보가 필요합니다. 자기 성찰적 API (Self-reflective API)는 유효성 검사 실패 시, 에이전트가 외부 추론 없이도 요청을 수정하고 재시도할 수 있을 만큼 충분한, 기계 판독이 가능한 recovery_feedback.suggestions[] 페이로드를 반환합니다. 유출 감사 (leak-audited) 파일럿 테스트 (셀당 $N{=}30$, 3개의 LLM, 10개의 적대적 작업) 결과, Anthropic 모델에서 구조화된 제안 (structured suggestions)은 일반적인 영어 진단 (plain-English diagnoses)보다 작업 완료율을 $+36.7$--$40.0$pp 향상시켰으며 (Fisher의 정확 검정 $p ext{ } \le 0.0022$), 성공당 토큰 효율성 (token efficiency)은 $1.8$--$2.2 imes$ 더 우수했습니다. gpt-4o-mini에서는 이러한 향상이 유의미하지 않았습니다 ($p{=}0.435$). 결제 API (billing API)를 대상으로 한 두 번째 도메인 복제 실험에서도 이 패턴이 확인되었습니다. 이 비교는 LLM 벤치마크에서 문서화되지 않은 두 가지 유형의 답변 유출 (answer leakage)을 감사한 후에야 유효했습니다. 우리는 재사용 가능한 CI 인프라로서 audit_prompt_leakage.py를 배포합니다. 코드 및 데이터: https://github.com/arquicanedo/self-reflective-apis.