Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 통합 애플리케이션의 복잡도를 코드와 프롬프트 계층 모두에서 평가하는 새로운 도구 HECATE를 제안합니다. Hoare-logic에서 영감을 받은 '명세로서의 프롬프트' 개념을 통해 프롬프트 계층의 복잡도가 유지보수에 미치는 영향을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM-integrated (LLM 통합) 애플리케이션은 자연어 프롬프트 (prompt)와 프로그램 코드 (program code)를 혼합하며, 이들의 런타임 동작 (runtime behavior) 중 상당 부분은 코드 자체보다는 프롬프트 계층 (prompt layer)에서 발생합니다. 그러나 기존의 복잡도 지표 (complexity metrics)는 오직 코드 수준 (code level)에서만 작동하므로, 이러한 동작 로직 (behavioral logic)을 완전히 간과합니다. 우리는 이러한 애플리케이션의 프롬프트 계층과 코드 계층 모두에서 복잡도를 평가하도록 설계된 최초의 도구인 HECATE를 제시합니다. HECATE의 핵심은 모든 프롬프트를 의도된 동작의 명세 (specification)로 해석하는, Hoare-logic (호어 논리)에서 영감을 받은 형식주의인 Prompt-as-Specification (명세로서의 프롬프트)입니다. 발표된 분류 체계 (taxonomies) 전반에서 식별된 25가지 복잡도 차원 (complexity dimensions)에 기반하여, 이 도구는 52개의 후보 지표 (candidate metrics)를 생성합니다. 우리는 버전 히스토리 (version history)에서 도출된 유지보수 활동 (maintenance activity)을 복잡도의 경험적 대리 지표 (empirical proxy)로 삼아, 18개의 오픈 소스 리포지토리 (open-source repositories)에서 수집된 118개 구성 요소를 대상으로 각 지표를 평가하였으며, 코드 크기 (code size)를 고려했을 때 유의성을 잃는 지표는 모두 폐기하였습니다. 단 10개의 지표만이 이 테스트를 통과했습니다. 그 중 7개는 우리가 새롭게 도입한 세트에 속합니다. 이들은 단순히 양을 측정하는 대신, LLM 호출 지점 (LLM call sites), 메모리 속성 (memory attributes), 프롬프트 템플릿 (prompt templates)과 같이 구조적으로 구별되는 요소들을 집계하며, 우리는 이를 구조적 폭 (structural breadth)이라는 속성이라 부릅니다. 살아남은 3개의 전통적인 지표 중, RFC는 유사한 폭 지향적 (breadth-oriented) 특성을 보이지만, Halstead N과 V는 크기의 잔차 효과 (residual effect of size)로서만 생존하였으며, 우리의 최상위 성능 지표들은 이 세 가지를 모두 능가합니다. 결정적으로, 프롬프트 계층 지표 (prompt-layer metrics)는 가장 강력한 코드 수준 지표 (code-level metric)를 공변량 (covariate)으로 추가하더라도 유의성을 유지하며, 이를 통해 프롬프트 복잡도 (prompt complexity)가 그 자체로 하나의 차원임을 입증합니다. 6개의 홀드아웃 리포지토리 (held-out repositories)에 걸친 20개 구성 요소에 대한 최종 검증 결과, 가장 성능이 좋은 두 지표가 유지보수 노력 (maintenance effort)을 계속해서 예측함을 보여주었으며, 이는 훈련 세트 (training set)를 넘어선 일반화 가능성 (generalizability)을 뒷받침합니다.