Agora: LLM 에이전트를 활용한 프로덕션 수준 합의 프로토콜의 자율적 버그 탐지 연구
요약
Agora는 합의 프로토콜의 복잡한 로직 버그를 탐지하기 위해 제안된 도메인 인지형 멀티 에이전트 프레임워크입니다. 가설 기반 테스트와 LLM 에이전트 간의 협업을 통해 기존 방식으로는 찾기 어려운 심층적인 프로토콜 오류를 성공적으로 찾아냈습니다.
핵심 포인트
- 도메인 인지형 멀티 에이전트 프레임워크 Agora 제안
- 가설 기반 테스트와 LLM의 통합을 통한 상태 공간 탐색
- Raft, HotStuff 등 주요 프로토콜에서 15개의 신규 버그 발견
- 단일 에이전트 대비 전역 프로토콜 불변량 추론 능력 탁월
합의 프로토콜 (Consensus protocols)은 분산 시스템 (Distributed systems)과 블록체인의 중추를 형성하며, 여기서 발생하는 구현 버그는 데이터 손상과 금융 손실을 초래할 수 있습니다. LLM (Large Language Model) 기반의 접근 방식이 코드 분석에서 가능성을 보여주고 있지만, 여러 실행 단계에 걸친 복잡한 상태 의존적 동작 (State-dependent behaviors)을 포함하는 심층적인 프로토콜 수준의 로직 버그 (Protocol-level logic bugs)를 해결하는 데에는 어려움을 겪고 있습니다. 본 논문에서는 체계적인 프로토콜 검증을 위해 가설 기반 테스트 (Hypothesis-driven testing)와 LLM 역량을 통합한 도메인 인지형 멀티 에이전트 프레임워크 (Domain-aware multi-agent framework)인 Agora를 제안합니다. Agora는 프로토콜 상태 공간 (Protocol state spaces)을 협력적으로 탐색하고, 도메인 특화 제약 조건 (Domain-specific constraints)을 사용하여 공격 시나리오를 합성하며, 반복적인 정교화 (Iterative refinement)를 통해 발견 사항을 검증하는 특화된 에이전트들을 활용합니다. 이러한 명시적인 역할 분리는 단일 함수 코드 분석을 넘어 전역 프로토콜 불변량 (Global protocol invariants)에 대한 추론을 가능하게 합니다. 우리는 네 가지 최첨단 LLM을 사용하여 네 가지 합의 프로토콜 구현체 (Raft, EPaxos, HotStuff, BullShark)에 대해 Agora를 평가했습니다. Agora는 안전성 속성 (Safety properties)을 위반하는 이전에 알려지지 않은 15개의 프로토콜 수준 로직 버그를 발견한 반면, 기존의 LLM 기반 에이전트들은 이러한 프로토콜 수준의 로직 버그를 전혀 탐지하지 못했습니다. 우리의 결과는 복잡한 프로토콜 내의 심층 로직 버그를 탐지하기 위해서는 도메인 인지형 멀티 에이전트 협업 (Domain-aware multi-agent collaboration)이 필수적임을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기