집중이 전부다: 멀티 에이전트 그래프 시스템을 위한 적응형 목표 인지 어텐션 오케스트레이션 (Adaptive Goal-aware
요약
멀티 에이전트 그래프 시스템에서 자원 낭비를 줄이기 위해 어텐션 메커니즘을 워크플로우 수준으로 확장한 AGAO 프레임워크를 제안합니다. 목표, 토폴로지, 리소스를 고려한 동적 어텐션 할당을 통해 계산 효율성과 작업 성능을 동시에 향상시킵니다.
핵심 포인트
- 멀티 에이전트 그래프의 비효율적인 자원 할당 문제 해결
- 목표·토폴로지·리소스 인지 어텐션의 세 가지 핵심 구성 요소
- 불필요한 계산, 지연 시간 및 토큰 소비의 유의미한 감소
- 어텐션 엔지니어링(Attention Engineering)이라는 새로운 연구 방향 제시
대규모 언어 모델 (LLMs)은 추론, 계획 및 도구 사용을 위한 자율 에이전트를 가능하게 합니다. 최근 시스템들은 이러한 에이전트들을 전문화되고 서로 연결된 노드들의 그래프로 구성하는 경향이 늘고 있습니다. 그래프 기반의 오케스트레이션 (orchestration)은 유연한 분해와 조율을 지원하지만, 핵심적인 과제인 어텐션 할당 (attention allocation) 문제를 야기합니다. 워크플로우가 성장함에 따라, 기존 방식들은 종종 그래프 구성 요소들을 균일하게 실행하여 무관하거나 영향력이 낮은 작업에 자원을 낭비합니다. 우리는 Transformer 스타일의 어텐션을 토큰 표현에서 워크플로우 수준의 에이전트 조율로 확장하는 패러다임인 **어텐션 오케스트레이션 (Attention Orchestration)**을 소개합니다. 우리의 프레임워크인 **적응형 목표 인지 어텐션 오케스트레이션 (Adaptive Goal-aware Attention Orchestration, AGAO)**은 사용자의 목표, 그래프 의존성 및 계산 제약 조건을 기반으로 에이전트의 중요도를 동적으로 추정합니다. AGAO는 세 가지 구성 요소를 결합합니다: (1) 목표 인지 어텐션 (goal-aware attention): 사용자 목표와 에이전트 역량 사이의 의미론적 관련성을 측정합니다; (2) 토폴로지 인지 어텐션 (topology-aware attention): 에이전트 그래프 내의 구조적 의존성을 모델링합니다; (3) 리소스 인지 어텐션 (resource-aware attention): 이기종 에이전트 전반에 걸쳐 예산과 실행 우선순위를 할당합니다. 이러한 메커니즘들은 결합되어 정적인 에이전트 그래프를 목표에 핵심적인 추론 경로에 계산을 집중하는 적응형 시스템으로 변모시킵니다. 다양한 멀티 에이전트 워크로드에 대한 실험 결과, AGAO는 기존의 그래프 기반 실행 전략과 비교했을 때 불필요한 계산, 지연 시간(latency) 및 토큰 소비를 줄이면서도 작업 효율성을 향상시킨다는 것을 보여줍니다. 우리의 연구는 확장 가능하고 지능적인 멀티 에이전트 시스템을 위한 방향으로서 **어텐션 엔지니어링 (Attention Engineering)**을 정립합니다. 코드: https://github.com/MingzhouFan97/AGAO.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기