물리적 제약이 있는 파운데이션 모델의 에이전트적 진화 (Agentic evolution of physically constrained
요약
물리적 제약 조건을 고려하지 못하는 기존 에이전트의 한계를 극복하기 위해, 하드웨어 준수 컴퓨팅 시스템을 자율 설계하는 멀티 에이전트 엔진을 제안합니다. 진화적 지식 그래프와 알고리즘적 사고의 사슬을 활용하여 하드웨어-소프트웨어 공동 설계의 새로운 패러다임을 제시합니다.
핵심 포인트
- 물리적 접지(Physical Grounding)를 통한 하드웨어 호환 설계 구현
- 진화적 지식 그래프 기반의 구조적 진화 프레임워크 도입
- Q-Enhance 및 MoE-Salient-AQ 방법론을 통한 모델 압축 성능 향상
- 2,350억 파라미터 모델을 제한된 A100 서버 환경에 성공적 배포
인공지능 (AI)은 자동화된 과학적 발견을 점점 더 가속화하고 있지만, 현대의 범용 에이전트 (generalist agents)는 물리적 접지 (physical grounding)가 부족하여 하드웨어와 호환되지 않는 설계를 빈번하게 환각 (hallucinating)하는 문제가 있습니다. 본 연구에서는 하드웨어 준수 컴퓨팅 시스템을 자율적으로 설계하는 물리적으로 접지된 멀티 에이전트 발견 엔진 (multi-agent discovery engine)을 제시합니다. 과거의 과학적 혁신을 구조화한 진화적 지식 그래프 (Evolutionary Knowledge Graph)에 기반하여, 이 프레임워크는 '알고리즘적 사고의 사슬 (algorithmic Chain-of-Thought)'을 추출함으로써 맹목적인 확률적 탐색 (stochastic search)을 유도된 구조적 진화 (directed structural evolution)로 전환합니다. 파운데이션 모델 (foundation model) 배포라는 극한의 테스트베드에 적용한 결과, 이 엔진은 인간이 설계한 휴리스틱 (heuristics)을 능가하는 두 가지 하드웨어 인지 압축 방법론을 진화시켰습니다: Q-Enhance는 밀집 모델 (dense models)에서의 긴 문맥 정확도 손실을 완화하며, MoE-Salient-AQ는 3비트 미만 영역에서 최첨단 수동 희소 전문가 혼합 (sparse Mixture-of-Experts) 설계를 3.7% 상회하는 성능을 보여줍니다. 대역폭 효율적인 민감도 프로필 (Sensitivity Profile)을 활용하여, 우리는 2,350억 개의 파라미터를 가진 거대 모델을 제약된 듀얼 A100 서버에 성공적으로 배포하였으며, 정확도 저하를 0.64%로 최소화하면서 메모리 요구 사항을 75% 줄였습니다. 제약 없는 조합 탐색 (combinatorial search)을 지식 기반의 자율성으로 전환함으로써, 본 연구는 엄격한 물리적 경계 내에서 기계 주도적 발견을 위한 확장 가능한 하드웨어-소프트웨어 공동 설계 (hardware-software co-design) 패러다임을 구축합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기