Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM 추론 프레임워크의 복잡성과 유지보수 비용 문제를 해결하기 위해 'LLM-as-Compiler' 접근 방식인 metainfer를 제안합니다. 사용자가 런타임 제약 조건만 지정하면, LLM 기반 다중 에이전트 시스템과 계약 지식 기반을 결합하여 맞춤형 추론 프레임워크를 자동으로 생성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 기술이 발전함에 따라 모델 패밀리, 컴퓨트 하드웨어, 양자화 방식(quantization schemes), 병렬화 전략(parallelization strategies), 특수 최적화 커널(specialized optimization kernels)의 영역이 계속 확장되고 있으며, 이는 범용 추론 프레임워크의 코드 복잡성과 유지보수 비용을 급격히 증가시키고 있습니다. 기존 소프트웨어 공학은 다양한 애플리케이션 시나리오를 지원하기 위해 여러 계층의 추상화(abstraction)를 사용하지만, 이러한 추상화는 시스템 복잡성을 높이고 추가적인 성능 오버헤드를 유발할 수 있습니다. 본 논문에서는 'LLM-as-Compiler' 접근 방식인 metainfer를 제시합니다. 이 방식에서 사용자는 추론 프로그램의 런타임 제약 조건(runtime constraints)만을 지정하면 됩니다. 이후 LLM 기반 다중 에이전트 협업 시스템과 계약 지식 기반(contract knowledge base)을 결합하여, 이러한 제약 조건을 만족시키는 간결하고 맞춤화된 추론 프레임워크를 자동으로 생성합니다. 우리는 metainfer를 세 가지 관점에서 평가했습니다: 소스 코드 참조의 영향, CKB가 커버하는 타겟에 대해 제로-참조(zero-reference) 제약 조건 하에서 생성된 엔진의 런타임 동작 및 성능 프로파일, 그리고 새로운 모델 및 플랫폼 시나리오를 위한 지식 기반 진화입니다. 그 결과는 metainfer가 생성 제약 조건, 검증 피드백, 지식 통합을 지속적인 폐쇄 루프(closed loop)로 구성하여, 명시적 지식으로부터 실행 가능한 맞춤형 추론 솔루션을 생성할 수 있게 함을 보여줍니다. 코드는 https://github.com/MetaInfer/MetaInfer에서 공개적으로 이용 가능합니다.