RAISE: 강건한 적대적 인스턴스 탐색을 통한 LLM 기반 자동 휴리스틱 설계
요약
LLM 기반 자동 휴리스틱 설계(AHD)의 취약점인 분포 변화 문제를 해결하기 위한 RAISE 프레임워크를 제안합니다. 적대적 인스턴스 탐색을 통해 훈련 데이터 주변의 최악의 사례를 식별함으로써, 환경 변화에도 강건한 휴리스틱을 설계할 수 있습니다.
핵심 포인트
- 기존 LLM 기반 AHD의 분포 변화에 따른 성능 저하 문제 지적
- RAISE: 적대적 인스턴스 탐색을 통합한 강건한 AHD 프레임워크 제안
- 경계 투영을 활용해 훈련 분포 주변의 어려운 인스턴스 효율적 식별
- OBP, OJSP, OVRP 실험 결과, 기존 방식 대비 압도적인 강건성 입증
대규모 언어 모델 (LLMs)을 활용한 자동 휴리스틱 설계 (Automated Heuristic Design, AHD)는 고품질의 휴리스틱을 발견하는 데 있어 놀라운 진전을 보여주었습니다. 그러나 기존의 LLM 기반 AHD 방법들은 고정된 훈련 인스턴스 세트에 대해 휴리스틱을 최적화하며, 실제 환경의 분포 변화 (distributional shifts) 하에 배포될 때 치명적인 실패를 겪을 수 있습니다. 우리는 훈련 분포의 원칙적인 이웃 범위 내에서 제약된 최악의 사례 인스턴스 탐색 (constrained worst-case instance search)을 LLM 기반 진화 탐색 루프에 통합하는 프레임워크인 RAISE (Robust Adversary Instance Search)를 제안합니다. RAISE는 강건한 AHD를 제약된 적대적 인스턴스 탐색 문제로 취급합니다. 즉, 외부 루프는 LLM 연산자를 통해 휴리스틱을 진화시키고, LLM이 필요 없는 내부 루프는 경계 투영 (boundary projection)을 포함한 기저 분포 매개변수화 (basis distribution parameterization)를 사용하여 훈련 인스턴스 세트 주변의 에psilon-ball 내에서 어려운 인스턴스들을 효율적으로 식별합니다. 5개의 분포군에 걸친 온라인 빈 패킹 (Online Bin Packing, OBP), 온라인 작업 숍 스케줄링 (Online Job Shop Scheduling, OJSP), 온라인 차량 경로 문제 (Online Vehicle Routing, OVRP)에 대한 종합적인 실험 결과, 기존의 LLM 기반 AHD 방법들은 분포 변화 시 성능이 최대 19배까지 저하되는 반면, RAISE는 테스트된 모든 분포와 문제 규모에 걸쳐 일관되게 강력한 성능을 유지함을 입증하였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기