실현 제약 하에서의 적응성: In-Context 학습과 Agentic 학습 비교
요약
본 기사는 고정된 쿼리를 사용하는 In-Context 학습(ICL)과 적응적인 쿼리를 사용하는 Agentic 학습을 비교하여 작업 집합의 근사 성능을 평가합니다. 특히, 제약이 없는 환경과 ReLU 신경망으로 구현 가능한 실현 가능한 환경 두 가지 설정을 통해 이들을 분석했습니다. 연구 결과는 표현식 제약이 적응성 효과와 복잡하게 상호작용하며, 특정 시나리오에서는 적응성의 장점이 유지되거나(b), 오직 실현 가능성 하에서만 나타나는 경우(c)가 있음을 보여줍니다.
핵심 포인트
- In-Context 학습(ICL)은 고정된 쿼리를 사용하는 반면, Agentic 학습은 적응적인 쿼리를 사용하여 성능을 비교합니다.
- 연구는 '제약이 없는 제반'과 'ReLU 신경망으로 구현 가능한 실현 가능한 제반' 두 가지 환경에서 모델의 근사 성능을 평가했습니다.
- 적응성은 전반적으로 근사 성능에 부정적인 영향을 미치지 않지만, 표현식 제약(representational constraints)의 도입에 따라 그 장점은 달라질 수 있습니다.
- 표현식 제약과 적응성 효과는 복잡하게 상호작용하며, 이 상호작용을 이해하는 것이 중요합니다.
우리는 고정된 쿼리 (queries) 를 사용하는 In-Context 학습과, 적응적인 쿼리 (adaptive queries) 를 사용하는 Agentic 학습을 비교하여 작업 집합 (task families) 의 균일 근사 (uniform approximation) 성능을 평가합니다. 우리는 두 가지 설정을 고려합니다: 1) 제약이 없는 제반 (unrestricted regime), 여기서 쿼리와 근사는 임의의 함수로 수행되며, 2) 실현 가능한 제반 (realizable regime), 여기서 이러한 연산들이 ReLU 신경망에 의해 구현되어야 합니다.
두 설정 모두에서 적응성 (adaptivity) 은 근사 성능을 저해하지 않습니다. 그러나 제약이 없는 제반에서 실현 가능한 제반으로 넘어갈 때 이 장점은 달라질 수 있습니다. 우리는 명시적인 작업 집합 (explicit task family) 을 통해 증명한 네 가지 다른 근사 시나리오를 식별합니다:
(a) 적응성의 장점이 없음;
(b) 제약이 없는 제반에서의 장점이 ReLU 실현 가능성 하에서도 지속되는 경우;
(c) 실현 가능성 하에서만 나타나는 장점;
(d) 실현 가능성 하에서 사라지는 장점.
이는 표현식 제약 (representational constraints) 이 적응성 효과와 심오하게 상호작용함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기