시스템 식별을 위한 인컨텍스트 학습: 확률적 공식화, 장문 처리 및 벤치마크 검증

원문 발행 2026. 10. 09. 20:21원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 연구는 시스템 식별(system identification)을 위해 인컨텍스트 학습 기반의 메타 모델 프레임워크를 제안합니다. 이 접근 방식은 전통적인 2단계 추정 과정을 우회하고, 대규모 합성 데이터로 오프라인 훈련된 메타 모델이 입력과 출력을 직접 매핑하도록 합니다. 연구진은 확률적 아키텍처 개발, 불확실성 인식 데이터 생성기 활용, 그리고 까다로운 OOD 시나리오에서의 성능 검증을 통해 이 프레임워크의 우수성을 입증했습니다.

핵심 포인트

인컨텍스트 학습으로 시스템 식별 접근 방식 혁신
통합 확률적 메타 식별 아키텍처 개발 및 적용
불확실성 인식 합성 데이터 생성기로 활용 가능
OOD 시나리오에서 강력한 일반화 성능 입증

전통적인 시스템 식별(system identification)은 일반적으로 두 단계를 거칩니다. 첫째, 관심 시스템의 모델을 추정하기 위해 훈련 데이터가 처리되고; 둘째, 이 모델이 새로운 입력 질의에 대한 출력을 예측하는 데 사용됩니다. 반면, 최근의 인컨텍스트 학습(in-context learning) 접근 방식은 명시적인 모델 추정을 우회하고, 훈련 데이터와 질의 입력을 출력으로 직접 매핑하는 메타 모델을 제로샷(zero-shot) 방식으로 학습합니다. 이 접근 방식은 대규모 합성 생성 데이터를 이용해 오프라인으로 훈련된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모방합니다. 본 연구에서는 시스템 식별을 위한 이 메타 학습 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머 기반 인코더-디코더와 장기 훈련 시퀀스를 처리하기 위한 맞춤형 메커니즘을 결합한 통합 확률적 메타 식별 아키텍처(probabilistic meta-identification architecture)를 개발하여, 긴 호라이즌에 걸친 보정된 예측을 가능하게 합니다. 둘째, 사전 훈련된 메타 모델이 고전적인 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기(uncertainty-aware synthetic data generator)로 어떻게 작용할 수 있는지 보여주며, 실제 데이터가 부족할 때 매개변수 모델을 정규화하는 작업별 데이터를 제공합니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 까다로운 분포 외(out-of-distribution) 시나리오에서 이 프레임워크를 체계적으로 평가하여, 최신 기법들과 경쟁력 있는 정확도와 강력한 일반화 성능을 입증합니다. 여기에는 입력만으로 적응하는 것만으로 상당한 분포 변화에 대처할 수 있는 경우도 포함됩니다.

AI 자동 생성 콘텐츠

원문 바로가기

시스템 식별을 위한 인컨텍스트 학습: 확률적 공식화, 장문 처리 및 벤치마크 검증

요약

핵심 포인트

댓글