Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2046건필터 해제
Metaplastic Binary Bayesian Neural Networks를 이용한 능동적 지속 학습
에지 시스템의 지속 학습을 위해 안정성, 가소성, 망각의 균형을 맞추는 BiMU 프레임워크를 제안합니다. 베이지안 이진 신경망의 사후 분포 포화 문제를 해결하여 불확실성을 유지하고, 효율적인 능동 쿼리를 가능하게 합니다.
HPO: 희소 보상 체제(Sparse-Reward Regime)에서 안정적이고 효율적인 학습을 위한 이력 현상 기반 정책 최적화
희소 보상 환경에서 GRPO 방식의 강화학습이 겪는 불안정한 학습 문제를 해결하기 위한 HPO(Hysteretic Policy Optimization)를 제안합니다. 음의 이점 가중치를 조절하고 평균 길이 정규화를 도입하여 학습 효율을 높였으며, Adaptive HPO를 통해 자동화된 가중치 설정이 가능합니다.
MarginGate: 배치 불변(Batch-Invariant) LLM 추론을 위한 희소 마진 트리거 검증 방식
배치 크기에 따라 LLM의 출력 토큰이 달라지는 문제를 해결하기 위해, 토큰이 뒤바뀌는 희소한 상황에서만 검증을 수행하는 MarginGate 방식을 제안합니다. 로짓 마진을 기반으로 검증 트리거를 결정하여 결정론적 디코딩을 복구하면서도 지연 시간을 획기적으로 줄였습니다.
온라인 Log-NCDEs를 위한 불규칙하고 비동기적인 데이터의 충실한 임베딩 (Faithful Embeddings)
불규칙하고 비동기적인 데이터를 처리하는 연속 시간 모델을 위한 새로운 임베딩 방식을 제안합니다. 보간이나 결측치 보충 없이 관측값을 증분으로 기록하여 로그 시그니처를 직접 형성함으로써, 온라인 계산이 가능하고 데이터의 충실도를 유지하는 Log-NCDEs 모델을 소개합니다.
모델은 언제 생각을 바꿔야 하는가? 대규모 언어 모델(LLM)의 문맥적 신념 관리 (Contextual Belief Management)
LLM이 장기 상호작용 중 정보를 관리하는 '문맥적 신념 관리(CBM)'의 중요성을 다룹니다. 새로운 벤치마크인 BeliefTrack을 통해 모델의 신념 업데이트 및 격리 실패를 진단하며, 강화학습과 표현 수준의 스티어링이 이를 개선할 수 있음을 보여줍니다.
TriSearch: Bistellar Flips를 통한 삼각분할 (Triangulations) 최적화 학습
TriSearch는 bistellar flips를 활용하여 다포체의 삼각분할을 최적화하는 강화학습 프레임워크입니다. 회로 지원 하위 삼각분할 동작 표현을 통해 차원에 구애받지 않고 flip graph를 효율적으로 탐색하며, 3D 및 4D 환경에서 뛰어난 제로샷 일반화 성능을 보여줍니다.
보조 변수를 통한 평균장 트랜스포머(Mean-Field Transformer)의 모드 붕괴(Mode-Collapse) 방지
평균장 트랜스포머(Mean-Field Transformer) 모델에서 발생하는 모드 붕괴 현상을 분석하고, 위치 인코딩과 같은 보조 변수가 이를 어떻게 방지하는지 이론적으로 규명합니다. 보조 변수가 토큰 분포의 퇴화를 막는 역학적 역할을 수행하며 표현의 보편성을 확보함을 입증합니다.
ExDBSCAN: 반사실적 추론 (Counterfactual Reasoning)을 통한 DBSCAN 설명하기 -- 추가 자료
DBSCAN 클러스터링의 설명 가능성 문제를 해결하기 위해 반사실적 추론을 도입한 ExDBSCAN 방법론을 소개합니다. 밀도 인식 사후 설명 방식을 통해 데이터 포인트의 할당 이유를 이론적 타당성과 함께 제공합니다.
어떻게 되어가고 있나요? 언어 모델의 강화학습은 기능적 복지 축을 동원합니다
강화학습(RL)이 언어 모델의 내부 표현에서 '기능적 복지(functional welfare)' 축을 어떻게 동원하는지 분석한 연구입니다. RL을 통해 형성된 긍정적/부정적 개념 벡터가 모델의 목표 달성 및 감정적 표현과 밀접하게 연관되어 있음을 밝혀냈습니다.
GRASP: 반구조화된 지식 베이스(SKB)에서의 적응형 융합 및 재순위를 활용한 계획 유도형 그래프 검색
반구조화된 지식 베이스(SKB)에서 계획 기반 그래프 검색을 수행하는 GRASP 프레임워크를 제안합니다. 계획 조건부 융합과 미세 조정된 재순위화 기술을 통해 기존 하이브리드 검색의 한계를 극복하고 검색 성능을 크게 향상시켰습니다.
OOD-GraphLLM: 분포 외 일반화된 약물 시너지 예측을 위한 그래프 거대 언어 모델
OOD-GraphLLM은 분자 구조의 변화(O.O.D.) 상황에서도 정확한 약물 시너지 예측을 수행하는 새로운 그래프 거대 언어 모델 프레임워크입니다. 분자의 위상 정보와 생물 의학적 의미론적 정보를 통합하여 최적화함으로써 기존 모델의 한계를 극복합니다.
LoRA는 어떻게 기억하는가? LLM 파인튜닝을 위한 매개변수 메모리 법칙
LoRA를 활용하여 LLM의 매개변수 메모리 용량을 정량화하는 '매개변수 메모리 법칙'을 제안합니다. 손실 감소량과 유효 매개변수 간의 멱법칙을 발견하고, 이를 바탕으로 학습 효율을 높이는 MemFT 전략을 소개합니다.
유한한 메모리 환경에서의 극한 언어 생성에 관하여
유한한 메모리 환경에서 대상 언어를 학습하고 생성하는 메커니즘을 연구합니다. 메모리 제약이 학습 가능성에 미치는 영향을 분석하며, 메모리 없는 생성기와 적응적 예시 저장 방식의 효율성을 수학적으로 규명합니다.
일상적인 혈액 기반 측정치 및 임상 기록을 활용한 췌장암 선별 인구의 디지털 강화
Transformer 기반 신경망을 활용하여 혈액 검사 값과 임상 기록을 분석함으로써 췌장암 발생 위험을 조기에 예측하는 연구입니다. 다중 헤드 어텐션 메커니즘을 통해 진단 수년 전부터 위험도를 계층화하여 정밀한 선별 검사의 토대를 마련했습니다.
CFD를 위한 뉴럴 오퍼레이터 기반 대리 모델: 소형 모듈형 원자로 내 나선형 코일 증기 발생기
SMR의 증기 발생기 시뮬레이션을 위해 뉴럴 오퍼레이터 기반의 대리 모델을 연구했습니다. ROM과 DeepONet을 결합한 L-DeepONet과 FNO를 비교하여 CFD의 높은 계산 비용 문제를 해결하는 프레임워크를 제시합니다.
좌표 상승 변분 추론 (Coordinate Ascent Variational Inference)의 Wasserstein 수축
좌표 상승 변분 추론(CAVI) 알고리즘의 Wasserstein 거리에서의 수축 성질을 연구합니다. 수송-정보 부등식과 함수적 매끄러움 조건을 통해 국소적 수렴을 보장하며, 다양한 확률 모델에 대한 응용 가능성을 제시합니다.
수치형 테이블 데이터셋의 유사성, 검색 및 해석 가능한 정렬을 위한 통계적 임베딩 (Statistical Embeddings)
수치형 테이블 데이터셋을 공유 벡터 공간에 임베딩하여 유사성을 측정하고 해석 가능한 정렬을 지원하는 새로운 방법론을 제안합니다. EDA 기술자와 CCA를 활용해 변수 이름 없이도 데이터셋 간 대응 관계를 식별하며, 차분 프라이버시를 통해 보안성도 확보했습니다.
훈련 및 테스트 단계의 자기 개선을 위한 자기 학습 검증 (Self-Trained Verification)
추론 모델의 자기 개선을 위해 훈련 및 테스트 단계에서 검증 성능을 높이는 STV(Self-Trained Verification) 방법론을 제안합니다. 모델이 참조 솔루션을 통해 오류를 식별하는 능력을 학습함으로써 수학 및 과학적 추론 성능을 획기적으로 향상시킵니다.
창 하나를 남겨두기: 시계열 예측 추론을 위한 Jackknife 수정 방법
시계열 데이터의 시간적 의존성으로 인해 발생하는 기존 Conformal prediction의 한계를 극복하기 위한 새로운 연구를 소개합니다. Jackknife 방법의 커버리지 손실 문제를 해결하기 위해 제안된 'Leave-a-window-out(LWO)' 방법론의 유효성을 입증합니다.
쌍체 LLM 평가를 위한 해상도 진단 (Resolution Diagnostics for Paired LLM Evaluation)
LLM 리더보드의 쌍체 순위 평가가 통계적 해상도 목표를 충족하지 못하는 문제를 분석한 연구입니다. 기존의 Cohen-h 지름길 방식이 근접 비교 영역에서 오류를 범하고 있음을 지적하며, 새로운 진단 지표인 쌍당 해상도 비율(q)을 제안합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.