Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2000건필터 해제
구조적 관점에서의 대규모 언어 모델 (LLMs)의 다국어 능력
본 연구는 LLM의 다국어 능력을 토큰 표현이 아닌 언어의 구조적 관점에서 분석합니다. 저자원 언어가 고/중자원 언어보다 영어와 구조적으로 더 다르며, 언어 특화 사후 학습이 언어 간 관계를 유지하며 구조를 변화시킨다는 점을 밝혀냈습니다.
"이게 어떻게 흘러가는지 봤어요": 점진적 조건부 놀라움(Progressive Conditional Surprise)을 통한 다양성 특성화
창의적 출력물의 다양성을 측정하기 위해 인컨텍스트 학습을 활용한 새로운 지표인 'Decan'을 제안합니다. 별도의 임베딩 모델이나 참조 코퍼스 없이 단일 순전파만으로 AI와 인간의 글쓰기 다양성을 정량화할 수 있습니다.
ProbeScale: 효율적인 소형 언어 모델 추론을 위한 신경 스케일링 법칙 최적화 프로빙 분석
ProbScale은 소형 언어 모델(SLM)의 효율적인 추론을 위해 신경 스케일링 법칙과 프로빙 기술을 결합한 프레임워크입니다. 모델 내부의 레이어별 관련성을 수학적으로 정량화하여, 성능 저하를 최소화하면서 매개변수 크기를 획기적으로 줄이는 최적의 서브네트워크를 식별합니다.
Site4Drug: AI 에이전트를 활용한 약물 결합 표적 부위 예측
Site4Drug는 AI 에이전트를 활용하여 단백질의 표적 가능한 부위를 예측하는 기술입니다. 위상, 소수성, PTM 성향 등 다양한 증거를 분석하여 최적의 결합 양식을 추천하고 결정 과정을 로그로 제공합니다.
Polyak 유형의 스텝 사이즈를 이용한 적응형 Sharpness-Aware Minimization: 이론적 근거를 갖춘 스케줄러
SAM 옵티마이저의 학습률 민감도 문제를 해결하기 위해 Polyak 스텝 사이즈를 적용한 새로운 적응형 스케줄러를 제안합니다. 결정론적 및 확률적 설정 모두에서 수렴 속도를 이론적으로 증명하였으며, 실험을 통해 하이퍼파라미터 튜닝 없이도 우수한 성능을 입증했습니다.
단백질 역학 에뮬레이션 가속화를 위한 생성 공간 내 암시적 편향(Implicit Bias) 학습
단백질 역학 에뮬레이터가 훈련 데이터의 분포에 갇히지 않고 희귀한 상태를 탐색할 수 있도록 생성 공간 내에 암시적 편향을 도입하는 연구입니다. 이력 인식 점수 추정기를 통해 샘플링의 다양성을 높이고, 점수 기반 정제 단계를 통해 구조적 타당성을 유지합니다.
LayerRoute: LoRA 미세 조정(Fine-Tuning)을 통한 에이전트형 언어 모델의 입력 조건부 적응형 레이어 스킵(Layer
에이전트형 언어 모델의 효율성을 높이기 위해 입력 조건에 따라 Transformer 블록을 선택적으로 건너뛰는 LayerRoute 기술을 제안합니다. LoRA와 경량 라우터를 결합하여 백본 가중치를 동결한 채로 매우 적은 파라미터만 사용하여 연산 효율을 극대화했습니다.
심플렉스를 넘어: 스코어러-불가지론적 오픈셋 인식을 위한 균형 잡힌 프로토타입 기하학
본 논문은 오픈셋 인식(OSR)에서 심플렉스 기반 방법론의 이론적 근거를 확장합니다. 기존 분석의 한계를 넘어 모든 임베딩 차원에서 유효한 이론적 설명을 제공하며, 균형 잡힌 등노름 코드를 통해 분석합니다.
예측이 아닌 관찰: 에이전트 서빙을 위한 대화 수준의 분리형 스케줄링 (Conversation-Level Disaggregated
LLM 에이전트의 불규칙한 워크로드를 효율적으로 처리하기 위해 스케줄링 단위를 '턴'에서 '대화'로 격상한 ConServe 시스템을 제안합니다. 예측 대신 관찰 가능한 지표를 활용하여 프리필과 디코드 과정을 분리함으로써 지연 시간을 단축하고 에너지 효율을 높였습니다.
Mos-Gen: 모기 살충제 설계를 위한 생성형 분자 프레임워크
Mos-Gen은 모기 살충제 설계를 위해 Uni-Mol과 VAE를 결합한 새로운 생성형 분자 프레임워크입니다. 기존의 활성 예측 방식을 넘어 새로운 분자 골격을 생성하며, 실험 검증 결과 78%의 높은 적중률을 기록했습니다.
우리가 말하는 거짓말: 접공간(Tangent Space)에서의 스코어 매칭(Score Matching)을 통한 시각-언어-행동(VLA) 정책의
기존 VLA 정책이 SE(3) 포즈를 유클리드 공간으로 근사하며 발생하는 기하학적 오류를 해결하기 위한 Lie Diffuser Actor(LDA)를 제안합니다. 접공간에서의 스코어 매칭을 통해 매니폴드 드리프트를 방지하고 좌표계 등변성과 측지선 최적성을 보장합니다.
ContinuousBench: 차분 프라이버시 (DP) 합성 텍스트가 능력을 향상시킬 수 있는가?
차분 프라이버시(DP) 합성 텍스트가 모델에 새로운 지식을 효과적으로 전달할 수 있는지 검증하기 위한 새로운 벤치마크인 ContinuousBench를 소개합니다. 기존 벤치마크의 한계를 극복하기 위해 지속적으로 업데이트되는 데이터셋을 제공하며, 실험 결과 현재의 DP 합성 기술은 원본 데이터의 지식을 전달하는 데 한계가 있음을 보여줍니다.
자기 대국(Self-Play) 정리 증명 알고리즘을 위한 이론적 프레임워크
LLM을 활용한 형식적 정리 증명에서 자기 대국(Self-play) 알고리즘의 자기 개선 능력을 분석하는 이론적 프레임워크를 제안합니다. 증명기와 추측기 시스템이 정리 그래프를 통해 지식을 기하급수적으로 확장하는 원리를 증명하고, 다양성을 극대화하는 개선된 알고리즘을 제시합니다.
다상 이동 경계 문제로서의 지속 학습 (Continual Learning)
Stefan-CL은 물리학의 상변화 원리를 활용하여 지속 학습의 안정성-가소성 딜레마를 해결하는 새로운 연구입니다. 지식을 고체와 액체 상태로 정의하고 잠열 조절을 통해 망각을 최소화하며, 데이터 저장 없이도 높은 성능을 유지합니다.
G2LoRA: 텍스트 속성 그래프(TAGs) 상의 그래프 지속 학습을 위한 그래디언트 직교 저차원 적응(Gradient Orthogonal
G2LoRA는 텍스트 속성 그래프(TAGs) 환경에서 LLM-as-Aligner 모델의 파괴적 망각 문제를 해결하기 위한 지속 학습 프레임워크입니다. 그래디언트 투영과 크기 변조 기술을 통해 태스크 간 간섭을 줄이고 지식 전이를 촉진합니다.
심층 강화학습 (Deep RL)에서 작업 유도 표현 불변성은 학습 목표에 따라 달라진다
심층 강화학습(Deep RL)에서 학습된 추상적 표현의 특성을 MDP 축소 이론 관점에서 분석한 연구입니다. 알고리즘 방식에 따라 학습되는 불변성의 종류가 다름을 밝혀냈습니다.
이질적 테이블 표현을 위한 세그먼트 기반 구조적 유도 및 의미론적 정렬
이질적인 테이블 구조에서 헤더와 값 사이의 의미론적 관계를 학습하기 위한 NAVI 프레임워크를 제안합니다. 세그먼트 중심의 사전 학습을 통해 스키마 수준의 구조적 증거와 열 수준의 분포적 증거를 결합하여 테이블 이해도를 높였습니다.
공명적 문맥 앵커링 (Resonant Context Anchoring): 추론 시 어텐션 라우팅과 신호 이득의 분리
LLM이 내부 지식과 외부 문맥이 충돌할 때 발생하는 환각 현상을 해결하기 위한 '공명적 문맥 앵커링(RCA)' 기술을 제안합니다. RCA는 어텐션 라우팅과 정보 크기를 분리하여 문맥 토큰의 신호 강도를 선택적으로 증폭함으로써 모델의 문맥 충실도를 높입니다.
HMPO: 사고의 사슬 (CoT) 압축을 위한 하이브리드 중앙값 길이 정책 최적화
HMPO는 CoT 추론의 오버헤드를 줄이기 위해 제안된 단일 단계 강화학습 프레임워크입니다. 적응형 예산과 코사인 감쇠 보상을 통해 정확도 저하 없이 19%~46%의 토큰 압축을 달성하며 다양한 모델 아키텍처로 확장 가능합니다.
차분 프라이버시 (Differential Privacy)를 이용한 프라이빗하고 안정적인 테스트 시간 적응 (Test-Time
테스트 시간 적응(TTA) 과정에서 발생하는 프라이버시 문제를 해결하기 위해 차분 프라이버시(DP)를 적용한 연구입니다. 샘플별 그래디언트 클리핑과 가우시안 노이즈를 통해 정확도 손실을 최소화하면서도 데이터 보안을 강화하는 방법을 제안합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.