Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
언어 모델의 '추론' 과정에서 불확실성 추적
본 논문은 언어 모델(LM)의 추론 과정 자체를 중간 토큰 시퀀스인 '추적(traces)'으로 간주하고, 이를 불확실성 정량화 관점에서 분석했습니다. 연구진은 각 추적을 특징들로 요약한 '불확실성 추적 프로파일'을 개발하여, 이 프로파일만으로 LM이 올바른 최종 답변을 도출할지 여부를 높은 정확도로 예측할 수 있음을 입증했습니다. 특히 생성 초기의 적은 토큰만을 사용해도 오류를 감지할 수 있으며, 성공적인 추적과 실패한 추적 사이에는 질적으로 구별되는 불확실성 패턴이 존재함을 발견했습니다.
PolySQL: 자동 백엔드 동형성(Automated Backend Isomorphism)을 통한 SQL 방언 간 Text-to-SQL 평가
PolySQL은 데이터베이스 엔진별 SQL 방언 차이로 인해 발생하는 Text-to-SQL 벤치마크의 심각한 평가 격차 문제를 해결하기 위해 개발된 새로운 이중 실행(dual-execution) 프레임워크입니다. 기존 방식들이 값비싼 수동 쿼리 변환에 의존하거나 실패하는 경우가 많았던 것과 달리, PolySQL은 정규화된 실행 결과를 비교하여 쿼리 변환 과정 없이도 높은 평가 충실도를 달성합니다. 이 프레임워크는 최초로 대규모 방언 간 연구를 가능하게 했으며, SQL 방언 이동 시 성능 저하가 주로 구문적 오류가 아닌 논리적 오류에서 비롯됨을 밝혀냈습니다.
Attention 및 Understanding LoRA의 수렴적 확률적 훈련
본 논문은 트랜스포머 모델에서 핵심적인 구성 요소인 어텐션 레이어와 얕은 신경망에 LoRA(Low Rank Adaptation)를 적용한 경우의 확률적 훈련 가능성을 엄격하게 증명합니다. 연구진은 임의의 완만한 정규화 하에서, 두 구조 모두 해당 Gibbs 측정에 포앙카레 부등식을 유도함을 보였습니다. 이를 통해 SGD를 모방하는 특정 SDE가 손실을 최소화하며, 이는 데이터나 아키텍처 크기에 대한 가정을 요구하지 않는 최초의 결과입니다.
FLAM: 연합 학습에서 집계 가능한 측정 지표를 사용한 모델 성능 평가
연합 학습(FL) 환경에서 분산된 데이터를 사용하기 때문에 모델 성능 평가는 어려운 과제입니다. 기존의 접근 방식은 로컬 샘플 수에 기반한 가중 평균 등 집계 전략에 의존하며, 이는 중앙 집중식 평가와 불일치를 보일 수 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해, 전역 테스트 데이터셋 없이도 중앙 집중식 평가와 동일한 결과를 산출하는 '집계 가능한 측정 지표(Aggregatable Metrics)' 기반의 성능 평가 방법인 FLAM을 제안합니다.
DVD: 3D 생성을 위한 이산 복셀 확산 (Discrete Voxel Diffusion for 3D Generation and Editing)
본 논문은 3D 생성 및 편집 파이프라인에 사용되는 이산 확산 프레임워크인 Discrete Voxel Diffusion (DVD)를 소개합니다. DVD는 복셀 점유율을 네이티브 이산 변수로 처리하여, 연속-이산 임계값 처리를 우회하고 효율적인 3D 스캐폴드 생성 및 편집 기능을 제공합니다. 또한, 예측 엔트로피를 활용한 불확실성 측정과 경량 미세 조정 전략을 통해 모델의 해석 가능성과 실용성을 높였습니다.
증거 기반 사전 분포 하에서의 인과 추론 추정량의 베이즈 민감도
본 논문은 인과 추론에서 사용되는 민감도 분석의 한계를 지적하며, 기존의 최악의 경우(worst-case) 접근 방식이 비현실적이거나 정보성이 떨어지는 결론을 초래할 수 있음을 주장합니다. 이를 개선하기 위해, 연구진은 '베이즈 민감도 값(Bayesian Sensitivity Value, BSV)'이라는 새로운 기준을 제안했습니다. BSV는 실제 세계의 증거 기반 사전 분포 하에서 가정 위반에 대한 추정량의 기대 민감도를 계산하여, 보다 현실적이고 견고한 인과 추론 분석을 가능하게 합니다.
민감도 및 패턴화: 베이즈 학습에서의 선형 응답 입문
이 기술 노트는 신경망 해석을 위한 '민감도(susceptibilities)' 이론을 소개하며, 이는 관측 가능한 $\varphi$가 데이터 교란에 대해 가지는 민감도를 사후 기대값의 미분으로 정의합니다. 이 민감도는 요동-소산 정리(fluctuation--dissipation theorem)를 통해 사후 공분산과 같다는 점이 핵심입니다. 또한, 다양한 관측 가능량($\varphi$)을 선택함으로써 샘플별 손실이나 구조적 민감도 행렬 등 여러 유용한 객체를 도출할 수 있으며, 이는 모델의 패턴화 문제 해결에 활용될 수 있습니다.
‘요청을 수행할 수 없습니다’를 넘어서: 레이블 강화를 통한 LLM의 경직된 거부 완화
본 논문은 LLM이 안전 정렬 과정에서 발생하는 '경직된 거부' 문제를 해결하기 위해 LANCE(Label-enhanced Natural Conversation Engine)를 제안합니다. LANCE는 변분 추론을 사용하여 여러 거부 카테원에 걸쳐 연속적인 분포를 예측하고, 이를 통해 다중 방향 텍스트 기울기를 생성합니다. 이 메커니즘은 LLM이 안전성을 유지하면서도 자연스럽고 유연한 응답을 생성하도록 도와, 기존의 경직된 거부 문제를 크게 완화시킵니다.
KL for a KL: Control Variate Baseline을 이용한 On-Policy Distillation
본 논문은 대규모 언어 모델(LLM)의 추론 영역 훈련에 사용되는 On-Policy Distillation (OPD)의 불안정성 문제를 해결하기 위해 vOPD(Control Variate Baseline을 이용한 On-Policy Distillation)를 제안합니다. 이는 OPD를 정책 경사(policy-gradient RL)로 간주하고, 전통적인 강화 학습(RL) 기법인 Control Variate Baseline을 도입하여 훈련의 안정성을 높입니다. 특히, OPD의 값 함수가 학생 및 교사 모델 간의 토큰당 음의 역 KL 발산이라는 형태로 표현되어 추가 계산 없이도 쉽게 얻을 수 있다는 점을 강조합니다.
도구 호출(Tool Calling)은 언어 모델에서 선형적으로 읽고 조종 가능합니다
본 연구는 다양한 대규모 언어 모델(LLM)을 대상으로 도구 호출(Tool Calling) 메커니즘을 분석하여, 선택된 도구의 정체성이 모델 내부 활성화 값에 선형적으로 인코딩되어 있음을 발견했습니다. 이는 단순히 프롬프트에서 도구 이름을 변경하는 것만으로도 높은 정확도로 모델이 다른 도구를 선택하도록 조종할 수 있음을 의미합니다. 또한, 이러한 내부 표현 차이를 활용하여 잠재적인 오류를 사전에 감지하고 플래그 지정하는 것도 가능함을 보여줍니다.
STEPS: 시계열 예측을 위한 다양체 상의 시간적 오차 전파 솔버
STEPS는 제한된 관측치와 노이즈가 있는 소스 프리 온라인 환경에서 시계열 예측 성능을 향상시키기 위한 새로운 접근 방식입니다. 이 방법은 기존의 Test-Time Adaptation(TTA)가 직면하는 희소한 접두사, 오차 누적, 불안정한 장기 예측 수정 등의 문제를 해결합니다. STEPS는 시계열 예측 TTA를 시간 다양체 상의 디리클레 경계값 문제로 재정식화하여 안정적이고 효과적인 오차 전파 솔버를 제공합니다.
위치: 메커니즘 해석 가능성은 인과적 주장을 위해 식별 가정을 공개해야 한다
최근 메커니즘 해석 가능성 연구들은 회로, 매개자 등 인과적 용어를 사용하며 발전하고 있지만, 이들의 주장은 명시적인 식별 가정(identification assumptions)을 요구합니다. 본 논문은 여러 관련 논문을 감사한 결과, 대부분의 연구가 이러한 가정을 명확히 밝히지 않고 검증 지표를 통해 인과적 지원으로 제시하는 패턴을 발견했습니다. 따라서 저자들은 주장된 인과성을 뒷받침하기 위해 식별 전략과 그 가정들을 투명하게 공개해야 하는 새로운 규범(disclosure norm)을 제안합니다.
취약성(Susceptibilities)을 이용한 강화학습 에이전트 해석
본 기사는 신경망 해석 가능성 기법인 '취약성(Susceptibilities)'을 심층 강화학습(DRL) 분야의 후회(regret) 설정으로 확장하여 그 유용성을 탐구한다. 취약성은 관찰 가능한 값의 사후 기대값이 손실에 대한 섭동에 어떻게 반응하는지를 측정하며, 이를 통해 학습된 정책이 발전하는 과정에서 발생하는 내부적인 모델 특징들을 밝혀낼 수 있다. 연구진은 활성화 스티어링(activation-steering)을 사용하여 이 결과를 검증하고, RLHF 후 훈련에 적용할 프레임워크 확장을 논의한다.
CoCoReviewBench: AI 리뷰어의 완전성 및 정확성에 초점을 맞춘 벤치마크
본 기사는 AI 리뷰어의 평가에 있어 기존 지표들이 가진 한계점(인간 리뷰 의존성, 정확성 간과)을 극복하기 위해 CoCoReviewBench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 완전성(Completeness) 강화를 위해 누락된 부분을 평가하고, 전문가 주석 및 필터링을 통해 정확성(Correctness)을 높였습니다. 분석 결과, AI 리뷰어의 환각 문제와 정확성 한계가 확인되었으며, 추론 모델이 더 효과적인 리뷰어임을 제시하며 향후 연구 방향성을 제시합니다.
STARFlow2: 언어 모델과 정규화 흐름을 연결하여 통합 멀티모달 생성을 위한 방법
STARFlow2는 언어 모델과 정규화 흐름(Normalizing Flows)의 공통적인 자기회귀적 특성을 활용하여 통합 멀티모달 생성을 목표로 합니다. 기존 방식이 텍스트 생성과 이미지 디노이징 과정에서 구조적 불일치를 겪었던 문제를 해결하기 위해, STARFlow2는 자기회귀 정규화 흐름을 도입합니다. 이 접근법은 LLM과 동일한 인과 마스크 및 순차적 구조를 공유함으로써, 텍스트와 이미지를 매끄럽게 연결하는 진정한 통합 멀티모달 시스템을 구축할 수 있게 합니다.
PET-Adapter: 전체 및 제한 각도 PET 이미지 재구성을 위한 테스트 시간 도메인 적응
PET-Adapter는 양전자 방출 단층촬영(PET) 이미지 재구성 과정에서 발생하는 푸아송 노이즈와 제한 각도 획득 문제를 해결하기 위해 제안된 테스트 시간 도메인 적응 프레임워크입니다. 이 방법은 팬텀 데이터로 사전 학습된 생성형 PET 모델을 다양한 해부학 구조 및 추적자를 가진 임상 데이터셋에 효과적으로 적응시킬 수 있게 합니다.
잠재 공간과 함께 잠재 확산 언어 모델을 훈련하는 방법
본 논문은 연속적인 텍스트 표현 처리에 적합하고 비-자기회귀적 텍스트 생성을 가능하게 하는 잠재 확산 언어 모델(LDLM)을 제안합니다. LDLM은 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 구조를 가지며, 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 효율적인 잠재 공간을 구축합니다.
매개변수 재구성을 통한 스파이킹 신경망의 전역 최적 훈련
스파이킹 신경망(SNNs)은 에너지 효율적이고 생물학적으로 그럴듯한 대안으로 주목받고 있지만, 스파이크 함수의 비미분성 때문에 훈련 시 유사 기울기(surrogate gradients)를 사용해야 하며 이는 근사 오차를 누적시킵니다. 본 연구는 이 문제를 해결하기 위해 병렬 순방향 임계 네트워크의 볼록화 기법을 병렬 순환 임계 네트워크로 확장하는 방법을 제안합니다.
Fast Byte Latent Transformer
본 논문은 기존 바이트 레벨 언어 모델(LM)이 느린 자동회귀 생성 속도 때문에 활용도가 제한적이라는 문제를 해결하기 위한 Byte Latent Transformer (BLT)의 개선 방안을 제시합니다. 연구진은 보조 블록 단위 확산 목적 함수를 추가하여 병렬 디코딩이 가능한 BLT Diffusion (BLT-D) 모델을 제안했습니다. 또한, 사변적 디코딩(speculative decoding)에서 영감을 받은 두 가지 확장 방식인 BLT Self-speculation (BLT-S)과 BLT Diffusion+Verification (BLT-DV)를 통해 속도와 품질을 최적화하여, 기존 BLT 대비 메모리 대역폭 비용을 50% 이상 절감할 수 있음을 입증했습니다.
Distilled LLM을 활용한 불확실성 인식 구조화 데이터 추출 (Uncertainty-Aware Structured Data
본 논문은 자유 텍스트 형태의 심장 자기공명영상(CMR) 보고서를 구조화된 데이터로 변환하고, 각 필드에 신뢰도를 할당하는 경량 프레임워크인 CMR-EXTR을 제안합니다. 이 시스템은 교사-학생 증류 기법을 사용하여 수동 주석 작업의 부담을 줄이면서도 완전한 오프라인 추론을 가능하게 합니다. 특히, 분포 개연성, 샘플링 안정성, 교차 필드 일관성이라는 세 가지 원칙을 통합하여 불확실성을 인식함으로써, 인간 검토가 필요한 부분을 효과적으로 식별하고 높은 정확도를 달성했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.