Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
Max@K 정책 경사(Policy Gradients)를 위한 어드밴티지 추정(Advantage Estimates)에 관하여
희소한 보상 문제를 해결하기 위해 Max@K 정책 경사를 최적화하는 새로운 어드밴티지 추정 방식을 제안합니다. L2O(Leave-Two-Out) 베이스라인을 통해 편향되지 않으면서도 정확하게 중심화된 어드밴티지를 계산하여 LLM 사후 학습의 효율성을 높입니다.
6월 5일0
arXivAI 번역논문
OrderGrad: 순서 통계량 정책 경사 추정을 통한 평균 이상의 최적화
OrderGrad는 기대 수익 대신 꼬리 위험, 이상치 강건성, Best-of-K 탐색 등 분포적 특성을 최적화하는 새로운 정책 경사 방법론입니다. 순서 통계량 목적 함수를 위해 편향되지 않은 경사 추정기를 제공하며, 기존 알고리즘에 플러그 앤 플레이 방식으로 적용 가능합니다.
6월 5일0
arXivAI 번역논문
IR3DE: 대규모 언어 모델(LLM)을 위한 선형 라우터
IR3DE는 다양한 도메인 전문가 LLM 중 프롬프트에 가장 적합한 모델을 저렴하고 빠르게 선택하는 Ridge 회귀 기반의 선형 라우터입니다. 기존 방식과 달리 추가 학습 없이도 새로운 모델을 동적으로 추가하거나 제거할 수 있어 효율적인 LLM 서비스 운영을 지원합니다.
6월 5일0
arXivAI 번역논문
CHALIS: 까다로운 시나리오에서의 언어 식별을 위한 도전적 데이터셋
친척 언어와 철자 노이즈 등 까다로운 시나리오를 해결하기 위한 새로운 언어 식별 벤치마크 데이터셋인 CHALIS를 제안합니다. 기존 언어 식별 시스템들이 저자원 언어와 음차된 입력값에서 겪는 한계를 입증하며, 관련 리소스를 Hugging Face에 공개했습니다.
6월 5일0
arXivAI 번역논문
엔티티 정렬 (Entity Alignment) 파운데이션 모델을 위한 구조적 컨텍스트 활용
이기종 지식 그래프 간 엔티티 정렬(EA) 성능을 높이기 위해 구조적 컨텍스트를 활용하는 ContextEA 프레임워크를 제안합니다. 앵커 브리지를 통한 교차 그래프 상호작용 인코더와 구조적 보정 디코더를 통해 미학습 KG에 대한 전이 능력을 크게 향상시켰습니다.
6월 5일0
arXivAI 번역논문
decoder-only Transformer에서 절대적 위치(Absolute Position)는 어디에서 오는가?
RoPE를 사용하는 Transformer가 상대적 위치 정보만 있음에도 절대적 위치를 인식하는 원인을 분석합니다. 인과적 마스크의 소프트맥스 분모 구조와 잔차 스트림을 통한 위치 0의 활성화 궤적 추적을 주요 원인으로 제시합니다.
6월 5일0
arXivAI 번역논문
ProSarc: 시간적 운율 불일치를 통한 운율 인식 비꼬기 인식 프레임워크
ProSarc는 오디오 데이터에서 시간적 운율 불일치를 모델링하여 비꼬기를 탐지하는 새로운 프레임워크입니다. 전역 감정 인코더와 시간적 운율 인코더를 결합하여 비꼬기의 시작점을 국소화하고 높은 성능을 입증했습니다.
6월 5일0
arXivAI 번역논문
Ouvia: 실제 통신 시나리오에서 음성 번역(Speech Translation)의 사용성을 측정하기 위한 사용자 중심 프레임워크
음성 번역(ST)의 실제 통신 사용성을 측정하기 위한 사용자 중심 프레임워크인 Ouvia를 제안합니다. 연구 결과, 현대 ST 시스템은 상호작용의 절반 정도만 유효하며 인구 통계적 그룹 간 사용성 격차가 존재함을 확인했습니다.
6월 5일0
arXivAI 번역논문
고발하는 규범: Large Language Models의 추론 역학을 위한 신호로서의 $\ell_2$ 크기
LLM의 은닉 상태 $\ell_2$ 노름이 추론 강도를 나타내는 내생적 신호임을 입증한 연구입니다. SAE를 통해 후기 층의 특징 활성화와 노름 사이의 상관관계를 증명하고, 이를 활용한 세 가지 테스트 시간 스케일링 기술을 제안합니다.
6월 5일0
arXivAI 번역논문
비지도 단어 발견 (Unsupervised Word Discovery)에서의 어휘 평가 재고
비지도 단어 발견 과정에서 기존의 정규화된 편집 거리 지표가 가진 편향성과 한계를 분석합니다. 클러스터 크기에 따른 편향을 해결하고 실제 클래스 분포를 반영할 수 있는 두 가지 새로운 평가 지표를 제안합니다.
6월 5일0
arXivAI 번역논문
메타 러닝 (Meta-Learning)을 통한 암묵적 비용-성능 선호도 기반의 LLM 라우팅 학습
사용자의 암묵적 비용-성능 선호도를 학습하여 개인화된 LLM 라우팅을 수행하는 MetaRouter 프레임워크를 제안합니다. 컨텍스츄얼 밴딧과 메타 러닝을 결합하여 적은 상호작용만으로도 사용자 맞춤형 최적화를 달성합니다.
6월 5일0
arXivAI 번역논문
밀집된 컨텍스트는 어려운 컨텍스트이다: 어휘 밀도가 LLM의 유효 컨텍스트에 미치는 제한적 영향
본 연구는 LLM의 긴 컨텍스트 성능 저하를 유발하는 새로운 요인으로 '어휘 밀도(lexical density)'를 제시합니다. 정보 밀도가 높아질수록 모델의 유효 컨텍스트 창이 급격히 감소하며, 검색 성능이 크게 저하됨을 실험을 통해 입증했습니다.
6월 5일0
arXivAI 번역논문
병리적 음성 인식을 위한 SpeechLLM의 FiLM 기반 화자 조건화 (Speaker Conditioning)
병리적 음성 인식을 개선하기 위해 FiLM 기반의 화자 조건화 기술을 제안합니다. 고정된 ASR 인코더의 레이어에 x-vector 정보를 주입하여 모델 가중치 수정 없이도 개별 화자에게 적응시키는 방식을 연구했습니다.
6월 5일0
arXivAI 번역논문
자아에서 타자로: LLM의 혐오 표현 주석 작업 시 인구통계학적 관점 수용 평가
LLM이 페르소나 프롬프팅을 통해 다양한 인구통계학적 관점의 혐오 표현 주석을 인간처럼 시뮬레이션할 수 있는지 평가한 연구입니다. 실험 결과, 세 가지 사회적 판단 측면을 모두 완벽히 포착하는 모델은 없었으나 Llama 3.1 기반의 대리 프롬프팅이 가장 높은 성능을 보였습니다.
6월 5일0
arXivAI 번역논문
기관 문서의 데이터 스냅샷 추출을 위한 오픈 소스 레이아웃 탐지 모델 벤치마킹
기관 문서 내 그림과 표에서 의미 있는 데이터를 추출하기 위한 새로운 벤치마크 데이터셋과 평가 프레임워크를 제안합니다. 기존 레이아웃 탐지 모델들이 운영 목적의 문서에서 겪는 한계를 분석하고, 이를 해결하기 위한 연구 자원을 공개합니다.
6월 5일0
arXivAI 번역논문
많은 회로, 하나의 메커니즘: 회로 발견에서의 입력 변동성과 평가 세분성
회로 발견 방법론에서 나타나는 구조적 차이가 실제 기능적 차이와 일치하지 않을 수 있다는 '환상 특성화' 현상을 규명합니다. Pythia 모델 실험을 통해 입력 통계 변화에 따른 회로의 구조적 변동이 동일한 계산 메커니즘을 공유함을 증명했습니다.
6월 5일0
arXivAI 번역논문
언어 모델의 사실적 아첨(Factual Sycophancy) 분해: 모델 크기와 지시어 튜닝(Instruction Tuning)이 강건성에
언어 모델이 사회적 압박에 의해 사실을 왜곡하는 '사실적 아첨' 현상을 진실 마진과 조작 민감도라는 두 가지 메커니즘으로 분해하여 분석했습니다. 모델 크기와 지시어 튜닝이 모델의 강건성에 미치는 영향을 56개 오픈 웨이트 모델을 통해 검증했습니다.
6월 5일0
arXivAI 번역논문
"Chi nas dal soch el sent de legn" -- 롬바르드어(Lombard)를 위한 텍스트 코퍼스(Text Corpora)
본 연구는 저자원 언어인 롬바르드어의 텍스트 코퍼스를 수동 감사하여 데이터 품질 문제를 분석합니다. 웹 스크래핑 데이터의 오식별 및 노이즈 문제를 지적하며, 특정 방언에 치우친 데이터 편향성을 밝혀냈습니다.
6월 5일0
arXivAI 번역논문
FOXGLOVE: 논증적 에세이에 대한 전문가 및 LLM의 목표 지향적이고 고정된 글쓰기 피드백 이해
LLM과 전문가의 논증적 에세이 피드백을 체계적으로 비교하기 위한 데이터셋 FOXGLOVE를 소개합니다. 연구 결과, LLM은 피드백 배분 방식은 전문가와 유사하나 특정 문장에 대한 고정(anchoring) 측면에서 차이를 보였습니다.
6월 5일0
arXivAI 번역논문
EDIT: 규칙 준수형 LLM 채점을 위한 증거 진단 기반 개입 학습
LLM이 루브릭(채점 기준)을 충실히 따르도록 돕는 2단계 프레임워크 EDIT를 제안합니다. 모델 내부 신호를 통해 잘못된 추론 단계를 진단하고, 신념 유도형 보상을 통해 채점 성능을 강화합니다.
6월 5일0