Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL 290건필터 해제
Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling
본 논문은 기존 Transformer LLM의 강력한 짧은 컨텍스트 능력을 유지하면서 긴 컨텍스트 처리 능력을 효율적으로 확장하는 '업사이클링(upcycling)' 방법을 제안합니다. 연구팀이 개발한 HyLo (HYbrid LOng-context)는 아키텍처 적응, Multi-Head Latent Attention (MLA), 그리고 선형 블록(Mamba2 또는 Gated DeltaNet)을 결합하여 기존 모델을 하이브리드 구조로 전환하는 레시피입니다. 이 방법을 통해 사용 가능한 컨텍스트 길이를 크게 확장하고, 적은 양의 데이터와 훈련으로도 강력한 성능을 입증했습니다.
당신처럼 들릴 수 있나요? 개인적인 스타일을 반영한 LLM 생성 텍스트의 사후 편집
본 연구는 개인의 고유한 스타일이 중요한 글쓰기 작업에서 대규모 언어 모델(LLMs) 생성 텍스트를 사후 편집하는 과정에 대한 온라인 사전 등록 연구($n=81$)를 수행했습니다. 그 결과, 사후 편집은 LLM 생성 텍스트가 참가자의 비보조 작성 텍스트와 스타일적 유사성을 높이는 데 효과적이었습니다. 하지만 동시에, 사후 편집된 텍스트는 여전히 순수 인간 텍스트에 비해 스타일적 다양성이 감소하고 LLM의 흔적을 가지고 있음에도 불구하고, 사용자들은 이를 개인적인 스타일로 인식하는 경향이 있음을 발견했습니다.
케리모프-알렉베르리 모델: 자율 시스템의 윤리적 정렬을 위한 비평형 열역학과 확률적 제어를 공식적으로 연결하는 정보기하학적 프레임워크
본 연구는 자율 시스템의 윤리적 정렬(ethical alignment) 문제를 해결하기 위해 비평형 열역학과 확률적 제어를 연결하는 새로운 정보기하학적 프레임워크인 케리모프-알렉베르리 모델을 제시합니다. 이 모델은 시스템의 이상 징후를 리만 다양체에서의 편차로 정의하고, Kullback-Leibler 발산과 피셔 정보 계량을 핵심 지표로 활용하여 윤리적 위반을 정량화 가능한 물리적 일(physical work) 및 엔트로피 변화에 기반합니다. 이 프레임워크는 기존의 규칙 기반 접근 방식에서 벗어나 열역학 기반의 안정성 패러다임을 AI 안전 분야에 도입함으로써, 실시간 검출 능력을 입증했습니다.
해석 가능한 우울증 감지를 위한 심리학적 기반 그래프 모델링
본 연구는 대화형 상호작용에서 우울증을 감지하기 위해 심리학적 기반의 그래프 모델링 프레임워크인 PsyGAT(Psychological Graph Attention Network)를 제안합니다. 이 모델은 발화 수준의 임상 증거를 포착하는 Psychological Expression Units(PEUs)와 세션 수준의 성격 컨텍스트 통합을 통해, 기존 블랙박스 딥러닝 모델의 한계를 극복하고 우울증의 미세한 시간적 진화를 효과적으로 모델링합니다. 또한, 해석 가능성을 높이기 위해 Causal-PsyGAT 모듈을 추가하여 증상 유발 요인을 식별함으로써 임상적 설명력을 크게 향상시켰습니다.
차단 모델 간 회로 전이를 위한 미분 가능 충실도 정렬
본 논문은 '미분 가능 충실도 정렬(Differentiable Faithfulness Alignment, DFA)'이라는 새로운 프레임워크를 제안하여 작은 소스 모델의 회로 정보를 큰 타겟 모델로 전이하는 방법을 제시합니다. DFA는 노드 중요도 점수를 투영하고 소프트 충실도 목표를 통해 매핑을 학습함으로써, 완전한 회로 발견 없이 효율적으로 지식을 전달할 수 있습니다. 실험 결과, Llama-3 1B에서 3B로의 전이는 매우 강력했으며, 정렬된 회로는 직접 노드 귀속과 경쟁할 만큼 높은 성능을 보였으나, 소스-타겟 간격이 커질수록 전이 효과는 약화되는 한계점도 확인했습니다.
SeaEvo: 전략 공간 진화를 통한 알고리즘 발견 고도화
SeaEvo는 LLM 기반 진화적 탐색(LLM-guided evolutionary search)의 한계를 극복하기 위해 개발된 모듈형 전략 공간 레이어입니다. 기존 시스템이 프로그램 코드와 스칼라 적합도에만 의존했던 것과 달리, SeaEvo는 자연어 전략 설명을 1차 집단 수준의 진화 상태로 승격시켜 알고리즘 발견 과정을 고도화합니다. 이를 통해 변이를 체계적으로 안내하고, 전략적 지형을 분석하며, 장기적인 알고리즘 지식 축적이 가능한 견고한 AI 시스템 구축에 기여합니다.
BiMol-Diff: 분자 생성 및 캡셔닝을 위한 통합 확산 프레임워크
BiMol-Diff는 텍스트 조건부 분자 생성과 분자 캡셔닝이라는 두 가지 상반된 작업을 통합한 확산 프레임워크입니다. 기존 모델들이 가진 장거리 의존성 처리의 어려움이나 균일한 노이즈 적용 문제를 해결하기 위해, 이 프레임워크는 토큰 회복 난이도에 기반하여 위치별로 노이즈를 할당하는 '토큰 인식 노이즈 스케줄'을 핵심 구성 요소로 사용합니다. 실험 결과, BiMol-Diff는 분자 재구성 및 캡셔닝 성능 모두에서 기존 최고 성능의 베이스라인 대비 유의미한 향상을 입증했습니다.
IRIS: 다국어 수학적 추론을 위한 단계별 커리큘럼과 병렬 강화학습
본 논문은 다국어 및 저자원 환경에서의 수학적 추론 능력을 향상시키기 위해 IRIS(Interleaved Reinforcement with Incremental Staged Curriculum)라는 새로운 2차원 프레임워크를 제안합니다. 이 프레임워크는 난이도에 따른 점진적 학습을 위한 커리큘럼 학습과, 단계별 안내 의존성을 줄이는 역 커리큘럼 강화학습을 결합했습니다. IRIS는 합성 보상 및 GRPO 최적화를 통해 훈련되었으며, 영어, 힌디어, 마라티어 등 다국어 환경에서 강력한 성능 향상을 입증했습니다.
MemeScouts@LT-EDI 2026: 올바른 질문을 묻기 — 혐오 표현 탐지 위한 프롬프트 기반 약한 감시 (Prompted Weak Supervision)
밈과 같은 복잡하고 문화적인 맥락을 가진 콘텐츠에서 혐오 표현을 탐지하는 것은 매우 어렵습니다. 본 논문은 이러한 어려움을 극복하기 위해, 목표 지향적인 질문에 답하도록 모델을 유도하여 특징을 추출하는 '프롬프트 기반 약한 감시(PWS)' 접근법을 제안합니다. 이 방법은 기존의 단일 VLM 분류 방식보다 우수하며, 특히 중국어와 힌디어 같은 다국어 환경에서 높은 성능 향상을 입증했습니다.
AdapTime: 대규모 언어 모델의 적응형 시간적 추론 활성화
본 기술 기사는 LLM이 가진 제한적인 시간 정보 처리 능력 문제를 해결하기 위해 'AdapTime'이라는 적응형 시간적 추론 프레임워크를 제안합니다. AdapTime은 입력 컨텍스트에 따라 필요한 추론 단계를 동적으로 실행하며, 특히 재구성(reformulate), 재작성(rewrite), 검토(review)라는 세 가지 핵심 시간적 행동을 포함합니다. 이 방법은 LLM 플래너가 추론 과정을 안내하여 외부 도구 의존도를 낮추면서도 모델의 시간적 추론 능력을 크게 향상시킵니다.
MultiDx: 진단 추론을 위한 다원 지식 통합 프레임워크
MultiDx는 의료 분야의 진단 추론 정확도를 높이기 위해 설계된 다원 지식 통합 프레임워크입니다. 기존 LLM 기반 모델들이 도메인 지식 부족과 제한적인 적응성 문제를 겪는 한계를 극복하고자 합니다. 이 프레임워크는 웹 검색, SOAP 형식 사례, 임상 데이터베이스 등 다양한 출처의 증거를 분석하고, 매칭 및 투표 메커니즘을 통해 다각도의 정보를 통합하여 최종 감별 진단을 수행합니다.
MEMCoder: 사내 라이브러리를 위한 다차원 진화형 메모리 기반 코드 생성
MEMCoder는 사내 전용 라이브러리에 의존하는 기업 환경에서 LLM의 코드 생성 성능 저하 문제를 해결하기 위해 제안된 새로운 프레임워크입니다. 기존 RAG 시스템이 제공하는 정적 문서만으로는 API 간 작업 수준 조정 패턴이나 경계 조건에 대한 지식 공백을 메우기 어렵다는 한계를 극복합니다. MEMCoder는 모델 자체의 문제 해결 과정에서 얻은 교훈을 포착하고 진화시키는 '다차원 진화형 메모리'를 도입하며, 자동화된 폐쇄 루프(automated closed loop)를 통해 지식을 동적으로 업데이트하여 높은 도메인 특화 적응력을 보여줍니다.
DPEPO: LLM 기반 에이전트를 위한 다양성 병렬 탐색 정책 최적화
본 논문은 기존의 단일 환경 상호작용에 국한된 LLM 에이전트의 한계를 극복하기 위해, 여러 환경을 동시에 탐색하고 교차 궤적 경험을 공유할 수 있는 새로운 패러다임을 제시합니다. 이를 기반으로, 다양한 병렬 탐색을 장려하는 강화학습 알고리즘인 DPEPO를 제안합니다. DPEPO는 초기 SFT와 계층적 보상 체계를 결합하여 행동 중복을 방지하고 광범위한 탐색을 촉진하며, ALFWorld 및 ScienceWorld에서 SOTA 성능을 입증했습니다.
Chunk Filtering 을 통한 Retrieval-Augmented Generation 의 중복성 감소
본 연구는 표준 RAG 청킹 방식에서 발생하는 과도한 중복성 문제를 해결하기 위해 다양한 '청크 필터링(Chunk Filtering)' 전략을 제안합니다. Semantic, topic-based, 그리고 named-entity-based 방법론들을 탐구하고 실험한 결과, 특히 엔티티 기반 필터링이 벡터 인덱스 크기를 25%에서 36%까지 줄이면서도 검색 품질 저하를 최소화할 수 있음을 입증했습니다. 이는 RAG 파이프라인의 효율성을 높이는 가벼우면서도 효과적인 중복성 감소 방안을 제시합니다.
대형 언어 모델에서의 문화 인식 기계 번역: 벤치마킹 및 조사
본 논문은 대형 언어 모델(LLMs)이 일반 기계 번역에서는 강력하지만, 문화적 맥락을 이해하는 번역 능력에는 여전히 격차가 있음을 지적합니다. 이를 해결하기 위해 'CanMT'라는 문화 인식 신조어 구동 병렬 데이터셋과 다차원 평가 프레임워크를 제시했습니다. 연구 결과, 다양한 번역 전략 제약 조건 하에서 모델 간 성능 차이가 크며, 특히 문화 특정 항목의 유형에 따른 난이도와 모델의 지식 구현 능력 사이의 격차가 존재함을 확인했습니다.
MIPIC: 자기 증류 내재 관계 정렬과 점진적 정보 체인을 통한 마트료슈카 표현 학습
MIPIC는 구조적으로 일관되고 의미적으로 컴팩트한 마트료슈카 표현(Matryoshka Representation)을 생성하기 위해 설계된 통합 학습 프레임워크입니다. 이 방법은 Self-Distilled Intra-Relational Alignment (SIA)를 사용하여 전체 및 잘린 표현 간의 차원 구조적 일관성을 촉진하고, Progressive Information Chaining (PIC)을 통해 깊이별 의미 통합을 수행합니다. 광범위한 벤치마크 실험 결과, MIPIC는 모든 계산 예산에서 매우 경쟁력 있는 마트료슈카 표현을 제공하며, 특히 낮은 차원에서도 우수한 성능을 입증했습니다.
프롬프트 유도 (Prompt Induction) 를 통한 우울증 증상 증거 학습
본 논문은 온라인 포럼 및 소셜 미디어와 같은 비임상 환경의 사용자 생성 텍스트에서 우울증 증거를 자동으로 식별하는 방법을 제안합니다. 기존 LLM 접근법이 일관된 관련성 기준을 적용하는 데 어려움을 겪는 문제를 해결하기 위해, 연구진은 '증상 유도(Symptom Induction, SI)'라는 새로운 프레임워크를 도입했습니다. 이 방법은 각 증상이 어떤 내용으로 간주되는지 명시하는 해석 가능한 지침을 사용하여 분류를 조건화함으로써, 기존 모델보다 높은 성능과 일반화 능력을 입증했습니다.
All That Glitters Is Not Audio: Text Priors and Audio Reliance 재고찰을 위한 오디오-언어 평가
대형 오디오-언어 모델(LALM)의 성능 향상에도 불구하고, 높은 점수가 반드시 진정한 청각적 이해도를 의미하지는 않습니다. 본 논문은 '텍스트 사전'과 '오디오 의존성'이라는 두 가지 축을 사용한 진단 프레임워크를 제시하여 벤치마크 평가의 신뢰성을 재고합니다. 연구 결과, 모델들이 오디오 입력 없이도 전체 점수의 상당 부분을 유지하며, 완전한 오디오 클립이 필요한 항목은 매우 적다는 사실을 밝혀내어, 기존 벤치마크 설계에 대한 근본적인 의문을 제기하고 개선 방향을 제시합니다.
LLM 파인튜닝을 위한 스플릿 러닝에 대한 조망: 모델, 시스템 및 프라이버시 최적화
본 논문은 대규모 언어 모델(LLMs)의 높은 비용과 프라이버시 문제를 해결하기 위한 스플릿 러닝(Split Learning) 패러다임을 다룹니다. LLM 파인튜닝에 특화된 최초의 포괄적인 조망을 제시하며, 이 분야의 다양한 연구 동향을 체계적으로 분류하고 비교합니다. 특히 모델 최적화, 시스템 효율성, 프라이버시 보존이라는 세 가지 핵심 차원을 아우르는 통합 학습 파이프라인 구축 방안을 제안하여 안전하고 확장 가능한 협력적 LLM 적응의 기반을 마련하는 것을 목표로 합니다.
자동 가독성 평가 (ARA) 를 위한 제로샷 대형 언어 모델
본 논문은 감독되지 않은 자동 가독성 평가(ARA)를 위해 대형 언어 모델(LLMs)을 활용하는 새로운 제로샷 프롬프팅 방법론을 제안합니다. 연구진은 10개의 오픈소스 LLM과 14개의 데이터셋에서 이 방법을 테스트했으며, 제안된 프롬프팅 기법이 기존 방식보다 높은 성능을 보임을 입증했습니다. 또한, 문맥적 특징과 구조적 특징을 결합한 LAURAE라는 새로운 평가 지표를 제시하여 가독성 평가의 견고성을 높였습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.