Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
LLM Refinement은 실제로 무엇을 개선하는가? 문서 수준의 문학 번역에 대한 체계적 연구
본 논문은 문서 규모의 문학 번역에 대한 반복적인 자기 개선(Iterative self-refinement) 전략을 체계적으로 연구합니다. 9개의 LLM과 7개 언어 쌍을 대상으로 실험한 결과, 가장 효과적이고 안정적인 향상을 가져오는 방법은 문서 수준 MT 후 세그먼트 수준의 개선을 적용하는 것임을 발견했습니다. 또한, 오류 특정 프롬프트보다 단순하고 일반적인 개선 프롬프트가 일관되게 우수하며, 개선으로 인한 이득은 주로 유창성, 스타일, 용어에서 나타나고 적절성에서의 개선은 제한적이라는 결론을 제시합니다.
5월 14일4
arXivAI 번역논문
Phasor Memory Networks: 확장 가능한 명시적 메모리를 위한 안정적인 BPTT (Backpropagation Through
본 연구는 명시적 메모리 아키텍처의 오랜 난제였던 BPTT 과정 중 발생하는 그래디언트 불안정성 문제를 해결하기 위해 Phasor Memory Network (PMNet)을 제안합니다. PMNet은 복소 단위 원 상의 위상 회전을 통해 순환 상태 업데이트를 제한함으로써, 특수한 초기화 없이도 그래디언트 노름을 보존하고 발산을 본질적으로 방지합니다. 이 모델은 확장된 계층적 메모리 트리를 활용하여 장거리 의존성 검색에서 높은 정확도를 달성하며, 소형 크기에도 불구하고 대규모 모델과 동등한 롱 컨텍스트 강건성을 입증했습니다.
5월 14일4
arXivAI 번역논문
Rosetta에서 Match-Up까지: 인간 및 LLM 벤치마크를 포함한 언어 퍼즐 쌍 코퍼스
본 논문은 고등학교 언어학 경시대회에서 사용되는 Rosetta Stone 및 Match-Up 형식의 언어 퍼즐 쌍 코퍼스를 구축하는 방법을 제시합니다. 기존 Rosetta Stone 퍼즐을 대응하는 Match-Up 형태로 변환하는 체계적인 절차를 제안하여, 새로운 퍼즐 생성 과정을 가속화합니다. 연구진은 이 쌍으로 이루어진 데이터셋을 인간 참가자와 대규모 언어 모델(LLMs) 모두에게 평가했으며, 해결사들은 전형적으로 '전부 아니면 전무' 패턴을 보인다는 것을 발견했습니다.
5월 14일1
arXivAI 번역논문
외부화된 공격-방어 공동 진화를 통한 모델 불가지론적 평생 LLM 안전성 (Model-Agnostic Lifelong LLM Safety
본 논문은 LLM이 적대적 프롬프트에 취약하다는 문제점을 해결하기 위해 EvoSafety라는 새로운 안전성 프레임워크를 제안합니다. 기존의 폐쇄적인 안전 패러다임과 달리, EvoSafety는 외부 구조를 중심으로 구축되어 지속 가능하고 재사용 가능한 공격 및 방어 메커니즘을 제공합니다. 특히, 적대적 기술 라이브러리를 통해 포화 이후에도 취약점 조사가 가능하며, 메모리 검색으로 증강된 경량 보조 모델을 사용하여 모델 불가지론적인 안전성 향상과 강건성을 확보했습니다.
5월 14일2
arXivAI 번역논문
덴마크 망명 결정의 신뢰성 평가를 위한 주석가로서의 LLMs: 분류 성능 및 집계 지표를 넘어선 오류 평가
본 연구는 법률 NLP 태스크인 망명 결정 텍스트 내 신뢰성 평가 및 감정 식별을 위한 LLM 기반 주석 작업을 조사합니다. 특히, 고품질의 전문가 주석과 메타데이터를 갖춘 덴마크어 데이터셋 RAB-Cred를 소개하고, 다양한 open-weight 모델과 프롬프트 조합을 사용하여 zero-shot 및 few-shot 분류 성능을 체계적으로 평가했습니다. 연구는 단순히 분류 성능 지표를 넘어 LLM이 범하는 오류의 일관성, 클래스 혼동 패턴, 그리고 인간 신뢰도와의 상관관계 등 심층적인 오류 분석에 초점을 맞추어, LLMs 활용의 잠재력과 한계를 동시에 제시합니다.
5월 14일5
arXivAI 번역논문
LIFT: 테이블 명시화를 위한 라스트 마일 미세 조정 (Last-Mile Fine-Tuning)
Lift는 사전 학습된 LLM이 비정형 텍스트에서 초기 테이블을 추출하고, 미세 조정된 SLM이 이 테이블의 오류를 수정하는 '라스트 마일 미세 조정(last-mile fine-tuning)' 파이프라인입니다. 이 접근 방식은 단 1,000개의 학습 예시만으로도 기존 엔드 투 엔드 미세 조정보다 높은 성능을 보여주었으며, 특히 입력 형식의 가변성에 대한 견고성을 입증했습니다.
5월 14일6
arXivAI 번역논문
서브워드 정규화(Subword Regularization)를 이용한 언어 모델 사전 학습: 저자원 NLP에서의 BPE Dropout에 관한
본 연구는 저자원 NLP 환경에서 사전 학습 단계에 BPE dropout과 같은 서브워드 정규화(Subword Regularization)를 적용하는 것이 성능 향상에 미치는 영향을 조사했습니다. 여러 언어와 태스크에 걸쳐, 확률적 토큰화가 사전 학습 및 파인튜닝 모두에 사용될 때 가장 좋은 결과를 보였습니다. 특히 BPE dropout의 이점은 한쪽 데이터(사전 학습 또는 파인튜닝)만 부족할 때 두드러지며, 이는 모델이 희귀 단어에 대한 더 나은 구성적 표현을 학습하기 때문입니다.
5월 14일3
arXivAI 번역논문
Large Language Models를 위한 쿼리 조건부 테스트 시간 자기 학습 (Query-Conditioned Test-Time
QueST는 외부 데이터 없이 입력 쿼리 자체에서 유도된 신호를 활용하여 추론 과정 중 모델 파라미터를 적응시키는 새로운 프레임워크입니다. 쿼리 내에 포함된 잠재적 신호를 문제-해결 쌍으로 변환하여 파라미터 효율적 미세 조정을 수행함으로써, 개별 쿼리에 특화된 최적화를 가능하게 합니다. 수학 및 과학 추론 벤치마크 테스트 결과, 기존의 테스트 시간 스케일링 및 최적화 방식보다 뛰어난 성능을 입증했습니다.
5월 14일4
arXivAI 번역논문
TokAlign++: 더 나은 토큰 정렬 (Token Alignment)을 통한 어휘 적응 (Vocabulary Adaptation)의 발전
TokAlign++는 LLMs의 성능 저하를 야기하는 비효율적인 토큰화 및 어휘 불일치 문제를 해결하기 위해 제안된 방법입니다. 이 방법은 더 나은 '토큰 정렬 어휘집(token alignment lexicon)'을 학습하여 다국어 텍스트 압축률을 높이고, 기존 모델의 다국어 능력을 효과적으로 보존합니다. 실험 결과에 따르면, TokAlign++는 적은 단계의 미세 조정을 통해 베이스 모델의 성능을 크게 개선할 수 있음을 입증했습니다.
5월 14일3
arXivAI 번역논문
대규모 언어 모델(LLMs)의 창의성 평가: 테스트, 한계 및 새로운 지평
본 기사는 LLMs의 창의성을 측정하는 기존 인간 기반 테스트들의 타당성과 한계를 체계적으로 분석합니다. 연구진은 창의적 글쓰기, 확산적 사고, 과학적 아이디어 구상 등 세 가지 구성 개념에 걸쳐 여러 테스트를 평가한 결과, 단일 테스트가 모든 영역을 잘 예측하지 못함을 확인했습니다. 이에 따라, 수렴적 사고와 확산적 사고를 모두 측정하는 새로운 도구인 Divergent Remote Association Test (DRAT)를 제안하며, 이것이 과학적 아이디어 구상 능력을 신뢰성 있게 예측할 수 있는 최초의 테스트임을 입증합니다.
5월 14일6
arXivAI 번역논문
OSDN: Linear Attention에서 증명 가능한 온라인 전처리(Online Preconditioning)를 통한 Delta Rule의
본 논문은 Linear Attention 및 State-Space Models의 한계인 문맥 내 연상 회상 능력을 개선하기 위해 Online Scaled DeltaNet (OSDN)을 제안합니다. OSDN은 하이퍼그레이디언트 피드백을 통해 온라인으로 업데이트되는 대각 전처리 도구(diagonal preconditioner)를 도입하여 기존 DeltaNet의 스칼라 게이트 한계를 극복했습니다. 이 방법론은 고차원 상태 오버헤드를 발생시키지 않으면서 DeltaNet의 하드웨어 친화적인 병렬 파이프라인을 유지하며, 이론적으로 우측 뉴턴 비교 대상에 대한 초기하 수렴과 토큰 로컬 잔차 수축 경계를 증명합니다. 실험 결과, OSDN은 다양한 규모에서 DeltaNet 대비 in-context recall 성능을 크게 향상시키고 회상 잔차 비율을 감소시키는 강력한 효과를 입증했습니다.
5월 14일3
arXivAI 번역논문
PDCR: 시각-언어 추론을 위한 지각 분해 신뢰도 보상 (Perception-Decomposed Confidence Reward)
본 논문은 시각-언어(V-L) 추론 학습의 어려움을 해결하기 위해 PDCR(Perception-Decomposed Confidence Reward)이라는 새로운 프레임워크를 제안합니다. 기존의 전역적 보상 방식은 V-L 작업의 이질적인 구조 때문에 신호 저하를 유발하여 시각 단계의 학습이 텍스트 단계에 의해 왜곡되는 문제가 있었습니다. PDCR은 비지도 기술 분해와 모델 내부의 '시각 의존도 점수'를 활용하여 지각 단계와 추론 단계를 분리하고, 각 클러스터 내에서 신뢰도 이득을 정규화함으로써 안정적이고 정확하게 스케일링된 학습 신호를 제공합니다.
5월 14일3
arXivAI 번역논문
LongBEL: 긴 문맥 및 문서 일관성을 갖춘 생물 의학 개체 연결 (Biomedical Entity Linking)
LongBEL은 생물 의학 개체 연결(Biomedical entity linking) 작업을 위해 전체 문서 문맥과 이전 예측 메모리를 결합한 문서 수준 생성 프레임워크입니다. 기존 시스템들이 언급이나 주변 문장만을 사용하여 독립적으로 연결하는 한계를 극복하고, 동일 개념의 다양한 표면형에 대한 일관성을 확보합니다. LongBEL은 교차 검증된 예측을 학습 데이터로 사용하며, 다국어 벤치마크에서 높은 성능을 보여 특히 문서 내 개념 재발 시 큰 이점을 입증했습니다.
5월 14일2
arXivAI 번역논문
다국어 파운데이션 모델을 활용한 지속 학습 (Continual Learning)
본 연구는 영어, 스페인어, 이탈리아어 소셜 미디어 데이터에서 LGBTQ+ 관련 비속어의 재전유 사용 여부를 탐지하기 위한 다단계 프레임워크를 제안합니다. 데이터 부족, 클래스 불균형, 언어 간 변이 문제를 해결하기 위해 역번역 데이터 증강, 동적 언더샘플링, 마스크 언어 모델링을 결합한 귀납적 전이 학습 방식을 사용합니다. 실험 결과 XLM-RoBERTa가 최적의 파운데이션 모델로 선정되었으며, 언어별 결정 임계값 최적화를 통해 모델 재학습 없이도 성능을 개선할 수 있음을 입증했습니다.
5월 14일3
arXivAI 번역논문
PersonalAI 2.0: 개인화된 LLM 에이전트를 위한 계획 메커니즘을 통한 지식 그래프 탐색/검색 강화
PersonalAI 2.0 (PAI-2)은 외부 지식 그래프(KG) 통합을 통해 LLM 시스템을 강화하는 새로운 프레임워크입니다. 이 접근 방식은 동적인 다단계 쿼리 처리 파이프라인을 도입하여 기존 GraphRAG의 한계를 극복합니다. PAI-2는 적응형 반복 정보 검색 능력을 활용하며, 다양한 벤치마크에서 사실적 정확성 향상 및 환각 감소를 입증했습니다.
5월 14일4
arXivAI 번역논문
Transformers에서의 효과적인 컨텍스트: 파편화(Fragmentation)와 토큰화(Tokenization)에 관한 분석
본 논문은 Transformer 모델의 예측 성능에 영향을 미치는 표현 단위(바이트, 문자, 서브워드 등) 선택 문제를 정보 이론적 관점에서 분석합니다. 연구진은 '파편화'와 '토큰화'라는 두 가지 상호 보완적인 현상을 발견했습니다. 파편화는 더 작은 표현 단위가 유한 컨텍스트에서 성능 저하를 일으킬 수 있음을 증명하며, 토큰화는 짧은 토큰 창이 긴 소스 컨텍스트처럼 작동하게 만드는 메커니즘을 제시합니다.
5월 14일6
arXivAI 번역논문
Many-Shot CoT-ICL: In-Context Learning을 진정으로 학습하게 만들기
본 연구는 In-context learning(ICL) 중에서도 추론 과정이 필요한 many-shot Chain-of-Thought ICL (CoT-ICL)에 초점을 맞추어, 기존의 스케일링 규칙이 전이되지 않음을 보여줍니다. 연구진은 CoT 데모 증가가 비추론 작업보다 추론 지향 LLMs에게 더 큰 이득을 주며, 의미적 유사성 검색이 추론 과정에서는 실패할 수 있음을 발견했습니다. 따라서 모델 성능 향상을 위해 '데모의 이해 용이성'과 '순서 지정된 개념적 진행'이라는 두 가지 원칙을 제안하고, 이를 바탕으로 Curvilinear Demonstration Selection (CDS)라는 새로운 순서 지정 방법을 제시합니다.
5월 14일4
arXivAI 번역논문
Cognifold: 인지적 접기(Cognitive Folding)를 통한 상시 작동형 선제적 메모리
Cognifold는 기존의 반응적이고 검색 기반인 에이전트 메모리 한계를 극복하기 위해 뇌의 구조에서 영감을 받은 상시 작동형 선제적 메모리 시스템입니다. 상보적 학습 시스템(CLS) 이론을 확장하여 해마, 신피질에 전전두엽 의도 층을 추가한 3층 구조를 통해, 파편화된 이벤트 스트림을 자율적인 인지 구조로 조직합니다.
5월 14일4
arXivAI 번역논문
R^2-Mem: 메모리 검색을 위한 성찰적 경험 (Reflective Experience for Memory Search)
R^2-Mem은 메모리 검색 시스템의 성능 향상을 위해 성찰적 경험 프레임워크를 제안합니다. 이 프레임워크는 오프라인 단계에서 Rubric-guided Evaluator가 과거 궤적을 평가하고, Self-Reflection Learner가 이를 바탕으로 추상적인 경험을 증류하여 학습합니다. 온라인 추론 단계에서는 이러한 성찰된 경험이 검색 행동을 안내함으로써 에이전트가 오류를 반복하지 않고 고품질의 결과를 유지하도록 합니다.
5월 14일2
arXivAI 번역논문
Locale-Conditioned Few-Shot Prompting이 소형 언어 모델(SLM)을 이용한 온디바이스 PII 치환 과정에서의 예시
본 논문은 온디바이스 환경에서 개인 식별 정보(PII)를 처리하는 새로운 파이프라인을 제안합니다. 기존의 PII 삭제 방식이 후속 NLP 작업에 유용성을 저해하는 문제를 해결하기 위해, 이 시스템은 탐지된 PII를 일관되고 유형을 보존하는 가짜 값으로 치환합니다. 특히, 단순한 고정 예시 사용 시 발생하는 SLM의 '메아리 현상(regurgitation)' 문제를 로케일 조건부 회전 퓨샷 예시(locale-conditioned rotating few-shot demonstrations)를 통해 해결하고, 이 하이브리드 접근 방식이 다양한 평가 지표에서 우수한 성능을 보임을 입증합니다.
5월 14일4