Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
PRISM-X: 인간 및 시뮬레이션 사용자를 활용한 개인화된 미세 조정 (Personalised Fine-Tuning) 실험
본 연구는 대규모 피험자 내 실험을 통해 개인화된 언어 모델과 일반 모델을 비교 평가했습니다. 그 결과, 선호도 미세 조정(P-DPO)은 일반 모델 및 개인화 프롬프팅 모두를 유의미하게 능가하는 성능을 보였습니다. 그러나 개인의 선호도 데이터에 적응시키는 것은 다양한 인구 집단의 통합된 선호도로 학습하는 것에 비해 큰 이득이 없는 것으로 나타났습니다. 또한, 미세 조정은 아첨이나 관계 지향적 행동 같은 단기적인 편향을 증폭시켜 장기적으로 해로울 수 있으며, 시뮬레이터는 인간의 복잡한 판단과 피드백 역학을 재현하는 데 한계가 있음을 보여주었습니다.
5월 14일5
arXivAI 번역논문
CANTANTE: 대조적 신용 할당 (Contrastive Credit Attribution)을 통한 에이전트 시스템 최적화
본 논문은 LLM 기반 멀티 에이전트 시스템의 최적화 문제를 근본적인 '신용 할당(credit-assignment)' 문제로 정의하고, 이를 해결하기 위한 프레임워크인 CANTANTE를 제안합니다. CANTANTE는 동일한 쿼리에 대해 여러 결합 구성의 롤아웃을 대조하여, 시스템 수준의 보상을 개별 에이전트별 업데이트 신호로 분해하는 방식을 사용합니다. 이 방법은 프로그래밍(MBPP), 수학적 추론(GSM8K), 멀티홉 질의응답(HotpotQA) 등 다양한 벤치마크에서 기존 최적화 도구 대비 높은 성능 향상과 낮은 추론 비용을 입증했습니다.
5월 14일1
arXivAI 번역논문
LLM 사전 학습을 통한 페르소나 벡터 (Persona Vectors) 추적
본 논문은 LLM 내부에서 '악함'이나 '아첨' 같은 특정 특성을 나타내는 '페르소나 벡터(persona vectors)'를 추적하고 그 형성 과정을 분석합니다. 연구진은 OLMo-3-7B의 사전 학습 과정 전반에 걸쳐 이 벡터들을 추적한 결과, 페르소나 벡터가 매우 초기 단계인 OLMo-3 사전 학습 초기에 이미 형성되며 사후 학습을 거친 지시 모델에서도 효과적으로 유지됨을 발견했습니다. 또한, 다양한 유도 전략들이 각기 다른 질적인 측면의 페르소나를 드러냄을 확인하고, 이 표현이 초기 사전 학습에서 안정적으로 형성되는 핵심 특징임을 입증했습니다.
5월 14일3
arXivAI 번역논문
LLM 기반 설득이 Frontier LLM의 가드레일 우회를 가능하게 함
본 논문은 강력한 가드레일을 갖춘 Frontier LLM들이 특정 민감 주제에 대한 요청을 거부하는 현상을 분석했습니다. 연구진은 '논쟁적인 에세이 작성'이라는 대화 시뮬레이션을 통해, 오직 자연어 압박(natural-language pressure)만을 사용하여 다른 Frontier급 LLM들로 하여금 이러한 금지된 콘텐츠를 생성하도록 설득할 수 있음을 입증했습니다. 이 과정에서 동료 비교 설득이나 인식적 의무 재구성 같은 다양한 논쟁적 수법들이 효과적인 것으로 나타났습니다.
5월 14일3
arXivAI 번역논문
언어 모델(Language Models) 내 페르소나 의존적 선호도(Persona-Dependent Preferences) 조사
본 기사는 대규모 언어 모델(LLMs)이 특정 작업과 출력을 선호하는 '선호도'를 가지며, 이 선호도가 사후 학습 및 시스템 프롬프트에 의해 형성됨을 탐구합니다. 연구진은 Gemma-3-27B와 Qwen-3.5-122B 모델의 잔차 스트림 활성화에 선형 프로브를 적용하여 '선호도 벡터'를 식별했습니다. 이 벡터는 다양한 페르소나 전반에 걸쳐 공유되는 핵심 표현으로, 이를 통해 특정 페르소나의 선택을 인과적으로 제어(steering)할 수 있음을 입증했습니다.
5월 14일5
arXivAI 번역논문
Sequence-to-Sequence 구구조 구문 분석을 위한 사전 학습된 Encoder-Decoder Transformer 활용
본 논문은 심층적인 자연어 이해를 위해 중요한 구구조 구문 분석(Syntactic Constituent Parsing)에 대해, 기존의 작업 특화형 파서를 넘어선 시퀀스 투 시퀀스 프레임워크를 제안합니다. 특히 BART, mBART, T5와 같은 사전 학습된 Encoder-Decoder 아키텍처를 활용하여 이 분야의 격차를 해소하고자 합니다. 연구진은 이러한 모델들을 선형화된 구문 트리 생성에 미세 조정하고, 다양한 벤치마크에서 평가한 결과, 제안된 접근 방식이 기존 시퀀스 투 시퀀스 모델보다 우수하며 최신 작업 특화형 파서와 경쟁할 만한 성능을 보임을 입증했습니다.
5월 14일1
arXivAI 번역논문
LLM Refinement은 실제로 무엇을 개선하는가? 문서 수준의 문학 번역에 대한 체계적 연구
본 논문은 문서 규모의 문학 번역에 대한 반복적인 자기 개선(Iterative self-refinement) 전략을 체계적으로 연구합니다. 9개의 LLM과 7개 언어 쌍을 대상으로 실험한 결과, 가장 효과적이고 안정적인 향상을 가져오는 방법은 문서 수준 MT 후 세그먼트 수준의 개선을 적용하는 것임을 발견했습니다. 또한, 오류 특정 프롬프트보다 단순하고 일반적인 개선 프롬프트가 일관되게 우수하며, 개선으로 인한 이득은 주로 유창성, 스타일, 용어에서 나타나고 적절성에서의 개선은 제한적이라는 결론을 제시합니다.
5월 14일4
arXivAI 번역논문
Phasor Memory Networks: 확장 가능한 명시적 메모리를 위한 안정적인 BPTT (Backpropagation Through
본 연구는 명시적 메모리 아키텍처의 오랜 난제였던 BPTT 과정 중 발생하는 그래디언트 불안정성 문제를 해결하기 위해 Phasor Memory Network (PMNet)을 제안합니다. PMNet은 복소 단위 원 상의 위상 회전을 통해 순환 상태 업데이트를 제한함으로써, 특수한 초기화 없이도 그래디언트 노름을 보존하고 발산을 본질적으로 방지합니다. 이 모델은 확장된 계층적 메모리 트리를 활용하여 장거리 의존성 검색에서 높은 정확도를 달성하며, 소형 크기에도 불구하고 대규모 모델과 동등한 롱 컨텍스트 강건성을 입증했습니다.
5월 14일3
arXivAI 번역논문
Rosetta에서 Match-Up까지: 인간 및 LLM 벤치마크를 포함한 언어 퍼즐 쌍 코퍼스
본 논문은 고등학교 언어학 경시대회에서 사용되는 Rosetta Stone 및 Match-Up 형식의 언어 퍼즐 쌍 코퍼스를 구축하는 방법을 제시합니다. 기존 Rosetta Stone 퍼즐을 대응하는 Match-Up 형태로 변환하는 체계적인 절차를 제안하여, 새로운 퍼즐 생성 과정을 가속화합니다. 연구진은 이 쌍으로 이루어진 데이터셋을 인간 참가자와 대규모 언어 모델(LLMs) 모두에게 평가했으며, 해결사들은 전형적으로 '전부 아니면 전무' 패턴을 보인다는 것을 발견했습니다.
5월 14일1
arXivAI 번역논문
외부화된 공격-방어 공동 진화를 통한 모델 불가지론적 평생 LLM 안전성 (Model-Agnostic Lifelong LLM Safety
본 논문은 LLM이 적대적 프롬프트에 취약하다는 문제점을 해결하기 위해 EvoSafety라는 새로운 안전성 프레임워크를 제안합니다. 기존의 폐쇄적인 안전 패러다임과 달리, EvoSafety는 외부 구조를 중심으로 구축되어 지속 가능하고 재사용 가능한 공격 및 방어 메커니즘을 제공합니다. 특히, 적대적 기술 라이브러리를 통해 포화 이후에도 취약점 조사가 가능하며, 메모리 검색으로 증강된 경량 보조 모델을 사용하여 모델 불가지론적인 안전성 향상과 강건성을 확보했습니다.
5월 14일1
arXivAI 번역논문
서브워드 정규화(Subword Regularization)를 이용한 언어 모델 사전 학습: 저자원 NLP에서의 BPE Dropout에 관한
본 연구는 저자원 NLP 환경에서 사전 학습 단계에 BPE dropout과 같은 서브워드 정규화(Subword Regularization)를 적용하는 것이 성능 향상에 미치는 영향을 조사했습니다. 여러 언어와 태스크에 걸쳐, 확률적 토큰화가 사전 학습 및 파인튜닝 모두에 사용될 때 가장 좋은 결과를 보였습니다. 특히 BPE dropout의 이점은 한쪽 데이터(사전 학습 또는 파인튜닝)만 부족할 때 두드러지며, 이는 모델이 희귀 단어에 대한 더 나은 구성적 표현을 학습하기 때문입니다.
5월 14일2
arXivAI 번역논문
Large Language Models를 위한 쿼리 조건부 테스트 시간 자기 학습 (Query-Conditioned Test-Time
QueST는 외부 데이터 없이 입력 쿼리 자체에서 유도된 신호를 활용하여 추론 과정 중 모델 파라미터를 적응시키는 새로운 프레임워크입니다. 쿼리 내에 포함된 잠재적 신호를 문제-해결 쌍으로 변환하여 파라미터 효율적 미세 조정을 수행함으로써, 개별 쿼리에 특화된 최적화를 가능하게 합니다. 수학 및 과학 추론 벤치마크 테스트 결과, 기존의 테스트 시간 스케일링 및 최적화 방식보다 뛰어난 성능을 입증했습니다.
5월 14일3
arXivAI 번역논문
TokAlign++: 더 나은 토큰 정렬 (Token Alignment)을 통한 어휘 적응 (Vocabulary Adaptation)의 발전
TokAlign++는 LLMs의 성능 저하를 야기하는 비효율적인 토큰화 및 어휘 불일치 문제를 해결하기 위해 제안된 방법입니다. 이 방법은 더 나은 '토큰 정렬 어휘집(token alignment lexicon)'을 학습하여 다국어 텍스트 압축률을 높이고, 기존 모델의 다국어 능력을 효과적으로 보존합니다. 실험 결과에 따르면, TokAlign++는 적은 단계의 미세 조정을 통해 베이스 모델의 성능을 크게 개선할 수 있음을 입증했습니다.
5월 14일2
arXivAI 번역논문
대규모 언어 모델(LLMs)의 창의성 평가: 테스트, 한계 및 새로운 지평
본 기사는 LLMs의 창의성을 측정하는 기존 인간 기반 테스트들의 타당성과 한계를 체계적으로 분석합니다. 연구진은 창의적 글쓰기, 확산적 사고, 과학적 아이디어 구상 등 세 가지 구성 개념에 걸쳐 여러 테스트를 평가한 결과, 단일 테스트가 모든 영역을 잘 예측하지 못함을 확인했습니다. 이에 따라, 수렴적 사고와 확산적 사고를 모두 측정하는 새로운 도구인 Divergent Remote Association Test (DRAT)를 제안하며, 이것이 과학적 아이디어 구상 능력을 신뢰성 있게 예측할 수 있는 최초의 테스트임을 입증합니다.
5월 14일5
arXivAI 번역논문
OSDN: Linear Attention에서 증명 가능한 온라인 전처리(Online Preconditioning)를 통한 Delta Rule의
본 논문은 Linear Attention 및 State-Space Models의 한계인 문맥 내 연상 회상 능력을 개선하기 위해 Online Scaled DeltaNet (OSDN)을 제안합니다. OSDN은 하이퍼그레이디언트 피드백을 통해 온라인으로 업데이트되는 대각 전처리 도구(diagonal preconditioner)를 도입하여 기존 DeltaNet의 스칼라 게이트 한계를 극복했습니다. 이 방법론은 고차원 상태 오버헤드를 발생시키지 않으면서 DeltaNet의 하드웨어 친화적인 병렬 파이프라인을 유지하며, 이론적으로 우측 뉴턴 비교 대상에 대한 초기하 수렴과 토큰 로컬 잔차 수축 경계를 증명합니다. 실험 결과, OSDN은 다양한 규모에서 DeltaNet 대비 in-context recall 성능을 크게 향상시키고 회상 잔차 비율을 감소시키는 강력한 효과를 입증했습니다.
5월 14일2
arXivAI 번역논문
PDCR: 시각-언어 추론을 위한 지각 분해 신뢰도 보상 (Perception-Decomposed Confidence Reward)
본 논문은 시각-언어(V-L) 추론 학습의 어려움을 해결하기 위해 PDCR(Perception-Decomposed Confidence Reward)이라는 새로운 프레임워크를 제안합니다. 기존의 전역적 보상 방식은 V-L 작업의 이질적인 구조 때문에 신호 저하를 유발하여 시각 단계의 학습이 텍스트 단계에 의해 왜곡되는 문제가 있었습니다. PDCR은 비지도 기술 분해와 모델 내부의 '시각 의존도 점수'를 활용하여 지각 단계와 추론 단계를 분리하고, 각 클러스터 내에서 신뢰도 이득을 정규화함으로써 안정적이고 정확하게 스케일링된 학습 신호를 제공합니다.
5월 14일2
arXivAI 번역논문
다국어 파운데이션 모델을 활용한 지속 학습 (Continual Learning)
본 연구는 영어, 스페인어, 이탈리아어 소셜 미디어 데이터에서 LGBTQ+ 관련 비속어의 재전유 사용 여부를 탐지하기 위한 다단계 프레임워크를 제안합니다. 데이터 부족, 클래스 불균형, 언어 간 변이 문제를 해결하기 위해 역번역 데이터 증강, 동적 언더샘플링, 마스크 언어 모델링을 결합한 귀납적 전이 학습 방식을 사용합니다. 실험 결과 XLM-RoBERTa가 최적의 파운데이션 모델로 선정되었으며, 언어별 결정 임계값 최적화를 통해 모델 재학습 없이도 성능을 개선할 수 있음을 입증했습니다.
5월 14일3
arXivAI 번역논문
PersonalAI 2.0: 개인화된 LLM 에이전트를 위한 계획 메커니즘을 통한 지식 그래프 탐색/검색 강화
PersonalAI 2.0 (PAI-2)은 외부 지식 그래프(KG) 통합을 통해 LLM 시스템을 강화하는 새로운 프레임워크입니다. 이 접근 방식은 동적인 다단계 쿼리 처리 파이프라인을 도입하여 기존 GraphRAG의 한계를 극복합니다. PAI-2는 적응형 반복 정보 검색 능력을 활용하며, 다양한 벤치마크에서 사실적 정확성 향상 및 환각 감소를 입증했습니다.
5월 14일3
arXivAI 번역논문
Transformers에서의 효과적인 컨텍스트: 파편화(Fragmentation)와 토큰화(Tokenization)에 관한 분석
본 논문은 Transformer 모델의 예측 성능에 영향을 미치는 표현 단위(바이트, 문자, 서브워드 등) 선택 문제를 정보 이론적 관점에서 분석합니다. 연구진은 '파편화'와 '토큰화'라는 두 가지 상호 보완적인 현상을 발견했습니다. 파편화는 더 작은 표현 단위가 유한 컨텍스트에서 성능 저하를 일으킬 수 있음을 증명하며, 토큰화는 짧은 토큰 창이 긴 소스 컨텍스트처럼 작동하게 만드는 메커니즘을 제시합니다.
5월 14일5
arXivAI 번역논문
Cognifold: 인지적 접기(Cognitive Folding)를 통한 상시 작동형 선제적 메모리
Cognifold는 기존의 반응적이고 검색 기반인 에이전트 메모리 한계를 극복하기 위해 뇌의 구조에서 영감을 받은 상시 작동형 선제적 메모리 시스템입니다. 상보적 학습 시스템(CLS) 이론을 확장하여 해마, 신피질에 전전두엽 의도 층을 추가한 3층 구조를 통해, 파편화된 이벤트 스트림을 자율적인 인지 구조로 조직합니다.
5월 14일3