Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
서브워드 정규화(Subword Regularization)를 이용한 언어 모델 사전 학습: 저자원 NLP에서의 BPE Dropout에 관한
본 연구는 저자원 NLP 환경에서 사전 학습 단계에 BPE dropout과 같은 서브워드 정규화(Subword Regularization)를 적용하는 것이 성능 향상에 미치는 영향을 조사했습니다. 여러 언어와 태스크에 걸쳐, 확률적 토큰화가 사전 학습 및 파인튜닝 모두에 사용될 때 가장 좋은 결과를 보였습니다. 특히 BPE dropout의 이점은 한쪽 데이터(사전 학습 또는 파인튜닝)만 부족할 때 두드러지며, 이는 모델이 희귀 단어에 대한 더 나은 구성적 표현을 학습하기 때문입니다.
5월 14일2
arXivAI 번역논문
Large Language Models를 위한 쿼리 조건부 테스트 시간 자기 학습 (Query-Conditioned Test-Time
QueST는 외부 데이터 없이 입력 쿼리 자체에서 유도된 신호를 활용하여 추론 과정 중 모델 파라미터를 적응시키는 새로운 프레임워크입니다. 쿼리 내에 포함된 잠재적 신호를 문제-해결 쌍으로 변환하여 파라미터 효율적 미세 조정을 수행함으로써, 개별 쿼리에 특화된 최적화를 가능하게 합니다. 수학 및 과학 추론 벤치마크 테스트 결과, 기존의 테스트 시간 스케일링 및 최적화 방식보다 뛰어난 성능을 입증했습니다.
5월 14일3
arXivAI 번역논문
TokAlign++: 더 나은 토큰 정렬 (Token Alignment)을 통한 어휘 적응 (Vocabulary Adaptation)의 발전
TokAlign++는 LLMs의 성능 저하를 야기하는 비효율적인 토큰화 및 어휘 불일치 문제를 해결하기 위해 제안된 방법입니다. 이 방법은 더 나은 '토큰 정렬 어휘집(token alignment lexicon)'을 학습하여 다국어 텍스트 압축률을 높이고, 기존 모델의 다국어 능력을 효과적으로 보존합니다. 실험 결과에 따르면, TokAlign++는 적은 단계의 미세 조정을 통해 베이스 모델의 성능을 크게 개선할 수 있음을 입증했습니다.
5월 14일2
arXivAI 번역논문
대규모 언어 모델(LLMs)의 창의성 평가: 테스트, 한계 및 새로운 지평
본 기사는 LLMs의 창의성을 측정하는 기존 인간 기반 테스트들의 타당성과 한계를 체계적으로 분석합니다. 연구진은 창의적 글쓰기, 확산적 사고, 과학적 아이디어 구상 등 세 가지 구성 개념에 걸쳐 여러 테스트를 평가한 결과, 단일 테스트가 모든 영역을 잘 예측하지 못함을 확인했습니다. 이에 따라, 수렴적 사고와 확산적 사고를 모두 측정하는 새로운 도구인 Divergent Remote Association Test (DRAT)를 제안하며, 이것이 과학적 아이디어 구상 능력을 신뢰성 있게 예측할 수 있는 최초의 테스트임을 입증합니다.
5월 14일5
arXivAI 번역논문
OSDN: Linear Attention에서 증명 가능한 온라인 전처리(Online Preconditioning)를 통한 Delta Rule의
본 논문은 Linear Attention 및 State-Space Models의 한계인 문맥 내 연상 회상 능력을 개선하기 위해 Online Scaled DeltaNet (OSDN)을 제안합니다. OSDN은 하이퍼그레이디언트 피드백을 통해 온라인으로 업데이트되는 대각 전처리 도구(diagonal preconditioner)를 도입하여 기존 DeltaNet의 스칼라 게이트 한계를 극복했습니다. 이 방법론은 고차원 상태 오버헤드를 발생시키지 않으면서 DeltaNet의 하드웨어 친화적인 병렬 파이프라인을 유지하며, 이론적으로 우측 뉴턴 비교 대상에 대한 초기하 수렴과 토큰 로컬 잔차 수축 경계를 증명합니다. 실험 결과, OSDN은 다양한 규모에서 DeltaNet 대비 in-context recall 성능을 크게 향상시키고 회상 잔차 비율을 감소시키는 강력한 효과를 입증했습니다.
5월 14일2
arXivAI 번역논문
PDCR: 시각-언어 추론을 위한 지각 분해 신뢰도 보상 (Perception-Decomposed Confidence Reward)
본 논문은 시각-언어(V-L) 추론 학습의 어려움을 해결하기 위해 PDCR(Perception-Decomposed Confidence Reward)이라는 새로운 프레임워크를 제안합니다. 기존의 전역적 보상 방식은 V-L 작업의 이질적인 구조 때문에 신호 저하를 유발하여 시각 단계의 학습이 텍스트 단계에 의해 왜곡되는 문제가 있었습니다. PDCR은 비지도 기술 분해와 모델 내부의 '시각 의존도 점수'를 활용하여 지각 단계와 추론 단계를 분리하고, 각 클러스터 내에서 신뢰도 이득을 정규화함으로써 안정적이고 정확하게 스케일링된 학습 신호를 제공합니다.
5월 14일2
arXivAI 번역논문
LongBEL: 긴 문맥 및 문서 일관성을 갖춘 생물 의학 개체 연결 (Biomedical Entity Linking)
LongBEL은 생물 의학 개체 연결(Biomedical entity linking) 작업을 위해 전체 문서 문맥과 이전 예측 메모리를 결합한 문서 수준 생성 프레임워크입니다. 기존 시스템들이 언급이나 주변 문장만을 사용하여 독립적으로 연결하는 한계를 극복하고, 동일 개념의 다양한 표면형에 대한 일관성을 확보합니다. LongBEL은 교차 검증된 예측을 학습 데이터로 사용하며, 다국어 벤치마크에서 높은 성능을 보여 특히 문서 내 개념 재발 시 큰 이점을 입증했습니다.
5월 14일1
arXivAI 번역논문
다국어 파운데이션 모델을 활용한 지속 학습 (Continual Learning)
본 연구는 영어, 스페인어, 이탈리아어 소셜 미디어 데이터에서 LGBTQ+ 관련 비속어의 재전유 사용 여부를 탐지하기 위한 다단계 프레임워크를 제안합니다. 데이터 부족, 클래스 불균형, 언어 간 변이 문제를 해결하기 위해 역번역 데이터 증강, 동적 언더샘플링, 마스크 언어 모델링을 결합한 귀납적 전이 학습 방식을 사용합니다. 실험 결과 XLM-RoBERTa가 최적의 파운데이션 모델로 선정되었으며, 언어별 결정 임계값 최적화를 통해 모델 재학습 없이도 성능을 개선할 수 있음을 입증했습니다.
5월 14일3
arXivAI 번역논문
PersonalAI 2.0: 개인화된 LLM 에이전트를 위한 계획 메커니즘을 통한 지식 그래프 탐색/검색 강화
PersonalAI 2.0 (PAI-2)은 외부 지식 그래프(KG) 통합을 통해 LLM 시스템을 강화하는 새로운 프레임워크입니다. 이 접근 방식은 동적인 다단계 쿼리 처리 파이프라인을 도입하여 기존 GraphRAG의 한계를 극복합니다. PAI-2는 적응형 반복 정보 검색 능력을 활용하며, 다양한 벤치마크에서 사실적 정확성 향상 및 환각 감소를 입증했습니다.
5월 14일3
arXivAI 번역논문
Transformers에서의 효과적인 컨텍스트: 파편화(Fragmentation)와 토큰화(Tokenization)에 관한 분석
본 논문은 Transformer 모델의 예측 성능에 영향을 미치는 표현 단위(바이트, 문자, 서브워드 등) 선택 문제를 정보 이론적 관점에서 분석합니다. 연구진은 '파편화'와 '토큰화'라는 두 가지 상호 보완적인 현상을 발견했습니다. 파편화는 더 작은 표현 단위가 유한 컨텍스트에서 성능 저하를 일으킬 수 있음을 증명하며, 토큰화는 짧은 토큰 창이 긴 소스 컨텍스트처럼 작동하게 만드는 메커니즘을 제시합니다.
5월 14일5
arXivAI 번역논문
Many-Shot CoT-ICL: In-Context Learning을 진정으로 학습하게 만들기
본 연구는 In-context learning(ICL) 중에서도 추론 과정이 필요한 many-shot Chain-of-Thought ICL (CoT-ICL)에 초점을 맞추어, 기존의 스케일링 규칙이 전이되지 않음을 보여줍니다. 연구진은 CoT 데모 증가가 비추론 작업보다 추론 지향 LLMs에게 더 큰 이득을 주며, 의미적 유사성 검색이 추론 과정에서는 실패할 수 있음을 발견했습니다. 따라서 모델 성능 향상을 위해 '데모의 이해 용이성'과 '순서 지정된 개념적 진행'이라는 두 가지 원칙을 제안하고, 이를 바탕으로 Curvilinear Demonstration Selection (CDS)라는 새로운 순서 지정 방법을 제시합니다.
5월 14일3
arXivAI 번역논문
Cognifold: 인지적 접기(Cognitive Folding)를 통한 상시 작동형 선제적 메모리
Cognifold는 기존의 반응적이고 검색 기반인 에이전트 메모리 한계를 극복하기 위해 뇌의 구조에서 영감을 받은 상시 작동형 선제적 메모리 시스템입니다. 상보적 학습 시스템(CLS) 이론을 확장하여 해마, 신피질에 전전두엽 의도 층을 추가한 3층 구조를 통해, 파편화된 이벤트 스트림을 자율적인 인지 구조로 조직합니다.
5월 14일3
arXivAI 번역논문
R^2-Mem: 메모리 검색을 위한 성찰적 경험 (Reflective Experience for Memory Search)
R^2-Mem은 메모리 검색 시스템의 성능 향상을 위해 성찰적 경험 프레임워크를 제안합니다. 이 프레임워크는 오프라인 단계에서 Rubric-guided Evaluator가 과거 궤적을 평가하고, Self-Reflection Learner가 이를 바탕으로 추상적인 경험을 증류하여 학습합니다. 온라인 추론 단계에서는 이러한 성찰된 경험이 검색 행동을 안내함으로써 에이전트가 오류를 반복하지 않고 고품질의 결과를 유지하도록 합니다.
5월 14일1
arXivAI 번역논문
Locale-Conditioned Few-Shot Prompting이 소형 언어 모델(SLM)을 이용한 온디바이스 PII 치환 과정에서의 예시
본 논문은 온디바이스 환경에서 개인 식별 정보(PII)를 처리하는 새로운 파이프라인을 제안합니다. 기존의 PII 삭제 방식이 후속 NLP 작업에 유용성을 저해하는 문제를 해결하기 위해, 이 시스템은 탐지된 PII를 일관되고 유형을 보존하는 가짜 값으로 치환합니다. 특히, 단순한 고정 예시 사용 시 발생하는 SLM의 '메아리 현상(regurgitation)' 문제를 로케일 조건부 회전 퓨샷 예시(locale-conditioned rotating few-shot demonstrations)를 통해 해결하고, 이 하이브리드 접근 방식이 다양한 평가 지표에서 우수한 성능을 보임을 입증합니다.
5월 14일3
arXivAI 번역논문
AI가 생성한 슬라이드: 품질은 좋은가? 학생들은 구별할 수 있는가?
본 논문은 생성형 AI(GenAI)가 강사의 강의 노트를 기반으로 슬라이드를 생성하는 방안을 조사하고, 강사와 학생의 인식을 분석했습니다. 연구 결과, 코딩 어시스턴트 도구들이 가장 정확하고 교육학적으로 타당한 슬라이드를 생성했으며, 학생들은 GenAI 슬라이드의 품질을 인간이 만든 것과 유사하게 평가하여 AI 생성 여부를 식별하지 못했습니다. 또한, 높은 품질의 슬라이드와 'AI 생성'이라는 출처 사이에 부적 상관관계가 발견되어, 학생들이 낮은 품질을 AI 기원과 연관 짓는 경향이 있음을 시사합니다.
5월 14일4
arXivAI 번역논문
RealICU: LLM 에이전트는 긴 문맥의 ICU 데이터를 이해하는가? 행동 모방을 넘어선 벤치마크
본 기사는 중환자실(ICU) 환경에서 대규모 언어 모델(LLMs)의 진정한 추론 능력을 평가하기 위한 새로운 벤치마크, RealICU를 소개합니다. 기존 ICU 벤치마크가 과거 임상의 행동을 정답으로 삼는 한계를 극복하고, 실제 의사들이 전체 환자 궤적을 검토하여 생성한 사후 주석(hindsight-annotated) 데이터를 활용했습니다. 이 벤치마크는 네 가지 핵심 작업(환자 상태 평가, 급성 문제 파악, 권장 조치, 레드 플래그 식별)을 포함하며, LLMs의 성능을 측정하고 안전성 실패 모드와 편향성을 분석하는 데 기여합니다.
5월 14일3
arXivAI 번역논문
언어 모델에서의 인공적 불확실성 유도 (Inducing Artificial Uncertainty in Language Models)
안전 필수 애플리케이션에서 언어 모델은 자신의 불확실성을 정확하게 정량화할 수 있어야 하지만, 대규모 언어 모델(LLMs)이 방대한 데이터로 학습되면서 적절한 도전적 데이터를 찾기 어려워지고 있습니다. 이 문제를 해결하기 위해 본 논문은 언어 모델에 인공적인 불확실성(artificial uncertainty)을 유도하는 방법을 제안합니다. 연구진은 인공적 불확실성을 인식하도록 훈련된 프로브(probes)를 사용하여, 쉬운 데이터에서도 실제 불확실성을 효과적으로 포착하고 높은 캘리브레이션 성능을 달성할 수 있음을 입증했습니다.
5월 14일5
arXivAI 번역논문
Temper and Tilt가 SLOP로 이어지는 과정: 추론 시 정렬 (Inference-Time Alignment)을 통한 보상 해킹
본 기사는 추론 시 정렬(Inference-time alignment) 기술을 다루며, 이는 비용 효율적인 강화학습의 대안 또는 보완책으로 활용될 수 있습니다. 연구진은 참조 모델의 온도 조절을 도입하여 이 기술을 확장하고, 이를 날카로워진 로그 의견 풀(SLOP)과 결합된 생성적 보상 모델 앙상블로 일반화했습니다. 또한, 보상 해킹 문제를 완화하기 위해 SLOP 가중치 파라미터를 교정하는 새로운 알고리즘을 제안하여 정렬 성능과 강건성을 동시에 향상시켰습니다.
5월 14일3
arXivAI 번역논문
창의성 편향: 기계 평가가 문학 번역의 창의성을 다루는 데 겪는 어려움
이 논문은 다양한 언어와 장르에 걸친 문학 번역의 창의성 평가에 자동 평가 지표(AEMs)와 LLM-as-a-judge 방식을 적용하여 그 성능을 조사했습니다. 연구 결과, AEMs와 LLM-as-a-judge 모두 전문가들의 창의성 평가와 낮은 상관관계를 보였으며, 특히 LLM-as-a-judge는 기계 번역에 유리하고 문화적으로 적절한 해결책에 패널티를 주는 체계적인 편향을 나타냈습니다. 이는 문학 번역 분야에서 현재 자동화된 평가 도구들이 가진 근본적인 한계를 보여줍니다.
5월 14일2
arXivAI 번역논문
Prefix Teach, Suffix Fade: 강력한 모델에서 약한 모델로의 On-Policy Distillation에서의 국소적 학습
본 연구는 강력한 Teacher 모델의 피드백을 사용하여 약한 Student 모델을 학습시키는 On-policy distillation(OPD) 과정에서, 전체 응답 시퀀스를 균일하게 감독하는 기존 가정이 항상 유효하지 않음을 보여줍니다. 특히 strong-to-weak 설정에서는 궤적 후반부 세그먼트가 Teacher-Student 이점을 보일지라도, Student의 학습 우선순위를 정할 국소적 대비(local contrast)가 부족하여 '국소적 학습 가능성 붕괴' 현상이 발생합니다. 이를 해결하기 위해, 본 연구는 Teacher의 마진을 측정하고 BIC 스타일의 하향 변화점 감지를 통해 조밀한 OPD 감독을 적절히 중단하는 '궤적 특화 해제 규칙(trajectory-specific release rule)'을 제안하며, 이는 다양한 벤치마크에서 기존 방식보다 우수한 성능과 Out-of-domain 능력 보존 능력을 입증했습니다.
5월 14일1