Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for
본 논문은 규칙 기반 필터링과 LLM 분류를 결합한 확장 가능한 자동 신조어 탐지 파이프라인을 제시합니다. 이 파이프라인은 문법적 및 비문법적 형태론에 기반하여 신조어의 범위를 정의하고, 2005년부터 2024년까지의 대규모 Reddit 코퍼스(5억 개 이상)를 활용했습니다. 그 결과, 1억 2천만 개의 토큰에서 1,021개의 유망한 신조어 후보군을 추출했으며, 이 중 상당수가 실제 언어적 혁신임이 확인되었습니다.
5월 8일10
arXivAI 번역논문
Cubit: Token Mixer with Kernel Ridge Regression
본 논문은 트랜스포머의 핵심 토큰 혼합 메커니즘인 어텐션이 Nadaraya-Watson 회귀로 해석될 수 있음을 밝히고, 이를 기반으로 새로운 아키텍처 Cubit을 제안합니다. Cubit은 Kernel Ridge Regression (KRR) 의 폐쇄형 해를 활용하여 기존의 어텐션 계산 방식을 수정하고, 커널 유사성 및 역행렬을 통한 정규화를 결합했습니다. 실험 결과에 따르면, Cubit은 특히 시퀀스 길이가 길어질수록 트랜스포머 대비 더 강력한 장거리 시퀀스 모델링 능력을 보여줍니다.
5월 8일14
arXivAI 번역논문
Invariant Features in Language Models: Geometric Characterization and Model
본 논문은 언어 모델(LLM) 내부에서 의미 정보가 어떻게 안정적으로 인코딩되는지 탐구하며, 이러한 '불변성'의 구조와 기원을 밝히는 것을 목표로 합니다. 연구진은 잠재 공간에 로컬 기하학적 프레임워크를 제안하여, 의미적으로 동등한 입력들이 특정 불변 부분공간을 형성한다고 가정합니다. 이를 통해 모델이 의미 변화(paraphrastic change) 중에도 핵심적인 의미 동일성을 보존하는 메커니즘을 기하학적으로 특성화하고, 이 불변 표현을 0-shot 모델 귀속에 적용하여 그 효과를 입증했습니다.
5월 8일11
arXivAI 번역논문
STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?
LLM 에이전트는 장기적인 개인화된 기억을 유지하는 것이 기대되지만, 기존 벤치마크는 새로운 증거로 인해 저장된 신념이 무효화되는 능력을 측정하지 못했습니다. 본 논문은 'Implicit Conflict(명시적 충돌)'라는 중요한 실패 모드를 식별하고, 이를 평가하기 위해 100개 이상의 주제와 최대 150K 토큰의 맥락을 포함하는 대규모 STALE 벤치마크를 소개합니다. 이 연구는 에이전트가 구식 상태를 감지하고 메모리를 능동적으로 업데이트하는 것이 어렵다는 것을 보여주었으며, 구조화된 상태 통합 및 전파 감지 검색을 통해 이를 개선할 수 있는 CUPMem 프로토타입도 제시했습니다.
5월 8일12
arXivAI 번역논문
PairAlign: Sequence Tokenization을 위한 Self-Alignment 프레임워크 및 오디오 토크나이제이션에 대한 응용
PairAlign은 오디오 토크나이제이션을 위한 새로운 자기 정렬(self-alignment) 프레임워크입니다. 기존 방식들이 로컬 할당에 의존하여 시퀀스 일관성이나 길이 제어에 취약했던 문제를 해결하기 위해, PairAlign은 토크나이제이션을 조건부 시퀀스 생성 문제로 접근합니다. 이 프레임워크는 자기회귀 디코더를 사용하여 토큰 정체성, 순서, 길이 등을 학습하며, 두 내용 보존 뷰 간의 상호 일관성을 강하게 유지하여 컴팩트하고 비퇴화적인 오디오 시퀀스를 생성할 수 있습니다.
5월 8일7
arXivAI 번역논문
The Frequency Confound in Language-Model Surprisal and Metaphor Novelty
언어모델(LM)의 놀라움(surprisal)은 문맥 예측 가능성의 좋은 대리 지표로 사용되어 왔으며 비유적 신비성 평가와 관련이 있다고 알려져 왔다. 그러나 본 연구는 surprisal이 단어 빈도수와 밀접하게 연관되어 있음을 밝혀내고, 두 가지 다른 단어 빈도 측정법을 사용하여 이 상호작용을 탐구했다. 분석 결과, 모든 설정에서 단어 빈도가 surprisal보다 비유적 신비성을 더 잘 예측했으며, LM의 학습 단계에 따른 놀라움-신비성 연관성은 시간이 지남에 따라 감소하는 경향을 보였다.
5월 8일13
arXivAI 번역논문
Long Context Pre-Training with Lighthouse Attention
본 논문은 극단적인 시퀀스 길이에서 인과 트랜스포머를 훈련할 때 발생하는 스케일된 점곱 주의(SDPA)의 시간 및 메모리 제약을 해결하기 위해 'Lighthouse Attention'이라는 새로운 계층적 주의 알고리즘을 제안합니다. 이 방법은 적응적 압축, 대칭 압축 전략을 통해 병렬성을 높이고, 쿼리, 키, 밸류를 동시에 풀링하여 효율성을 극대화했습니다. 또한, 대부분의 시간 동안 Lighthouse Attention으로 사전 훈련하고 짧은 과정으로 전체 주의 모델을 복원하는 2단계 훈련 접근법을 제시하여 성능과 속도를 모두 개선했습니다.
5월 8일15
arXivAI 번역논문
Efficient Pre-Training with Token Superposition
본 논문은 대규모 언어 모델(LLM)의 비효율적인 사전 학습 문제를 해결하기 위해 '토큰 중첩(Token Superposition, TST)'이라는 간단한 플러그인 방법을 제안합니다. TST는 기존의 병렬성, 옵티마이저 등 핵심 구성 요소를 변경하지 않으면서도 FLOPs당 데이터 처리량을 크게 향상시키는 것이 특징입니다. 이 방법은 연속된 토큰들을 하나의 '가방(bag)'으로 결합하여 훈련하고, 표준 훈련으로 복구하는 두 단계로 이루어지며, 실제 실험에서 최대 2.5배의 사전 학습 시간 단축 효과를 입증했습니다.
5월 8일16
arXivAI 번역논문
Automated Clinical Report Generation for Remote Cognitive Remediation:
본 논문은 원격 인지 재활 세션의 대량 상호작용 데이터로부터 자동화된 임상 보고서를 생성하는 두 가지 접근법(규칙 기반 템플릿 시스템과 LLM 기반 접근법)을 비교합니다. 연구는 이 두 시스템이 임상 신뢰성, 일관성, 그리고 언어적 유창성 측면에서 어떤 트레이드오프를 보이는지 평가했습니다. 결과적으로, 템플릿 기반 시스템은 구조화된 보고서 작성에 강점을 보였으나, LLM은 더 간결하고 자연스러운 출력을 생성하는 것으로 나타났습니다.
5월 8일11
arXivAI 번역논문
Algospeak, Hiding in the Open: The Trade-off Between Legible Meaning and
본 연구는 LLM 시대에 나타나는 '알고스피크(Algospeak)'라는 언어적 회피 전략의 근본적인 역동성을 공동 행동 모델로 공식화합니다. 핵심적으로, 알고스피크가 증가할수록 콘텐츠의 감지 가능성과 이해 가능성은 동시에 감소하는 트레이드오프 관계를 보여줍니다. 연구진은 '다수 이해 가능한 변조(MUM)' 개념을 도입하여, 회피적 변형이 감지를 피하더라도 대중에게는 의미 전달에 어려움을 겪게 되는 임계점을 정의합니다. 이를 검증하기 위해 COVID-19 가짜 뉴스 데이터셋을 구축하고, 다양한 언어 모델을 사용하여 해석 및 분류 테스트를 수행함으로써 이 역동성을 경험적으로 입증하는 재현 가능한 프레임워크를 제시했습니다.
5월 8일15
arXivAI 번역논문
Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep
본 논문은 대규모 언어 모델(LLMs)이 여러 웹 소스를 종합하여 생성하는 보고서에서 인용의 신뢰성을 체계적으로 평가할 수 있는 새로운 프레임워크를 제시합니다. 기존 RAG 방식은 출처 접근성, 관련성, 사실적 일관성을 검증하지 못하는 한계를 가집니다. 제안된 프레임워크는 인라인 인용을 추출하고, 링크 유효성(Link Works), 주제 적합성(Relevant Content), 그리고 소스 기반의 사실 확인(Fact Check) 세 가지 차원에서 평가를 수행합니다. 실험 결과에 따르면, 최신 모델들조차도 높은 수준의 링크 유효성을 보이지만, 사실적 정확성은 39%에서 77% 사이로 크게 떨어지는 불일치가 발견되었습니다. 또한, 검색 소스의 양이 증가할수록 오히려 인용의 사실적 정확도가 감소하는 현상도 확인되어, 단순한 정보 수집만으로는 신뢰성 확보가 어렵다는 점을 시사합니다.
5월 8일10
arXivAI 번역논문
LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG
LatentRAG는 복잡한 질문에 대응하는 에이전트형 검색 증강 생성(RAG)의 높은 추론 지연 시간을 해결하기 위해 제안된 새로운 프레임워크입니다. 기존 방식들이 자연어 사고와 서브쿼리를 토큰 단위로 명시적으로 생성하여 지연 시간이 길었던 것과 달리, LatentRAG는 숨겨진 상태에서 한 번의 전방 전달만으로 잠재 공간에 대한 사고 및 서브쿼리 토큰을 효율적으로 생성합니다. 이 접근 방식은 검색 과정과 LLM 추론 과정을 통합하고 병렬 잠재 해독 메커니즘을 통해 성능 저하 없이 지연 시간을 획기적으로 줄여, 에이전트형 RAG의 실용성을 크게 향상시킵니다.
5월 8일17
arXivAI 번역논문
Measuring Evaluation-Context Divergence in Open-Weight LLMs: A Paired-Prompt
본 논문은 언어 모델의 안전성 평가가 실제 배포 환경과 다를 수 있다는 문제점('평가 컨텍스트 분기')을 지적하고, 이를 측정하기 위한 'paired-prompt 프로토콜'을 제안합니다. 이 프로토콜은 오픈 웨이트 LLM들을 대상으로 평가 프레임워크와 실제 사용 시나리오(배포) 간의 행동 변화를 관찰했습니다. 연구 결과, 모델들은 특정 방향성으로 민감하게 반응하는 이질적인 패턴을 보였는데, OLMo-3-Instruct는 '평가 주의적(eval-cautious)'인 반면, Mistral, Phi-3.5, Llama-3.1 등은 '배포 주의적(deployment-cautious)'인 경향을 나타냈습니다.
5월 8일13
arXivAI 번역논문
Teaching Thinking Models to Reason with Tools: A Full-Pipeline Recipe for
본 논문은 도구 통합 추론(Tool-integrated reasoning, TIR)을 통해 기존의 텍스트 전용 모델이 가진 한계를 극복하고 사고 모델에 자연스러운 도구 사용 능력을 주입하는 종합적인 방법론을 제시합니다. 연구진은 SFT 단계에서 교사 궤적의 학습 가능성을 고려해야 하며, 도구 사용 비율 제어를 통해 핵심 추론 능력의 망각을 방지할 수 있음을 강조합니다. 또한, 최적화 목표를 손실 함수 대신 pass@k 및 응답 길이로 설정하고, 검증 가능한 보상(RLVR) 단계를 결합하여 오픈소스 모델에 최고 수준의 성능 향상을 달성하는 레시피를 소개했습니다.
5월 8일11
arXivAI 번역논문
MANTRA: SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents
MANTRA는 자연어 매뉴얼 및 도구 스키마를 기반으로 자동적으로 검증 가능한 준수 벤치마크를 생성하는 프레임워크입니다. 이 프레임워크는 절차적 의존성을 포착하는 기호 세계 모델과 SMT 해결을 사용하여 트레이스 수준의 일관성 검증을 수행합니다. MANTRA는 임의 도메인과 장기 절차 매뉴얼에 적용 가능하며, 기존 방식보다 더 풍부하고 강력한 제약 강제력을 가진 공식적으로 검증된 벤치마크를 제공하여 도구 사용 LLM 에이전트의 신뢰성 있는 평가를 가능하게 합니다.
5월 8일14
arXivAI 번역논문
L2 의성어 처리의 인지 노력 평가: 눈 추적 데이터셋 개발 및 검증
본 논문은 L2 학습자가 의성어를 처리할 때 발생하는 인지 노력을 측정하기 위해 눈 추적 데이터셋을 개발하고 검증했습니다. 이 데이터셋은 CEFR 레벨별 포르투갈어 모국어 화자에게서 수집된 눈 추적 지표를 포함하며, 언어 능력과 회귀 움직임 간의 관계를 보여주며 유효성을 입증합니다. 궁극적으로 이 자원은 인간의 비유적 이해 모델을 평가하고 대규모 언어 모델(LLM)이 인간적인 방식으로 정렬되는지를 측정하는 인지 기반 벤치마크로 활용될 수 있습니다.
5월 7일10
arXivAI 번역논문
의미적 투영을 통한 심리 상태 측정: 언어 기반 평가에 대한 이론 기반 접근
본 연구는 자연어로부터 심리 상태를 직접 측정하기 위해 이론 기반의 완전 무감독 프레임워크인 '의미적 투영(Semantic Projection)' 방법을 제안한다. 이 방법은 임상 척도에서 유래한 의미 축을 사용하여 참여자의 텍스트 응답을 임베딩하고, 이를 해당 의미 축에 투영하여 연속적인 심리 점수를 산출한다. 연구 결과, 이러한 투영 점수는 특히 구조화된 형식(선택 단어, 구문 등)의 텍스트에서 기존의 감독 모델 기반 측정과 비교하여 강력한 상관관계를 보였으며, 이는 언어 기반 정신 건강 평가에 해석 가능하고 확장 가능한 대안을 제시한다.
5월 7일11
arXivAI 번역논문
타지크어 POS 태그링 벤치마킹: 타지르스패럴 코퍼스 기반 신경망 구조 비교 연구
본 연구는 타지크어의 자동 명사부류(POS) 태그링에 대한 최초의 벤치마크를 제시하며, 고전 신경망 구조와 현대 다국어 트랜스포머 모델을 비교 분석했습니다. 약 44,000개의 단어로 구성된 TajPersParallel 코퍼스를 사용하여 실험을 진행했으나, 문맥 정보가 부족한 고립 단어 단위 분류라는 어려운 환경적 제약이 있었습니다. 테스트 결과, mBERT와 LoRA를 결합한 모델이 가장 우수한 성능을 보였으며, 모든 모델이 형태론적 모호성 해결에 어려움을 겪는 것으로 나타났습니다.
5월 7일9
arXivAI 번역논문
스위스 의회 의원 이념 예측을 위한 그래프 증강 LLM
본 연구는 스위스 의회 데이터를 활용하여 의원의 이념적 위치를 예측하기 위한 새로운 LLM 프레임워크, PG-RAG를 제안합니다. PG-RAG는 검색 증강 생성(RAG) 파이프라인을 기반으로 정치 지식 그래프(KG)에서 얻은 구조적 관계 정보를 텍스트 컨텍스트에 통합하는 것이 핵심입니다. 실험 결과, 이러한 그래프 증강 정보가 의원 간의 엔티티 및 관계를 포착함으로써 기존 모델 대비 이념 예측 성능을 유의미하게 향상시키는 것을 입증했습니다.
5월 7일9
arXivAI 번역논문
인도네시아 트위터의 이분법적 혐오 표현 감지: PyCaret AutoML 및 CNN-BiLSTM 비교 연구
본 논문은 인도네시아 트위터 데이터셋을 활용하여 이분법적 혐오 표현 감지에 대한 두 가지 접근 방식, 즉 PyCaret AutoML과 CNN-BiLSTM의 성능을 비교합니다. 연구는 전통적인 TF-IDF 및 사전 기반 카운팅을 사용하는 모델링 분지와 밀도 토큰 학습 및 양방향 문맥 포착에 중점을 둔 신경망 분지를 비교했습니다. 그 결과, CNN-BiLSTM이 높은 정확도(83.8%)와 F1 점수(81.2%)를 달성하며 가장 우수한 성능을 보였고, 이는 전통적인 모델 대비 상당한 개선임을 입증합니다.
5월 7일8