Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
관용구의 분해 가능성 가설 재고: 분포 학습(Distributional Learning)을 통한 증거
본 연구는 언어 모델을 통해 관용구의 분해 가능성과 통사적 유연성 사이의 관계를 분석합니다. 실험 결과, 관용구의 안정화는 단순 빈도보다 분해 가능성이 더 강력한 영향을 미친다는 것을 입증했습니다.
6월 3일0
arXiv논문
동적 단기 컨볼루션(Dynamic Short Convolutions)을 통한 Transformer 성능 향상
Transformer 아키텍처의 성능을 높이기 위해 입력 의존적 필터를 사용하는 동적 단기 컨볼루션(Dynamic Short Convolutions)을 제안합니다. 이 방식은 국소성 편향을 유지하면서 표현력을 높여 연상 회상 작업과 언어 모델링 성능을 크게 향상시킵니다.
6월 3일0
arXiv논문
시각적 지시어 튜닝(Visual Instruction Tuning)은 추상화를 통해 모달리티를 정렬한다
시각적 지시어 튜닝이 LLM의 중간 의미론적 레이어에 시각적 특징을 어떻게 임베딩하고 정렬하는지 분석합니다. 연구 결과, 튜닝은 초기 레이어를 우회하여 중간 레이어를 시각-언어 처리의 핵심으로 활용하며, 이를 통해 효율적인 멀티모달 통합이 가능함을 입증했습니다.
6월 3일0
arXiv논문
RealClawBench: 실제 개발자-에이전트 세션으로부터 구축된 라이브 OpenClaw 벤치마크
실제 개발자와 에이전트 간의 세션을 반영한 새로운 벤치마크 프레임워크인 RealClawBench를 소개합니다. 재구성된 실행 환경과 결정론적 검증 메커니즘을 통해 실제 워크로드의 복잡성을 자동화된 평가로 전환합니다.
6월 3일0
arXiv논문
Masked Diffusion Language Models에서의 지식 편집 (Knowledge Editing)
본 연구는 Masked Diffusion Models(MDMs)에서의 지식 편집 가능성을 탐구합니다. 기존의 '위치 파악 후 편집' 방식이 MDM에서도 유효한지 분석하며, 다중 토큰 편집 시 발생하는 성능 저하 원인을 규명하고 이를 해결하기 위한 교정 방법을 제안합니다.
6월 3일0
arXiv논문
추론 모델을 위한 가치 인지형 확률적 KV 캐시 제거 (Value-Aware Stochastic KV Cache Eviction)
추론 모델의 긴 출력으로 인한 메모리 병목을 해결하기 위해 가치 인지형 확률적 KV 캐시 제거 방식인 VaSE를 제안합니다. VaSE는 크기가 큰 가치 상태를 보호하고 확률성을 도입하여 기존 방식보다 높은 정확도와 압축 효율을 제공합니다.
6월 3일0
arXiv논문
Skill-RM: 에이전트 기술(Agent Skill)을 통한 이기종 평가 기준의 통합
Skill-RM은 이기종 평가 기준을 통합하기 위해 보상 모델링을 재사용 가능한 '에이전트 기술'로 재정의하는 새로운 프레임워크입니다. 보상 계산을 구조화된 에이전트 작업으로 처리하여 다양한 증거를 동적으로 선택하고 집계함으로써 기존 모델보다 뛰어난 성능을 보여줍니다.
6월 3일0
arXiv논문
IWSLT 2026 제출용: 동시 음성 번역을 위한 소형 오프라인 모델
IWSLT 2026 제출을 위해 개발된 Canary 모델은 AlignAtt 정책을 활용하여 동시 음성-텍스트 번역을 구현합니다. 1B 파라미터 규모의 소형 모델임에도 불구하고 저지연 및 고지연 환경 모두에서 기존 베이스라인 대비 뛰어난 번역 품질을 보여줍니다.
6월 3일0
arXiv논문
뉴런 집단은 규모에 따라 분산된 선택성을 나타낸다
신경망 내 Rosetta Neurons가 모델 규모에 따라 어떻게 진화하는지 분석한 연구입니다. 모델 크기가 커질수록 Rosetta Neurons의 절대적 수는 늘어나지만 비율은 줄어들며, 더욱 선택적이고 단일 의미적인 특성을 갖는 양극화 현상이 나타납니다.
6월 3일0
arXiv논문
언어 모델은 숫자 특화 및 단위 특화 휴리스틱을 사용하여 수량을 비교한다
언어 모델이 측정 단위가 포함된 수량을 비교할 때 사용하는 휴리스틱 메커니즘을 분석한 연구입니다. 모델은 수치를 공통 척도로 변환하기보다 숫자와 단위의 차이를 이용한 체계적인 오류를 범하는 경향이 있음이 밝혀졌습니다.
6월 3일0
arXiv논문
중국어 일반 명칭 및 CITES 출처 링크를 포함한 교차 도메인 열대 종 데이터셋
열대 식물, 수생 생물, 반려동물 등 41만여 종을 아우르는 교차 도메인 데이터셋을 소개합니다. GBIF와 NCBI 등 다양한 생물 다양성 인프라를 결합하였으며, 중국어 일반 명칭과 CITES 출처 정보를 포함한 독창적인 레이어를 제공합니다.
6월 3일0
arXiv논문
PsychoPass: 다회차 적대적 LLM 대화의 기하학적 프로파일링
다회차 탈옥 공격을 대화 궤적의 기하학적 구조로 분석하는 PsychoPass 프레임워크를 제안합니다. 임베딩 공간 내의 기하학적 특징을 통해 유해 콘텐츠 생성 전 공격 의도를 조기에 예측할 수 있음을 입증했습니다.
6월 3일0
arXiv논문
FederatedSkill: 에이전트 기술 진화를 위한 연합 학습 (Federated Learning)
FederatedSkill은 프라이버시를 보호하면서 에이전트의 기술 라이브러리를 진화시키는 연합 학습 프레임워크입니다. 시맨틱 기술 차이(semantic skill diffs)를 활용해 사용자 간 데이터 병목을 해결하고 개인화된 기술 진화를 지원합니다.
6월 3일0
arXiv논문
HyperPatch: n-ary 구조적 드리프트 하에서의 순차적 지식 편집
n-ary 구조의 지식 편집 시 발생하는 구조적 드리프트 문제를 해결하기 위한 HyperPatch 프레임워크를 제안합니다. 하이퍼그래프 신경망과 위상 LoRA 적응 기술을 통해 복잡한 관계의 무결성을 유지하며 지식을 업데이트합니다.
6월 3일0
arXiv논문
GLINT: 미세한 방사선학적 표현을 위한 희소 게이트 기반 시각-언어 정렬
GLINT는 의료 영상의 미세한 소견을 정확히 포착하기 위해 희소 게이트 기반의 시각-언어 정렬 프레임워크를 제안합니다. 텍스트 쿼리와 관련된 특정 패치만을 활성화하여 정밀한 지역화와 세그멘테이션을 가능하게 합니다.
6월 3일0
arXiv논문
대규모 언어 모델(LLM)에서의 어휘 정렬 및 선호도 단계 변화의 완전 자동 식별
LLM의 어휘 정렬 불일치 문제를 수동 큐레이션 없이 자동으로 식별하는 두 가지 새로운 평가 지표를 제안합니다. Lexical Alignment Score와 Triangulated Preference Shift를 통해 특정 단어의 과다 사용과 인간 선호도 학습 간의 상관관계를 정량화합니다.
6월 3일0
arXiv논문
음성-음성 번역 (Speech-to-Speech Translation) 모델 벤치마킹
음성-음성 번역(S2ST) 모델의 통일된 평가를 위한 벤치마킹 프레임워크인 COMPASS를 제안합니다. 46개의 지표를 통합하여 아키텍처별 강점을 체계적으로 비교하며, 효율적인 평가를 위한 지표 최적화 방안을 제시합니다.
6월 3일0
arXiv논문
SenseJudge: 인간 중심의 선호도 기반 판단 프레임워크
기존 LLM 판사 모델의 고정된 선호도 한계를 극복하기 위해 인간 중심의 맞춤형 판단 프레임워크인 SenseJudge와 벤치마크 SenseBench를 제안합니다. 실험 결과, SenseJudge는 개인화된 판단과 모델 순위 매기기 작업에서 인간의 선호도와 높은 일치성을 보이며 우수한 성능을 입증했습니다.
6월 3일0
arXiv논문
MemTrain: 자기지도 학습 기반의 컨텍스트 메모리 학습
MemTrain은 LLM 에이전트의 컨텍스트 메모리 능력을 향상시키기 위한 자기지도 학습 프레임워크입니다. Wikipedia 코퍼스를 활용한 두 가지 프록시 태스크를 통해 메모리 유지와 충실한 압축을 유도하며, 기존 방식 대비 뛰어난 성능 향상을 입증했습니다.
6월 3일0
arXiv논문
아프리카 언어 NLI 평가의 샘플 크기 스케일링 (Sample-Size Scaling)
AfriXNLI 벤치마크를 통해 16개 아프리카 언어의 NLI 성능과 샘플 크기 간의 관계를 연구했습니다. 데이터 양이 늘어남에 따라 성능이 항상 비례하여 증가하지 않으며, 언어별로 조기 포화나 성능 저하가 나타나는 비단조적 스케일링 특성을 발견했습니다.
6월 3일0