Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
ConsisGuard: LLM 가드레일에서 안전성 숙의와 정책 집행의 정렬
LLM 가드레일에서 추론 과정과 실제 결정 사이의 불일치인 '숙의-집행 격차'를 해결하기 위한 ConsisGuard 프레임워크를 제안합니다. 정책-결정 궤적 증류와 기능적 결합 정렬을 통해 안전 정책의 충실한 실행을 보장합니다.
6월 1일0
arXivAI 번역논문
GRKV: 긴 컨텍스트 LLM을 위한 학습 불필요 KV 캐시 압축용 전역 회귀 (Global Regression)
GRKV는 긴 컨텍스트 LLM의 메모리 오버헤드를 줄이기 위한 학습 불필요(training-free) KV 캐시 압축 방법론입니다. 리지 회귀를 활용해 제거된 토큰의 정보를 유지된 토큰에 분산시켜, 기존 스팬 기반 방식의 과도한 병합 문제를 해결합니다.
6월 1일0
arXivAI 번역논문
TSM-Bench: 실제 Wikipedia 편집 관행에서의 LLM 생성 텍스트 탐지
Wikipedia의 실제 편집 사례를 반영한 새로운 LLM 생성 텍스트 탐지 벤치마크인 TSM-Bench를 소개합니다. 기존 탐지기들이 특정 작업 중심의 기계 생성 텍스트를 식별하는 데 어려움을 겪으며 정확도가 크게 하락함을 입증했습니다.
6월 1일0
arXivAI 번역논문
저자원 언어를 위한 위키피디아 기반 다국어 및 교차 언어 인용 필요성 탐지
저자원 언어를 위한 다국어 인용 필요성 탐지(CND) 코퍼스인 MCN을 소개합니다. 연구 결과, 특정 작업에 미세 조정된 소형 언어 모델(SLM)이 프롬프트를 사용하는 대규모 언어 모델(LLM)보다 저자원 언어 환경에서 더 우수한 성능을 보였습니다.
6월 1일0
arXivAI 번역논문
EvoDefense: 대규모 언어 모델(LLM)을 활용한 공동 진화형 블랙박스 방어 기법
EvoDefense는 블랙박스 환경에서 LLM을 보호하기 위한 경험 유도형 공동 진화 방어 기법입니다. 가드 LLM과 경험 메모리 모듈을 통해 공격과 방어 전략을 지속적으로 개선하며, 재학습 없이도 미지의 공격에 효과적으로 대응합니다.
6월 1일0
arXivAI 번역논문
누구를 신뢰할 것인가를 학습하기: 이벤트 기반 금융 RAG를 위한 Frozen LLM의 시장 피드백 적응형 검색
금융 RAG 시스템에서 LLM을 동결한 상태로 외부 베이지안 소스 메모리를 활용해 검색 성능을 최적화하는 연구를 소개합니다. 시장 피드백을 통해 검색 계층을 적응시킴으로써 뉴스 및 공시 데이터 기반의 수익률 예측 성능과 샤프 지수를 크게 향상시켰습니다.
6월 1일1
arXivAI 번역논문
Mellum2 기술 보고서
Mellum 2는 소프트웨어 엔지니어링에 특화된 12B 규모의 오픈 웨이트 MoE 언어 모델입니다. 2.5B의 활성 파라미터만 사용하여 효율적인 추론이 가능하며, 코드 생성, 다단계 추론, 도구 사용 능력이 뛰어납니다.
6월 1일0
arXivAI 번역논문
풍력 터빈 유지보수 로그 레이블링 프레임워크: 신뢰성 인텔리전스의 의미론적 추출을 통한 LLM 기반 데이터 교정 및 강화
풍력 터빈의 비정형 유지보수 로그를 LLM을 활용해 체계적으로 구조화하는 새로운 방법론을 제시합니다. 9년간의 데이터를 바탕으로 모델 불가지론적 프레임워크를 통해 고장 모드와 조치 사항을 자동 분류하고 데이터 품질을 강화합니다.
6월 1일0
arXivAI 번역논문
원칙적인 샘플 선택을 통한 효율적인 LLM 어닐링(Annealing)을 향하여
LLM 사전 학습의 최종 단계인 어닐링 과정에서 효율적인 데이터 선택을 위한 새로운 프레임워크 DiReCT를 제안합니다. 손실 경관의 스펙트럼 기하학을 활용하여 그래디언트 업데이트의 방향성 제약 조건을 충족하는 샘플을 식별함으로써 모델 성능을 최적화합니다.
6월 1일0
arXivAI 번역논문
MuPHI: 의미론적으로 근거를 둔 보상 최적화를 통한 암시적 멀티모달 유해성 추론 학습
기존 VLM이 놓치기 쉬운 암시적 멀티모달 유해성을 탐지하기 위한 새로운 데이터셋 MuPHI와 학습 프레임워크 MuPHIRM을 제안합니다. 다각적 보상 최적화를 통해 모델의 추론 능력과 분포 외 강건성을 동시에 향상시킵니다.
5월 29일1
arXivAI 번역논문
연속 변수에 대한 인과적 개입: 인컨텍스트 러닝 (In-Context Learning)을 위한 스티어링 벡터 (Steering
언어 모델의 이산적 특징을 넘어 연속 변수에 대한 인과적 개입 방법을 제안합니다. 스티어링 벡터를 통해 동사 편향과 같은 등급이 매겨진 특징을 편집할 수 있음을 입증하며, 인컨텍스트 러닝과의 연관성을 분석합니다.
5월 29일0
arXivAI 번역논문
교차 언어 토크나이저 수술 및 오프라인 증류를 통한 다국어 임베딩 모델의 터키어 적응
터키어 특화 문장 임베딩 모델인 embeddingmagibu-200m을 제안하는 논문입니다. 교차 언어 토크나이저 수술과 오프라인 증류를 활용한 3단계 파이프라인을 통해 효율적인 적응 방식을 선보입니다.
5월 29일0
arXivAI 번역논문
MIC: 등방성 부분 공간 정렬을 통한 적응형 표현의 정보 용량 극대화
MIC는 멀티 스케일 표현 학습에서 발생하는 차원 중복과 스펙트럼 붕괴 문제를 해결하기 위한 새로운 프레임워크입니다. 등방성 부분 공간 정렬을 통해 정보 용량을 극대화하며, 고압축 시나리오에서 탁월한 성능을 보여줍니다.
5월 29일0
arXivAI 번역논문
대규모 언어 모델(LLM)의 잠재적 성능 프로파일링
기존 벤치마크 중심 평가의 한계를 극복하기 위해 모델의 내부 활성화와 출력 분포를 분석하는 '잠재적 성능 프로파일링(LPP)' 프레임워크를 제안합니다. LPP는 모델의 잠재 표현과 역학을 통해 표면적인 정확도를 넘어 모델의 내재적 특성과 취약성을 진단합니다.
5월 29일0
arXivAI 번역논문
정렬을 유지하면서 다양성 회복하기: 사후 학습된 LLM을 위한 DPO 레시피
사후 학습 과정에서 LLM의 출력 다양성이 감소하는 문제를 해결하기 위한 새로운 DPO 데이터 구축 파이프라인인 REDIPO를 제안합니다. REDIPO는 정렬 성능을 유지하면서도 베이스 모델의 다양한 응답을 재구성하여 모델의 응답 다양성을 효과적으로 회복합니다.
5월 29일0
arXivAI 번역논문
공간을 확보하라! 인코더 내 위치 및 의미 표현의 명시적 분리
Transformer 인코더 내에서 위치 정보와 의미 정보가 혼재되는 문제를 해결하기 위해 이를 세 가지 스트림으로 명시적으로 분리하는 연구를 제안합니다. 이 디커플링 방식을 통해 위치 신호와 의미 신호의 서브스페이스를 분리함으로써 언어적 표현력을 향상시켰습니다.
5월 29일0
arXivAI 번역논문
대규모 오디오-언어 모델(LALM)에서의 오디오 탈옥: 분류 체계, 공격-방어 분석 및 비용 인지 평가
대규모 오디오-언어 모델(LALM)의 탈옥 위험을 체계적으로 분석한 연구입니다. 의미론적, 음향적, 신호적 공격 유형을 분류하고, 10개의 오픈 소스 모델을 대상으로 공격 성공률과 방어 성능을 실증적으로 평가했습니다.
5월 29일0
arXivAI 번역논문
토큰 인플레이션: 부정직한 제공자가 대규모 언어 모델 (LLM) 사용료를 과다 청구하는 방법
LLM의 토큰당 과금 방식에서 제공자가 토큰 수를 조작하여 과다 청구할 수 있는 취약성을 분석합니다. 현재의 감사 방식은 제공자가 제공하는 데이터에 의존하는 '신뢰의 역설' 문제를 안고 있으며, 이를 해결하기 위해 암호학적 증명 등의 새로운 검증 체계가 필요함을 제안합니다.
5월 29일0
arXivAI 번역논문
기계에게 가치관 가르치기: LLM에서의 인간과 유사한 행동 시뮬레이션
본 연구는 심리학적 가치 이론을 활용하여 LLM이 인간과 유사한 가치 구조를 준수하며 행동할 수 있는지 평가합니다. 대규모 실험 결과, 가치 프롬프트가 적용된 LLM은 인간의 가치 분포 및 행동 패턴과 강력한 일치성을 보였습니다.
5월 29일0
arXivAI 번역논문
REPOT: 체크포인트 수리를 통한 복구 가능한 사고 프로그램 (Recoverable Program-of-Thought)
RePoT는 Program-of-Thought(PoT)의 실행 오류를 해결하기 위해 체크포인트 기반의 복구 메커니즘을 제안합니다. 첫 번째 무효한 동작 발생 시 검증된 접두사부터 재개하여 단 한 번의 추가 호출로 높은 복구 성능을 달성합니다.
5월 29일0