TimpaTeks: 확산 언어 모델 (Diffusion Language Model) 스티어링을 통한 자동 인플레이스 (In-place) 텍스트

요약

확산 언어 모델(DLM)의 활성화 스티어링을 활용하여 텍스트를 인플레이스(in-place)로 수정하는 TimpaTeks 메커니즘을 제안합니다. 문장 구조를 유지하면서 퍼플렉시티를 낮추고, 추가적인 시퀀스 생성 없이 디노이징을 수행하여 계산 효율성을 높였습니다.

핵심 포인트

• 확산 언어 모델(DLM)을 위한 활성화 스티어링 확장 연구
• 문장 구조를 유지하며 텍스트를 인플레이스로 수정하는 TimpaTeks 제안
• 지시어 튜닝 없이도 효과적인 개념 스티어링 가능
• 프롬프트 기반 방식 대비 낮은 계산 비용 및 높은 효율성