고정된 문장 임베딩(Frozen Sentence Embedding)에서 복잡도 조건화(Complexity Conditioning)가 도움이

일반적인 직관은 문장 임베딩(Sentence Embeddings)이 입력의 난이도에 적응해야 한다는 것입니다. 우리는 통제된 멀티 시드(Multi-seed) 환경에서 이 직관을 테스트합니다. 경량화된 포스트 인코더 어댑터(Post-encoder adapter)를 고정된 Qwen3-Embedding-0.6B 인코더에 부착하여, 오직 최종 풀링된 임베딩(Final pooled embedding)에만 접근하도록 설계하였으며, 네 가지 의역(Paraphrase) 및 의미적 유사도(Semantic-similarity) 태스크(PAWS, MRPC, QQP, STS-B)를 통해 평가했습니다.

이 아이디어의 단순한 형태는 실패했습니다. 표면 기반의 문장별 복잡도(Per-sentence complexity)는 고정된 베이스라인(Frozen-baseline) 오차와 거의 상관관계가 없으며(Pearson 상관계수 약 0.05), 상수(Constant) 또는 셔플(Shuffled) 대조군보다 나은 점을 제공하지 못할 뿐만 아니라, 이미 포화 상태인 베이스라인의 성능을 저하시킵니다. 타겟이 비원형(Non-circular) 쌍 난이도(Pair-difficulty) 신호에 정렬되어 있는 경우에도, 문장별 게이트(Per-sentence gate)는 여전히 난이도를 안정적으로 포착할 수 없는데, 이는 난이도가 개별 문장이 아닌 주로 쌍(Pair)의 속성이기 때문입니다.

이와 대조적으로, 홀드아웃 크로스 인코더(Held-out cross-encoder) 난이도 신호에 의해 게이팅되는 작은 쌍 수준 잔차(Pair-level residual)는 STS-B에서 +0.022 Spearman, QQP에서 +0.037의 성능 향상을 포함하여, 더 크고 등급이 매겨진(Graded) 태스크에서 일관된 이득을 얻었으며, 모든 시드에 걸쳐 고정된 베이스라인을 유지했습니다. 이러한 유용한 형태는 개별 문장이 아닌 문장 쌍(Sentence pairs)에서 작동하기 때문에, 결과 모델은 단일 벡터 임베딩(Single-vector embedding)의 대체재가 아니라 캐시된 고정 임베딩(Cached frozen embeddings)에 대한 경량 리랭커(Lightweight re-ranker)로 이해하는 것이 가장 적절합니다. 우리는 SOTA(State-of-the-art)를 주장하지 않습니다. 우리의 기여는 난이도 인식 적응(Difficulty-aware adaptation)이 언제 도움이 되고 언제 실패하는지에 대한 통제된 설명과 함께, 가용 가능한 헤드룸(Headroom)을 예측하는 사전 학습 진단(Pre-training diagnostic)을 제공하는 것입니다.