이동 가능한 쿼리 생성을 위한 보상 신호 설계: 산업용 시맨틱 채용 검색 사례 연구

채용 검색 플랫폼은 후보자 프로필의 고차원적 복잡성을 포착하지 못하는 경우가 많은 저대역폭 쿼리 인터페이스에 의존합니다. 본 연구에서는 일반화 가능한 자격 요건을 보존하면서 구직자 특유의 식별자를 추상화하는 용어인, extit{이동 가능한 (portable)} 채용 검색 쿼리를 생성하기 위한 엔드 투 엔드 RLAIF (AI 피드백을 통한 강화학습 (Reinforcement Learning from AI Feedback)) 프레임워크를 제시합니다. 이 작업은 정책 최적화(policy optimization)가 LLM-as-judge 루브릭(rubrics)의 결함을 빈번하게 악용하여, 문구 그대로를 복사하는 퇴보적인 행동(degenerate verbatim-copying behaviors)을 초래하는 매우 적대적인 보상 표면(adversarial reward surface)을 도입합니다. 우리는 구조화된 보상 엔지니어링(reward engineering)에 대비하여 최적화 메커니즘의 영향을 격리하기 위해 포괄적인 실증 실험을 수행했습니다. 우리의 결과는 비판자 없는 최적화 도구(critic-free optimizers)의 경우, 성능이 견고한 보상 형성(reward shaping)에 의해 압도적으로 결정되며, 특정 알고리즘의 선택은 대체로 무의미하다는 것을 보여줍니다. 비판자가 없는 per-rollout 베이스라인 방법들(RLOO 및 REINFORCE++)은 본질적으로 보상 해킹(reward-hacking)에 저항하는 반면, GRPO의 그룹 상대적 이득 정규화(group-relative advantage normalization)는 가짜 보상 신호(spurious reward signals)에 유독 민감하게 반응하여 악용에 불균형적으로 취약한 것으로 나타납니다. 우리는 문구 그대로 복사하는 것에 할당된 보상을 수정하기 위해 결정론적이고 규칙 기반인 보상 하한선(reward floor)을 도입함으로써 이러한 실패 모드를 완화할 수 있음을 보여주며, 그 결과 교차 패밀리 평가 판사(cross-family evaluation judge)에서 $+0.147$의 상당한 품질 향상을 달성했습니다. 궁극적으로, 우리는 훈련 시간의 보상 모델이 성능 이득을 $2.4 imes$ 부풀린다는 것을 보여주며, 훈련의 성공이 대안적인 최적화 도구를 선택하는 것보다 보상 형성 규율을 강제하는 것에 근본적으로 의존한다는 것을 확인했습니다.