대화 생성기는 모두 같은 것(다시 요청하는 것)을 수행하지만 다른 형용사를 사용하여 다섯 가지 세련된 대안을 만들어낼 수 있습니다. 만약 작문 도구가 이들을 “더 극적이다”라고 라벨링한다면, 유창성(fluency)은 실제로 측정하지 않은 변화를 대신하는 지표가 되어버린 것입니다.
여기서는 단어 선택의 변경과 전술적 변경을 분리하기 위한 소규모의 인간 검토 평가 워크플로우를 소개합니다. 이는 벤치마크 결과나 특정 제품 구현에 대한 주장이 아닌, 제안된 테스트 설계입니다.
관찰 가능한 차이점부터 시작하기
가상의 장면을 사용해 봅시다. Mara는 사무실 마감 시간 전에 동료 Eli에게 이체 요청서에 서명을 받아야 합니다. Eli는 자신이 끝내지 못한 업무를 누가 인계받게 될지 알고 싶어 합니다.
원문 대사: “5시 전에 사인해주세요.”
후보 A: “정말 5시 전에 당신의 사인이 필요해요.”
후보 B: “만약 제가 금요일 인계를 맡는다면, 지금 서명해 주실 수 있나요?”
후보 C: “이사님이 이미 승인하셨어요. 당신 때문에 모두가 지연되고 있어요.”
A는 요청을 강화합니다. B는 거래를 제안합니다. C는 권위를 언급하고 압력을 가하지만, 그 사실이 장면 안에 이미 존재하지 않는 한 승인을 가정해냅니다. 전술적 변화가 자동으로 수용 가능한 재작성(rewrite)은 아닙니다.
1. 검사하기에 충분히 작은 틀 만들기
원본 대화, 알려진 사실, 요청된 변경 사항을 함께 유지합니다. 예를 들면:
{
"goal": "Mara가 Eli에게 5시 전 서명을 받기를 원함",
"known_facts": [
...
누락된 정보를 거짓 확신으로 바꾸지 마세요. “알 수 없음(Unknown)”은 평가자가 새로운 주장을 확립된 사실로 받아들이지 않아야 함을 의미할 뿐, 그 주장이 반드시 거짓이라는 것을 의미하지는 않습니다.
2. 품질 점수가 아닌 증거를 요청하기
유용한 검토 기록에는 네 가지 필드가 있습니다:
- 관찰된 전술(Observed tactic): 화자가 상대방에게 무엇을 하도록 유도하려 하는지, 그리고 어떻게 하는지?
- 증거(Evidence): 그 해석을 뒷받침하는 정확한 단어를 인용하세요.
- 새로운 약속 또는 사실(New commitments or facts): 재작성이 무엇을 추가했나요?
- 결정(Decision): 수락(Accept), 수정(revise), 혹은 불확실(uncertain) — 하나의 이유와 함께.
B의 경우 증거는 “금요일 인수인계를 받으면요.”입니다. 추가된 약속은 명확하며 상황 설정(fixture)에 의해 뒷받침됩니다. 이는 유지할 만한 합리적인 후보이지, 좋은 장면을 입증하는 것은 아닙니다. Eli의 응답 역시 극적으로 말이 되어야 합니다.
C의 경우 권위적 전술(authority tactic)은 보이지만, 승인 근거가 부족합니다. 더 강한 어조에 보상하기보다는 이를 별도로 표시해야 합니다.
3. 대비 쌍을 이용해 평가 모델 테스트하기
리뷰어 모델에 의존하기 전에, 유창한 답변이 반드시 이겨야 하는 것이 아닌 쌍(pair)들을 포함하세요:
- 동일한 요청이지만 감정적인 어조를 강화한 경우.
- 진짜 거래와 관련 없는 새로운 제안 간의 비교.
- 사실을 유지하는 전술 변화와 레버리지를 지어내는 전술 변화 간의 비교.
- ‘불확실함(uncertain)’이 적절한, 두 가지 그럴듯한 해석을 가진 간접적인 대사.
사람이 먼저 이 쌍들을 라벨링하게 하세요. 모델의 증거와 결정을 이러한 판단과 비교하세요. 사람들이 의견이 다르면, 그것을 하나의 참조 라벨 뒤에 숨기지 말고 차이점을 보이도록 유지해야 합니다.
이것은 질적 테스트 세트입니다. 몇 가지 예시만으로도 통과율(pass percentage)이 증거가 마땅히 받아야 할 것보다 더 많은 확신을 줄 수 있습니다. 대신 구체적인 실패 모드(failure modes)를 기록하세요: 근거 없는 레버리지, 전략으로 오해된 패러프레이즈, 또는 확실한 것으로 취급된 모호한 서브텍스트.
자동화가 멈춰야 할 지점
단순 코드는 필수 필드가 존재하는지 여부만 확인할 수 있습니다. 캐릭터의 제안이 정직하게 느껴지는지, 놀라운지, 혹은 극적으로 적절한지를 판단할 수는 없습니다. 두 번째 모델은 해석을 제시할 수 있지만, 첫 번째 모델이 장면을 개선했다는 독립적인 증거가 되지는 못합니다.
최종 리뷰 질문은 작가의 몫입니다: 상대방 캐릭터에게 답변할 다른 이유가 생겼는가?
공개: 저는 Laper에서 작업하고 있습니다. 이 기사는 편집 계정을 위해 AI로 생성되었습니다. 위의 상황 설정과 평가 워크플로는 예시일 뿐이며, 출시된 Laper 기능이나 측정된 결과를 설명하는 것은 아닙니다.
파이프라인으로 확장하기 전에 하나의 교환(exchange)에서 테스트해 보세요. 모든 대안이 듣는 사람에게 동일한 선택지를 제공한다면, 단어의 다양성을 생성했을 뿐이지 행동의 다양성은 아닐 수 있습니다.