TL;DR

• 지난 기사에서 다룬 「역할 라벨 + 평가 기준 명시」라는 조건 설정(Conditioning)은, 평가 대상이 하나의 문서에서 여러 개의 슬라이드(항목)로 늘어나도 유효하게 작동한다. 다만 대상을 늘릴수록, 한 번의 지시로 동시에 평가하게 하는 항목 수라는 새로운 변수가 지적의 질에 영향을 미치기 시작한다.
• 동시에 평가하는 항목 수가 일정 수준(이번 관측에서는 대략 5개 정도)을 초과하면, 후반부 항목에 대한 지적이 "특별한 문제 없습니다"와 같은 무난한 코멘트로 수렴하기 쉬워졌다. 문서 내의 위치가 아니라, 동시에 처리를 요구받은 항목의 수 자체가 희박화(Dilution)의 요인이 되고 있다고 생각된다.
• 각 항목에 전달하는 입력(슬라이드의 요점)을 너무 압축하면, 비판자 역할이 지적할 수 있는 재료 자체가 줄어든다. 비판적인 지적은 입력에 포함된 정보량을 상한으로 생성되기 때문에, 요점의 압축은 지적의 깊이와 트레이드오프(Trade-off) 관계에 있다.
• 여러 항목을 묶어서 평가하게 할 경우, 출력의 대응 관계(어떤 지적이 어떤 항목의 것인지)를 모델의 생성 순서에 맡기면 자료의 순서와 어긋날 수 있으므로, 항목 번호를 출력 형식으로 명시적으로 요구할 필요가 있다.

배경

지난 기사에서는 기획서·제안서라는 단일 문서를 「이해자」, 「비판자」라는 2가지 역할로 리뷰하게 하고, 역할 라벨뿐만 아니라 평가 기준까지 명시함으로써 지적의 질이 변한다는 것을 확인했다. 이번에는 이 기술을 단일 문서가 아닌 「슬라이드 1장당 요점」이라는 여러 항목의 리스트에 적용했다. 목적은 자료 전체를 한 번에 보여주면 "전체적인 흐름은 좋습니다"라는 총평으로 치우쳐져, 개별 슬라이드가 가진 약점이 묻혀버리는 문제를 해결하는 것이었다.

실제로 4장 구성의 기획서 요점을 슬라이드 번호와 함께 정리하여 던져본 결과, 의도대로 "4번째 슬라이드만 효과 측정 기준이 느슨하다"라는 개별적인 약점을 찾아낼 수 있었다. 반면, 같은 방법을 10장 이상의 슬라이드로 확장했을 때는 6번째 슬라이드 이후부터 지적이 갑자기 얕아지는 현상이 나타났으며, 이는 지난 기사들에서 다루었던 조건 설정의 문제와는 다른, 새로운 변수에 의한 것이라고 판단되었다.

원리 1: 역할 + 평가 기준의 조건 설정은 항목 수가 늘어나도 유효하지만, 독립된 변수는 아니다

이전에 확립한 「역할 라벨뿐만 아니라 평가 기준을 명시한다」는 조건 설정은, 대상이 하나의 문서이든 여러 항목(슬라이드)의 집합이든 지적의 질을 높이는 효과 자체는 유지되었다. 이해자·비판자 각각에게 「무엇을 기준으로 볼 것인가」를 전달함으로써, 항목별 지적이 총평적인 말투가 아닌 구체적인 내용으로 기울었기 때문이다. 다만, 이 조건 설정은 「동시에 몇 개의 항목을 평가하게 할 것인가」라는 별개의 변수와 독립적으로 작용하는 것은 아니었으며, 후술할 항목 수의 영향을 덮어쓸 만큼 강력하지는 않았다.

원리 2: 동시 평가 항목 수가 임계치를 넘으면, 후반부 항목에 대한 지적이 균질화된다

한 번의 지시로 여러 항목을 묶어서 평가하는 태스크에서는, 모델이 각 항목에 할당하는 생성상의 「주의(Attention)」나 구체성이 항목 수의 증가와 함께 희박해지는 경향이 나타났다. 이번 관측에서는 4개 항목 정도까지는 각 항목에 구체적인 지적이 붙었으나, 10개 항목을 넘어서는 시점부터 후반부 항목의 지적이 "문제 없습니다"와 유사한 짧은 정형문으로 수렴하기 쉬워졌다. 이는 이전 기사에서 다루었던 「Lost in the Middle」(긴 문장 중 위치에 따라 참조 정밀도가 떨어지는 현상)과 유사한 메커니즘이지만, 이번 독립 변수는 문서 내의 위치가 아니라 한 번의 지시에 동시에 포함된 평가 대상의 개수이다. 실무적인 대책으로서 항목 수가 어느 정도를 초과하는 경우에는 한 번의 지시에 포함할 항목을 5개 전후로 나누어 여러 번에 걸쳐 전달함으로써 지적의 밀도를 유지할 수 있었다.

원리 3: 입력 측의 정보 압축은 비판적 지적의 재료 자체를 제한한다

각 슬라이드의 요점을 1~2줄로 압축하여 전달하도록 설계했으나, 압축 정도를 너무 강하게 하면 비판자 역할이 지적할 수 있는 「누락된 전제」의 후보 자체를 입력에 포함할 수 없게 되어 지적의 깊이가 낮아졌다. 비판적인 지적은 입력에 없는 정보를 외부 지식만으로 날조하는 것이 아니라, 입력된 요점 속에 있는 판단 기준·숫자·전제를 실마리로 생성된다. 따라서 요점을 어디까지 압축할 것인가는 지적받고 싶은 관점(숫자의 유무, 판단 기준의 유무 등)을 요점 속에 남겨두는 설계상의 트레이드오프(Trade-off)가 된다.

효과가 없었던 것

• 10개 이상의 항목을 한 번의 프롬프트(Prompt)에 묶어 평가하게 하는 것: 전반부 항목에는 구체적인 지적이 붙지만, 후반부 항목의 지적은 정형화된 문구로 수렴되어 실질적으로 리뷰되지 않는 상태가 되었다.
• 요점을 1줄로 너무 과하게 줄이는 것: 비판자 역할이 지적에 사용할 수 있는 재료(숫자·판단 기준) 자체가 입력에서 사라져, 지적이 얕아졌다.
• 항목 번호를 출력 형식으로 명시하지 않는 것: 모델의 생성 순서가 자료의 항목 순서와 미묘하게 어긋나, 이해자·비판자의 지적을 항목 단위로 대조할 때 대응이 맞지 않는 경우가 있었다.

요약

역할 라벨(Role Label)과 평가 기준을 조건(Condition)으로 부여하는 설계는 여러 항목의 배치 리뷰(Batch Review)에서도 유효하지만, (1) 한 번의 지시에 포함하는 평가 대상의 수에는 후반부 항목의 지적이 희박해지는 실무상의 임계값(Threshold)이 있으므로, 양이 많을 경우 몇 개씩 나누어 처리한다, (2) 각 항목에 전달하는 입력은 지적의 재료가 되는 정보(숫자·판단 기준)를 남길 수 있는 입도(Granularity)까지 압축을 멈춘다, (3) 항목 간의 대응을 모델의 생성 순서에 맡기지 않고, 항목 번호를 출력 형식으로 명시적으로 요구한다, 라는 세 가지 점이 유효했다. 단일 문서용 역할 프롬프트(Role Prompt) 설계를 여러 항목의 배치 처리(Batch Processing)로 확장할 때는, 항목 수라는 새로운 변수가 지적의 질에 영향을 미친다는 점을 고려하여 설계해야 한다.

Discussion