어느 긴 운영 절차서를, 제공처가 다른 2개의 LLM에 반복해서 리뷰하게 했습니다.

지적 사항을 확인하고, 정말 문제라면 수정한다. 수정된 문서를 다시 같은 2개에 읽게 한다. 이 리뷰는 108 라운드 동안 계속되었지만, 2개가 동시에 "지적 없음"이 된 회차는 단 한 번도 없었습니다.

하나를 수정하면, 다음에 또 다른 지적이 나온다. 그것도 수정하면, 다시 다음 지적이 나온다.

여기서 의심한 것은 다음과 같습니다.

이미 존재하는 결함을 찾고 있는 것이 아니라,

나의 수정이 새로운 결함을 만들고, 그 결함을 다음 리뷰가 지적하고 있는 것뿐이 아닌가.

만약 리뷰 후반부로 갈수록 "수정이 원인이 된 지적"이 늘어난다면, 그 증가량을 리뷰의 정지 조건으로 사용할 수 있을지도 모릅니다. 그래서 108 라운드 분량의 기록을 사용하여 검증했습니다.

결론부터 말하자면, 첫 번째 집계는 가설을 강력하게 지지했습니다. 하지만, 비교 조건을 엄격하게 맞추어 나가자 관측된 차이는 줄어들었고, 마지막 비교에서는 0.0 포인트였습니다.

이 기사에서 말하는 "차이"는, 편집한 절(Section)과 편집하지 않은 절이 다음 리뷰에서 지적되는 비율의 차이입니다.

남은 것은 좀 더 지루한 설명이었습니다. 수정으로 결함을 늘리고 있었다기보다, 원래 문제가 많은 절을 몇 번이고 파고 있었던 것 같았습니다.

무엇을 1 라운드로 계산했는가

대상은 번호가 매겨진 절로 구성된 긴 절차서입니다. 리뷰는 다음과 같은 흐름으로 진행했습니다.

문서 Vn
↓
제공처가 다른 2개의 LLM이 각각 독립적으로 리뷰
...

이 한 바퀴를 "라운드"라고 부릅니다. 운영상으로는 2개의 LLM이 같은 라운드에서 모두 "지적 없음"이 되면 종료하는 것을 상정했습니다.

다만, 이것은 결함이 제로라는 증명이 아니라, 어디까지나 운영상의 종료 조건입니다. 그 조건에 108 라운드가 걸려도 도달하지 못했기 때문에, 도중에 멈출 다른 기준이 필요해졌습니다.

우선, 시간의 방향을 확인했다

"수정이 다음 지적을 낳았다"를 조사하려면, 반드시 다음 순서로 되어 있어야 합니다.

이전 리뷰 → 수정 → 다음 리뷰

순서가 반대라면, "지적된 절을 수정했다"라는 당연한 관계를 측정하고 있을 뿐입니다.

108 라운드에는 인접한 문서 간의 비교가 107 세트 있습니다. 각 세트에 대해 파일의 생성 시각을 확인한 결과, 107 세트 모두에서 이전 리뷰가 끝난 뒤에 다음 문서가 만들어져 있었습니다.

이 부분이 어긋나 있다면 이후의 집계는 의미가 없습니다. 시간의 방향은 문제가 없었습니다.

첫 번째 집계에서는 39.7 포인트의 차이가 나타났다

각 라운드에 대해 다음 두 가지를 대조했습니다.

• 이전 리뷰 후에 어떤 절을 편집했는가
• 그 다음 리뷰에서 어떤 절이 지적되었는가

집계 단위는 "절 × 라운드"입니다. 이 문서에는 전체 기간 동안 38개의 절이 있고, 집계 대상은 106 라운드(첫 2 라운드는 "그 직전의 편집"이 기록에 남아 있지 않아 제외)이므로 다음과 같은 매스(Matrix)를 만들 수 있습니다.

절1 절2 절3 … 절38
R3 ・ ・ ・ ・
R4 ・ ・ ・ ・
...

각 매스에는 "이전 리뷰 후부터 이번 리뷰 사이에 이 절을 편집했는가"와 "이번 리뷰에서 이 절이 지적되었는가"가 들어갑니다. 편집이 먼저, 리뷰가 나중입니다. 이 4,028 매스를 편집 여부에 따라 두 가지로 나누어 세었습니다.

즉, 편집한 절이 같은 라운드에서 지적되는 비율은 59.2%, 편집하지 않은 절은 19.5%. 차이는 39.7 포인트입니다.

이는 "39.7% 많다"라는 상대적 비율이 아니라, 두 비율의 뺄셈입니다.

가설대로의 큰 차이입니다. 여기서 조사를 멈췄다면, 저는 "수정이 새로운 결함을 만들고 있다"라고 결론지었을 것입니다.

교란 (Confounding) 1 — 지적되기 쉬운 절일수록 편집도 많다

첫 번째 집계에는 한 가지 큰 편향 (Bias)이 있습니다.

"편집했기 때문에 다음에도 지적되었다"가 아니라, "원래 지적되기 쉬운 절이라서 여러 번 지적되었고, 그때마다 편집되었다"일 뿐일지도 모릅니다.

관계를 도식화하면 다음과 같습니다.

원래 어려운 절
├─→ 지적되기 쉽다
└─→ 지적되므로, 편집도 많다

이 경우, 편집 자체가 새로운 문제를 만들지 않더라도 "편집한 절일수록 다음에도 지적된다"라는 수치가 나타납니다.

실제로 이 문서에서는 절에 따라 지적되는 정도가 크게 달랐습니다. 동일한 106 라운드 내에서, 지적된 횟수는 가장 많은 절이 102회, 가장 적은 절은 0회였으며, 중앙값은 18회였습니다. 가장 많은 절은 97회 편집되기도 했습니다.

즉, 모든 절을 한데 모아 비교하면 "편집한 측"에는 원래 어려운 절이 많이 포함됩니다.

편집한 측
어려운 절, 어려운 절, 어려운 절, 보통의 절……
편집하지 않은 측
...

이렇게 되면 편집한 측의 지적률이 높아지는 것은 당연합니다.

그래서 어려운 절과 쉬운 절을 섞어서 비교하는 것을 그만두었습니다.

동일한 절에 대해, "편집한 횟수"와 "편집하지 않은 횟수"를 비교합니다.

예를 들어 어떤 절에 대해,

그 절을 편집한 횟수 → 다음에도 지적된 비율
그 절을 편집하지 않은 횟수 → 다음에도 지적된 비율

만을 비교합니다. 다른 절에 대해서도 동일한 작업을 수행하고, 마지막에 각 절의 차이를 평균 냈습니다. 이렇게 하면 "이 절은 원래 어렵다", "저 절은 원래 쉽다"와 같은 절 자체의 차이를 가로질러 비교하지 않아도 됩니다.

이처럼 조사하고자 하는 원인과 결과 모두에 영향을 미치는 별도의 요인이 있는 상태를, 여기서는 "교란 (Confounding)"이라고 부릅니다. 이번 교란 요인은 그 절이 원래 얼마나 지적되기 쉬운가입니다.

결과는 다음과 같았습니다.

차이는 +39.7 포인트에서 +15.0 포인트까지 줄어들었습니다. 편집한 측이 낮아졌을 뿐만 아니라, 편집하지 않은 측도 19.5%에서 30.4%로 높아졌다는 점에 주의하십시오. 모아서 비교했을 때의 두 수치 모두 절의 편향을 포함하고 있었다는 뜻입니다.

즉, 처음에 보였던 큰 차이의 상당 부분은,

편집했기 때문에 지적되었다

가 아니라,

원래 지적되기 쉬운 절일수록 편집도 많았다

는 것으로 설명할 수 있습니다.

(25개 절인 이유는, 38개 절 중 "편집한 횟수"와 "편집하지 않은 횟수"가 각각 5회 이상 있는 절만을 비교했기 때문입니다. 거의 매번 편집하는 절이나, 거의 편집하지 않는 절은 동일한 절 내에서 비교할 수 없습니다.)

또한, 이 +15.0도 고정된 값은 아닙니다. 이 "5회 이상"을 3, 10, 15로 바꾸면 평균은 +16.7, +21.6, +17.7로 움직였습니다. 임계값 (Threshold) 설정 방식에 따라 +15.0~+21.6의 범위가 존재합니다.

따라서 이 단계에서 말할 수 있는 것은, 처음의 +39.7 포인트를 그대로 "편집이 다음 지적을 낳은 효과"라고 해석할 수는 없다는 데까지입니다.

교란 2 — 편집한 횟수는 "전에도 지적 있음"에 편향되어 있다

교란 1에서는 어려운 절일수록 편집 횟수도 많다는 "절의 차이"를 맞추었습니다.

하지만 동일한 절 내에서 비교하더라도 아직 문제가 남아 있습니다.

리뷰에서는 어떤 절이 지적되면 그 절을 수정합니다. 예를 들어,

R10: 어떤 절이 지적됨
↓
그 절을 수정
...

라는 흐름입니다.

이 R11만 보면,

그 절을 편집했다

→ 그 절이 다시 지적되었다

이므로, "편집이 다음 지적을 낳은" 것처럼 보입니다.

하지만 R11 직전에는 또 하나의 중요한 사실이 있습니다.

R10에서도 그 절은 지적되어 있었다는 것입니다.

즉,

지난번에 지적됨
↓
이번에는 편집함
...

이라는 별도의 경로가 있습니다.

실제로, 「편집한 회차」와 「편집하지 않은 회차」는 직전의 상태가 크게 달랐습니다. 「지난번의 지적」을 확인해야 하므로, 지금부터는 집계 대상을 1 라운드 늦추고 있습니다 (105 라운드 × 38 절 = 3,990 매스. 교란 1까지의 4,028 매스보다 38 매스가 적은 이유는 이 때문입니다).

| 前回も指摘されていた割合 |
|---||
| 편집한 회차 |
| 86.5% (500/578) |
| 편집하지 않은 회차 |
| 15% (511/3,412) |

편집한 회차의 약 9할은, 지난번에 이미 해당 절이 지적되었습니다.

이 상태로는,

편집을 했기 때문에 다음에도 지적된 것인지,

지난번부터 문제가 지속되었기에 편집도 이루어졌고 다음에도 지적된 것인지

를 구분할 수 없습니다.

그래서 이번에는 조건을 하나 더 맞추었습니다.

「지난번에 해당 절이 지적되었던 회차」만을 추출하여, 그중에서 편집했을 경우와 편집하지 않았을 경우를 비교했습니다.

지난번 지적 있음
├─ 이번에 편집함 → 다음에도 지적된 비율
└─ 이번에 편집하지 않음 → 다음에도 지적된 비율

「지난번에는 지적되었지만, 이번에는 편집하지 않았다」라는 비교 대상도 511건 있었습니다 (위 표의 511과 동일한 것입니다). 이는 지난번에 지적된 전체 횟수의 51%에 해당합니다.

결과는 다음과 같았습니다 (마찬가지로 각 군에서 5회 이상 존재하는 17개 절의 평균).

지난번에 지적되었다는 조건을 맞추니, 이번에 편집했을 경우도, 편집하지 않았을 경우도 다음에 지적된 비율은 동일하게 56.3%였습니다.

즉, 처음에 보였던 「편집한 절일수록 다음에도 지적된다」라는 차이에는 적어도 두 가지 편향(Bias)이 포함되어 있었습니다.

교란 1 (Confounder 1) — 원래 지적되기 쉬운 절일수록 편집도 많다 -
교란 2 (Confounder 2) — 지난번에 이미 지적된 절일수록 편집도 많다

그리고, 이 두 가지 조건을 동시에 만족하는 17개 절에 한정하여 비교했을 때는 차이가 관측되지 않았습니다.

다만, 이것이 「편집이 새로운 문제를 만들지 않는다」는 의미는 아닙니다. 어디까지나 이 절 단위의 비교로는 편집 그 자체의 효과를 추정할 수 없다는 결과입니다.

그럼에도, 수정이 새로운 문제를 만든 실례는 있다

+0.0이 되었다고 해서, 개별적인 「수정 기인 결함」이 존재하지 않는 것은 아닙니다.

실제로 행(Line) 단위로 추적할 수 있는 사례가 있었습니다.

어느 라운드에서 「확인하는 범위가 모호하다」라고 지적되어, 그에 대응하여 설명을 9행 추가했습니다. 다음 라운드에서는, 그 추가한 9행 안에 모순이 있다고 지적되었습니다.

이 사례는 다음의 연쇄를 그대로 확인할 수 있습니다.

지적
→ 지적에 대한 대응으로 문장 추가
→ 다음 리뷰가 그 추가된 부분을 지적

따라서 현상 그 자체는 실재합니다.

알고 싶었던 것은 현상이 있는지 여부만이 아닙니다. 그것이 리뷰가 길어지는 주요 이유이며, 게다가 후반부로 갈수록 늘어나는가입니다.

절이 아니라, 지적 내용까지 보았다

절 단위의 집계에는 한계가 있습니다.

「편집한 절이 다시 지적되었다」라고 하더라도, 다음 두 가지는 의미가 정반대입니다.

• 이번에 추가·변경한 문장 자체가 문제가 되었다
• 같은 절 안에 이전부터 있었던 다른 문장이 문제가 되었다

그래서 전체 656건의 지적 중 90건을 추출하여, 지적 본문과 해당 라운드의 차분(Diff)을 직접 대조했습니다.

90건은 전기·중기·후기의 3개 기간에서 동일한 수씩 선정했습니다. 각 기간에 대해 편집한 절을 가리키는 지적을 20건, 편집하지 않은 절을 가리키는 대조군을 10건 추출하여 합계 90건으로 만들었습니다.

인용된 절이 여러 개인 지적은 드물지 않습니다 (90건 중 66건). **인용한 절 중 하나라도 이번에 편집했다면 「대상」, 하나도 편집하지 않았다면 「대조군」**으로 분류했습니다.

추출은 등간격입니다. 각 기간의 후보를 라운드 순으로 나열하고, 일정 간격으로 뽑아냈습니다 (앞부분에 쏠리지 않도록 간격의 중앙에서 가져왔습니다). 난수는 사용하지 않았습니다. 추출 후에는 순서를 셔플하여 일련번호를 부여했으며, 분류하는 LLM에는 기간도, 대상인지 대조군인지도 보여주지 않았습니다.

분류는 다음 4가지입니다.

A와 C는 "아마 이쯤일 것이다"라는 추측만으로는 인정하지 않았습니다. 분류한 LLM에게 차분 중 해당 행을 축어 (verbatim)로 인용하게 하여, 그 인용이 실제로 차분에 존재하는지를 기계적으로 대조했습니다. 존재하지 않으면 D로 강등합니다.

결과는 다음과 같습니다.

이번에 변경한 행 자체가 문제가 된 경우(A)는 6건, 편집과 관련이 있다고 분류된 경우(A+C)는 12건이었습니다. 편집한 절을 가리키는 60건으로 한정하면 광의로 **12/60(20.0%)**입니다.

기계적 대조가 보장하는 것은 "인용된 행이 차분에 실제로 존재한다"는 점까지입니다. A는 그것으로 충분하지만, C의 "편집으로 인해 정합성이 깨졌다"는 상대측의 기술과 편집 전에는 모순되지 않았다는 점까지 확인하지 않으면 단정할 수 없습니다. 거기까지는 검증하지 않았으므로, C를 "수정이 원인"이라고 단정하지는 않습니다.

다만, 이 90건은 대상 60건과 대조군 30건을 의도적으로 조합한 표본입니다. 따라서 6/90이나 12/90을 그대로 모든 지적에서의 발생률로 간주하지는 않습니다.

중요한 것은 내용입니다. 편집한 절을 가리키는 60건 중 22건은 위치를 특정할 수 없었습니다. 남은 38건 중에서는 26건이 B였습니다. 즉, 위치를 특정할 수 있었던 케이스의 **68%**에서는 문제가 된 것이 이번 차분이 아니라 해당 절에 이전부터 있던 기술이었습니다.

이는 절 단위의 통계와 같은 방향을 가리킵니다. 이번에 추적한 범위 내에서는, 리뷰가 같은 곳으로 되돌아오는 이유가 수정이 계속해서 결함을 만들기 때문이라는 설명보다, 원래 문제가 많았던 곳을 반복해서 지적하고 있었다는 설명이 더 정합적이었습니다.

같은 절 안에 문제가 여전히 남아 있고, 리뷰는 매번 그중 다른 하나를 내놓았다고 생각하면, 절 단위의 결과(고쳐도 안 고쳐도 같은 비율로 다시 지적됨)와 내용 분류가 모순되지 않습니다. 다만, 이는 두 결과를 무리 없이 나열할 수 있다는 것 이상의 의미를 담고 있지는 않습니다.

또한, 편집하지 않은 절을 가리키는 대조군 30건에서는 A도 C도 0건이었습니다. 적어도 분류기가 무엇이든 "편집 탓"이라고 판정하고 있었던 것은 아닙니다.

분류는 다른 LLM에서는 세부 사항까지 재현되지 않았다

분류 결과 자체가 안정적인지 확인하기 위해, 제공처가 다른 별도의 LLM에게도 동일한 90건을 독립적으로 분류하게 했습니다. 첫 번째 결과는 보여주지 않았습니다.

4가지 분류가 일치한 것은 90건 중 40건이었습니다. 세부적인 분류의 재현성은 높지 않습니다.

다만, 두 분류기는 규칙을 지키는 방식이 상당히 달랐습니다. 두 번째 분류기는 29건을 A 또는 C로 판정했지만, 축어 대조를 해보니 19건(66%)은 인용이 차분에 존재하지 않았고, 남은 것은 10건이었습니다. 첫 번째 분류기는 12건을 주장했고, 강등된 사례는 0건이었습니다. 이 차이는 판단의 차이라기보다, 과제를 수행할 수 있는지의 차이로 보입니다.

한편, 이 글의 결론과 관련된 부분은 재현되었습니다. 편집한 절을 가리키는 60건으로 한정해도, 두 분류기 모두 B가 가장 많았습니다.

두 번째 분류기가 B에 더 치우쳐 있습니다(26 → 39건). 세부 건수는 일치하지 않지만, "문제가 된 것은 이번 차분이 아니라 기존의 기술이었다"가 최다라는 점은 분류기를 바꿔도 변하지 않았습니다.

따라서 이 글에서는 다음과 같이 다룹니다.

• 전체 표본에서는 "이번 차분이 아니라 기존의 기술을 가리키고 있다"는 B가 최빈값이었다.
• 다만, A·B·C·D의 세부 건수나 수정 기인(cause)의 정확한 비율은 안정적이지 않다.

「後半ほど増える」は確認できなかった

원래 목적은 리뷰 후반이 될수록 수정 기인(修正起因) 지적이 늘어난다면, 그것을 중단 기준(停止の目安)으로 삼는 것이었습니다.

90건의 분류 결과(分類結果)를 전기(前期), 중기(中期), 후기(後期)로 나누었을 때, 수정된 절을 가리키는 대상군 20건 중에서 A+C는 다음 건수였습니다.

절 단위로 집계해도 방법을 바꾸니 '후반에 늘어나는', '거의 변하지 않는', '후반에 줄어드는' 모두가 나왔습니다. 감소해 보였던 결과는, 11개 절 중 1개 절을 제외하는 것만으로 거의 사라졌습니다.

따라서, '수정 기인 지적이 늘어나면 리뷰를 멈춘다'는 중단 조건은 채택할 수 없습니다. 이번 데이터에는 그를 위한 안정적인 신호가 없었습니다.

이 결과에서 말할 수 있는 것과 말할 수 없는 것

말할 수 있는 것은 다음 범위입니다.

• 전체 절을 합친 +39.7 포인트는 수정 효과로 해석할 수 없다
• 원래 어렵던 절이, 편집도 지적도 반복했던 영향이 크다
• 수정이 새로운 문제를 만드는 실제 사례는 있다
• 하지만, 그것이 리뷰 후반에 늘어난다는 신호는 확인할 수 없다

한편, 다음까지는 말할 수 없습니다.

• 수정 기인 결함은 존재하지 않는다
• 수정 기인의 정확한 발생률은 12/60이다
• 다른 문서나 코드 리뷰에서도 같은 결과가 나올 것이다

특히 주의가 필요한 것은 다음 5가지입니다.

1. 판정 불가(判定不能)가 많다. 90건 중 D는 27건(30%)이었습니다. 편집한 절을 가리키는 60건만 보면, 22건(37%)이 판정 불가입니다. 3분의 1을 귀속할 수 없기 때문에 정확한 발생률을 낼 수 없습니다.

2. 편집하는 대상은 무작위가 아니다. 실질적인 결함은 고치고, 오지적이나 미룬 것은 고치지 않았습니다. 이 선택이 결과에 어떻게 작용했는지는 알 수 없습니다. 따라서 +0.0은 '효과 없음'의 증명이 아니라, '이 설계에서는 감지할 수 없었다'까지입니다.

3. 분류의 재현성(再現性)을 확실히 할 수 없다. 두 번째 분류기는 주장(主張)의 66%가 문자 그대로 대조(逐語照合)를 통과하지 못했습니다. 따라서 '분류가 본질적으로 불안정'한 것인지, '두 번째 분류기가 과제를 수행하지 못한 것'인지를 이번 검증에서는 분리할 수 없습니다.

4. 하나의 문서, 한 번의 장기 리뷰이다. 일반화하려면 다른 대상에서도 같은 방법을 재현해야 합니다.

5. '108라운드가 지속된 진짜 원인'까지는 알지 못했다. 이 검증이 답한 것은 '수정 기인 결함이 주원인인지, 게다가 후반에 늘어나는지'까지만입니다. 종료 조건은 '두 LLM이 동시에 지적 없음'이었습니다. 매번 어느 한 쪽이 실재하는 다른 문제를 계속 포착했는지, 오지적이 종료를 방해했는지, 같은 문제를 바꿔서 재제출하고 있었는지는 — 이는 별도의 분석이 필요합니다.

가장 실무에 효과적이었던 것은 중단 조건이 아니라 기록 방식이었다

이번에는 중단 조건의 안은 남지 않았습니다.

대신, 무엇을 기록해 두지 않으면 나중에 검증할 수 없는지가 명확해졌습니다.

판정 불가(判定不能)가 많았던 직접적인 원인은, 지적이 '7.1절에 문제가 있다'처럼 절 번호만 제시하고, 그 절의 어느 서술을 가리키고 있는지 쓰지 않았기 때문입니다.

게다가, 나중에 LLM에게 해당 행을 추측하게 했을 때, 두 번째 분류기에서는 29건 중 19건에서 인용한 행이 실제 차분(差分)에 존재하지 않았습니다. 나중에 인과를 재구성시키는 방법 자체는 신뢰할 수 없습니다.

리뷰했을 시점에서, 지적마다 다음 둘 중 하나를 남기는 것이 더 확실합니다.

• 문제 부분의 문자 그대로 인용
• file:line 같은 위치 정보

리뷰가 끝나지 않는 이유를 보여주는 중단 조건은 발견하지 못했습니다.

하지만, 나중에 검증 가능한 리뷰 기록을 남기는 조건은 발견했습니다. 이번에 가장 실무에 효과적이었던 것은 이것이었습니다.

Discussion