실패 전 결정 고정: AI 지원 코드 생성에서 불명확한 선택의 실행 가능한 기록

자연어 요구사항은 질문을 열어두고 있으며, 이를 구현하도록 요청받은 모델은 그 질문들을 조용히 해결합니다. 세 가지 모델이 생성한 600개의 테스트 스위트를 분석한 결과, 42.7%의 테스트가 경쟁하는 해석(readings)을 구별할 수 있는 테스트를 포함하지 않았습니다. 구현 전에 작성된 승인 예시(acceptance example)는 일반적인 해결책이지만, 두 해석 모두 만족시키는 예시는 아무것도 해결하지 못합니다. 우리는 이 관행에 두 단계를 추가합니다: 요구사항의 불명확한 지점들을 이름으로 열거하고, 각 구성 요소(construct)마다 해당 지점에서만 다른 두 개의 임시 구현을 만든 다음, 두 구현을 실행했을 때 서로 다르다는 것을 보여주는 후보 입력만을 유지합니다. 그 결과는 '결정 고정(decision pin)'으로 기록됩니다: 명명된 지점, 확인된 입력, 그리고 사람이 두 가지 나타난 결과 사이에서 선택한 값입니다. 이와 같은 기록은 이후 생성에 제약 조건을 부여하고 실행을 통해 준수 여부를 결정합니다. 쌍을 이루는 참조 구현과 두 모델로 구성된 40개 작업의 벤치마크에서, 분리하는 입력(separating input)이 92.5%의 결정 지점에서 얻어졌고, 의도된 결정을 식별하는 고정값은 85-90%였습니다. 독립적으로 생성된 703개의 구현에 대한 검사에서, 고정값들은 벤치마크의 분류와 96-97% 일치했으며, 세 가지 작업에서 불일치가 발생했는데, 그중 한 경우는 두 분류기 모두 오류를 범한 경우였습니다. 생성 제약 조건으로서, 고정값은 모든 210개 생성에서 고정된 입력에서 준수되었으며, 보류된(held-out) 입력에 대해서는 산문 규칙(prose rule)보다 나쁘지 않았고, 동일한 범위를 명시하는 산문보다 더 좋지는 않았습니다. 산문 규칙 하의 모든 준수 실패는 모델이 스스로 규칙의 범위를 결정했기 때문에 발생했습니다. 그러한 사례 중 하나는 다른 기록된 결정을 조용히 뒤집었고, 두 모델 모두에서 제외하고 하나만 남기는 방식(leave-one-out)으로 단일 규칙에 귀속되었으며, 텍스트 수준 조정으로는 놓쳤지만 기록된 입력을 재실행함으로써 포착되었습니다. 이 설정은 회귀 단계(regression step)를 평가하기에는 너무 적은 충돌을 산출하므로, 그 이유를 설명합니다.