반례 게임: 언어 모델의 반복적 개념 분석과 수정

개념 분석 -- 제안된 정의에 대한 반례를 제시하고 이를 정제하는 과정 -- 은 철학적 방법론의 핵심입니다. 우리는 언어 모델이 반복적 분석 및 수정 연쇄 (iterated analysis and repair chains) 를 통해 이 작업을 수행할 수 있는지 연구했습니다: 하나의 모델 인스턴스가 제안된 정의에 반례를 생성하고, 다른 모델 인스턴스가 정의를 수정하며, 이 과정이 반복됩니다. 20 개의 개념과 수천 번의 반례-수정 사이클을 통해 우리는 다음과 같은 결과를 발견했습니다: 많은 LM(언어 모델) 생성 반례는 전문가 인간과 LM 판사 모두에 의해 무효로 평가되지만, LM 판사는 인간보다 약 두 배 많은 반례를 수용합니다. 그럼에도 불구하고, 항목별 유효성 판단은 인간 간 및 인간과 LM 간 일관성이 있습니다. 또한 우리는 확장된 반복이 정확도를 개선하지 않으면서 점점 더 길어지는 정의를 생성한다는 것을 발견했습니다. 또한 일부 개념은 일반적으로 안정된 정의에 저항한다는 점도 관찰했습니다. 이러한 결과는 LMs(언어 모델) 가 철학적 추론에 참여할 수 있지만, 반례-수정 루프는 빠른 감소 수익 (diminishing returns) 을 겪을 수 있으며, LMs 가 고수준 반복적 철학적 추론을 지속할 수 있는지 평가하는 데 유망한 테스트 케이스가 될 수 있음을 시사합니다.