다음 LLM을 위한 사전 등록을 통한 LLM 기반 p-해킹 (p-Hacking) 완화

대규모 언어 모델 (LLMs)은 하류 가설 검정 (downstream hypothesis tests)에 입력되는 데이터를 생성, 분류 및 주석을 다는 데 점점 더 많이 사용되고 있습니다. 그러나 LLM 기반 연구는 p-해킹 (p-hack)을 하기 쉽습니다. 연구자가 원하는 결과에 도달할 때까지 프롬프트 (prompts), 디코딩 파라미터 (decoding parameters) 또는 출력 형식 (output format)을 조정할 수 있기 때문입니다. 우리는 LLM 기반 연구에서 p-해킹을 완화하기 위한 프로토콜을 제안합니다: 실험과 적격 모델을 사전 등록 (preregistering)한 다음, 사전 등록 이후에 출시되는 첫 번째 적격 LLM에서 실험을 실행하는 것입니다. 연구자는 현재 모델에서 절차를 확정하고, 일련의 적격한 미래 모델들과 함께 분석 계획을 사전 등록하며, 그 이후에 출시되는 첫 번째 적격 모델에서 확인적 분석 (confirmatory analysis)을 수행합니다. 이 모델은 약속 시점에는 존재하지 않기 때문에 해킹될 수 없으며, 더욱이 한 모델을 해킹하는 설정이 다음 모델로 전이되는 경우는 드뭅니다. 우리는 참값이 알려진 두 가지 작업에 대해 이 프로토콜을 평가합니다. 4개의 제공업체로부터 나온 20개의 모델과 11개의 LLM-분석 설정에 걸쳐, 이 프로토콜은 두 작업에서 p-해킹의 성공적인 전이를 각각 73.9%와 72.7%의 사례에서 차단했을 것입니다. 추가 분석 결과, 여러 스트레스 테스트 (stress tests) 하에서도 완화 효과가 상당하게 유지됨을 확인했습니다. 마지막으로, 우리는 말한 바를 실천하기 위해 우리 자신의 프로토콜을 따랐으며 실험을 사전 등록했습니다. 사전 등록된 실험은 프로토콜의 효과를 입증했습니다: 이전 모델을 해킹했던 7개의 설정 중, 이후 출시된 첫 번째 적격 모델에서는 6개의 설정에서 해킹 전이가 실패했습니다.