추가 정보: https://github.com/lechmazur/debate
https://preview.redd.it/5rr60v33bfhh1.png?width=3600&format=png&auto=webp&s=bbe9ff2e3c2e599e887a4ec0da7bcc26f71ad4fb
이 벤치마크 (Benchmark)는 LLM (Large Language Models)이 광범위한 주제에 걸쳐 적대적이고 다회차적인 반대 의견에 맞서 얼마나 논리를 잘 유지하는지를 측정합니다. 이는 폭넓은 지식, 압박 속에서 정확하게 사용되는 사실, 날카로운 반박, 그리고 여러 라운드에 걸쳐 일관되고 방어 가능한 답변에 보상을 줍니다.
https://preview.redd.it/n5izvuf8bfhh1.png?width=1800&format=png&auto=webp&s=8ece51346212f1f6a5f799443753bcbf6beefc0a
각 대결은 동일한 논제에 대해 입장을 바꿔가며 두 번 토론하여 입장 편향 (Side bias)을 상쇄합니다. 세 개의 모델로 구성된 심사위원단이 승자와 격차를 결정합니다.
https://preview.redd.it/c25sbtl9bfhh1.png?width=3144&format=png&auto=webp&s=069aac11a8b43733659a09b31da5858566240a1b
https://preview.redd.it/68n0vdmabfhh1.png?width=1278&format=png&auto=webp&s=121149ae6431b690ef8c84ba7d85f15eefbca348
/u/zero0_one1 에 의해 제출됨
[link] [comments]