법은 시간이 지남에 따라 변화합니다. 법원은 해당일에 유효한 법에 따라 사건을 판결하며, 법률 QA (Question Answering) 벤치마크는 오늘날의 법에 비추어 답변을 채점합니다. 저희는 네 개의 태국 법원에서 나온 156,650건의 판결문을 검토했습니다. 이 중 최대 67%가 이미 개정되거나 폐지된 법률을 인용하고 있었습니다.
저희는 NitiBench의 후속작인 NitiBench+를 소개합니다. 이는 세 개의 법원 판결문에서 구축되었으며, 17개 도메인에 걸쳐 1,670개의 항목으로 구성된 태국 법률 QA 벤치마크입니다. 인용된 각 조항에 대해 해당 판결일 당시의 텍스트와 현재의 텍스트를 모두 보유하고 있으며, 검색 코퍼스(retrieval corpus)에는 모든 날짜가 지정된 태국 법규 조항의 버전이 포함되어 있습니다.
답변은 태국 변호사 협회(Thai Bar Council) 루브릭, 바 표준 점수(Bar-standard score), 그리고 인용된 조항과 법원의 판결문 간의 중복도를 기준으로 채점됩니다. 이 보고서는 두 부분으로 구성되어 있습니다. Part I에서는 13개의 오픈 웨이트 모델(open-weight models)에 잘못된 텍스트가 미치는 비용을 측정합니다. 개정된 법의 현재 텍스트를 읽는 것은 바 표준 점수를 0.25 하락시키고, 폐지된 법률을 누락하는 것은 이를 0.79 하락시킵니다. 페널티는 규칙 변경(rule changes)에서 발생하며, 428개의 규칙 변경 항목에서는 0.45가, 오직 문구만 바뀐 331개 항목에서는 아무것도 발생하지 않습니다. 그리고 Citation F1은 이를 반영하지 못합니다. 이때 유효한 텍스트가 공정한 기준(fair setting)입니다.
Part II에서는 오늘날의 모델들을 그 기준에 맞춰 벤치마크합니다. 공개 리더보드는 도메인별로 계층화된 500개 항목의 홀드아웃 테스트 스플릿(held-out test split)에서 26개의 모델을 순위 매기고, 동일한 형태의 검증 스플릿(validation split)을 공용으로 공개합니다. 이 평가에서는 메모리만으로 법원의 조항이 제공되는 경우와, 유효한 법에 대한 검색 에이전트(retrieval agent)로서 비용당 항목 및 환각성 인용(hallucinated citations)을 측정합니다.
최고 모델은 10점 만점에 7.78점을 기록했으며, 최고 오픈 웨이트 모델은 6.39점을 기록했습니다. 검색 도구 없이로는 단지 다섯 개의 오픈 웨이트 모델만이 태국 법률을 회상할 수 있었으나, 이 도구를 사용했을 때 26개 모델 중 20개가 성능 향상을 보였고 6개는 성능 저하를 보였습니다. 리더보드는 새로운 모델이 출시됨에 따라 업데이트될 것입니다. 법률 벤치마크는 날짜를 추적해야 하며, 오늘날의 모델들은 여전히 태국 법률에서 큰 격차를 보여주고 있습니다.