AI가 특정 시점의 법률에 기반하여 질문에 답할 수 있다면 어떨까?

저는 Indian Constitution Temporal QA라는 연구 프로젝트를 진행해 왔는데, 이 프로젝트는 간단한 질문에서 시작되었습니다.

AI가 질문 날짜를 고려하면서 인도 헌법에 대한 질문에 답할 수 있을까?

대부분의 질의응답 시스템은 문서를 정적인 것으로 취급합니다.

하지만 법률 문서는 그렇지 않습니다.

인도 헌법은 여러 차례 개정되었습니다. 조항이 변경되거나, 규정이 삽입, 수정 또는 삭제될 수 있으며, 적용되는 법률 버전은 질문하는 시기에 따라 달라질 수 있습니다.

이는 AI 시스템에게 문제를 야기합니다.

오늘날에는 완전히 정확해 보이는 답변이라도 20년, 30년, 혹은 50년 전의 헌법이 무엇을 말했는지에 대한 질문 앞에서는 틀릴 수 있기 때문입니다.

그래서 저는 또 다른 범용 법률 챗봇을 만드는 대신, 시간을 질문의 일부로 이해하는 시스템을 구축하려고 합니다.

제가 만들고 있는 것

이 프로젝트는 인도 헌법에 대한 시간적 질의응답(temporal question answering) 데이터셋 및 검색 파이프라인입니다.

목표는 개정 사항 전반에 걸쳐 헌법 조항을 추적하고, 궁극적으로 다음과 같은 질문에 답하는 것입니다:

저는 개정 이력과 시간적 메타데이터를 추가하는 것이 답변이 특정 시점에 의존하는 질문에 대한 검색을 더 신뢰성 있게 만들 수 있는지 탐구하고 싶습니다.

현재까지 구축한 내용

현재 저는 다음 작업을 진행하고 있습니다:

• 소스 문서에서 인도 헌법(Indian Constitution) 추출하기
• 개별 조항(Articles) 및 구조화된 기록으로 파싱하기
• 헌법 개정 사항 식별하기
• 개정 사항 전반에 걸친 조항 수준의 변경 추적하기
• 구조화된 개정 메타데이터 구축하기
• 시간적 검색(temporal retrieval) 및 질의응답을 위한 데이터 준비하기

현재 데이터셋은 1951년부터 2023년까지의 106개 헌법 개정 사항에 걸친 변경 사항을 추적합니다.

이 프로젝트는 아직 개발 중이므로, 이 문제를 해결했다고 주장하기보다는 연구/엔지니어링 실험으로 간주하고 있습니다.

어려운 부분은 챗봇 자체가 아닙니다

이것을 구축하는 과정에서 깨달은 점은 가장 어려운 부분이 LLM(대규모 언어 모델)을 API 뒤에 배치하는 것이 아니라는 것입니다.

어려운 부분은 신뢰할 수 있는 컨텍스트를 만드는 것입니다.

만약 기본 데이터셋이 다음을 보존하지 못한다면:

조항 → 개정 사항 → 변경 → 날짜

아무리 유능한 모델이라도 법의 잘못된 버전을 바탕으로 설득력 있는 답변을 생성할 수 있습니다.

그렇기 때문에 저는 처음에 예상했던 것보다 데이터 추출, 정규화(normalization), 그리고 시간적 관계에 훨씬 더 많은 시간을 할애하고 있습니다.

다음에 테스트하고 싶은 내용

다음 단계는 이러한 역사적인 헌법 질문을 중심으로 질의응답 벤치마크를 구축하는 것입니다.

궁극적으로 다음 사항들을 비교하고 싶습니다:

표준 검색 vs. 시간 인식 검색(temporal-aware retrieval)

그리고 개정 이력을 명시적으로 통합하는 것이 실제로 다음을 개선하는지 측정하고 싶습니다:

• 검색 정확도(retrieval accuracy)
• 시간적 정확성(temporal correctness)
• 증거 선택(evidence selection)
• 답변 신뢰성(answer reliability)

또한 현재 조항 버전이 역사적인 질문에 대해 의도적으로 오해를 불러일으키는 사례들도 테스트하고 싶습니다.

제가 이것을 구축하는 이유

저는 AI, 정보 검색(information retrieval), 그리고 법률의 교차점에 관심이 있지만, 더 광범위한 질문에도 관심을 두고 있습니다.

가장 관련성 높은 정보가 반드시 가장 최신 정보는 아닐 수 있다는 것을 AI 시스템이 알 수 있을까?

법률적, 역사적, 규제적, 정책 문서를 다룰 때 이 구분은 중요합니다.

본 프로젝트는 인도 헌법을 통해 이를 탐구하려는 저의 시도입니다.

프로젝트가 아직 진행 중이지만, 데이터셋, 파이프라인, 실험 및 결과를 진행하면서 기록할 예정입니다.

GitHub: 곧 공개될 예정입니다. 현재 데이터셋과 검색 파이프라인을 개발하고 있습니다.

만약 여러분이 시간적 검색(temporal retrieval), 법률 NLP, RAG, 또는 역사 문서 QA에 대해 작업한 경험이 있다면, 어떤 방식으로 접근했는지 정말 듣고 싶습니다.