BriefWriter Benchmark: 소송 서면 작성을 위한 AI 도구 평가

법률 실무자들은 서면 작성 및 조사를 위해 AI 도구를 점점 더 많이 평가하고 있습니다. 이 기사는 특정 제품을 보증하지 않고 사용 가능한 평가 접근 방식들을 목록화합니다. 각 도구의 장단점은 공개된 사용자 보고서와 학술 연구를 바탕으로 합니다.

평가 차원 (Evaluation dimensions)

대부분의 서면 작성 AI 평가는 다음 사항들을 고려합니다:

1. 인용 정확도 (Citation accuracy)
2. 논증 구조 (Argument structure)
3. 작성 스타일 (Writing style) (어조, 설득력)
4. 법적 기록에 대한 사실적 정확성 (Factual accuracy)
5. 최신 판례에 대한 최신 지식 (Update-to-date knowledge)
6. 기준 작성 대비 시간 절약 (Time savings)
7. 환각률 (Hallucination rate)
8. 서면당 비용 (Cost per brief)

인용 정확도 (Citation accuracy)

Stanford RegLab의 2024년 원시 출력물(raw outputs) 측정 결과:

• Westlaw AI: 33% 환각률 (hallucination rate)
• Lexis+ AI: 17% 환각률 (hallucination rate)
• 인용 기반 RAG (예: CourtGPT, Thomson Reuters CoCounsel, LexisNexis Protege 등): 인용 제약이 적용될 때 <5%

이 수치들은 제품 간의 직접적인 비교입니다. 출처: https://reglab.stanford.edu.

논증 구조 (Argument structure)

법률 서면 논증 품질에 대한 연구 (동료 검토 완료):

• 유추적 추론 (analogical reasoning)에 대한 의존도: AI 도구마다 차이가 있으며, 일부는 확립된 법적 테스트에는 잘 수행하지만 새로운 헌법적 주장에는 덜 수행합니다.
• 반론 예상 (Counter-argument anticipation): AI 도구는 일반적으로 2~3개의 명백한 반론을 제시하지만, 전문 변호사는 더 미묘한 반론을 식별합니다.
• 설득력 (Persuasiveness): 인간 평가자들은 일반적으로 법원에 대한 감정적 호소 측면에서 인간이 작성한 서면에 더 높은 점수를 주며, AI가 작성한 서면은 인용 정밀도 측면에서 더 높은 점수를 줍니다.

출처: LawNeuroscience 설문조사.

작성 스타일 (Writing style)

연방 및 주 법원의 기대치는 다양합니다:

• 제9순회항소법원 (Ninth Circuit)의 지역 규칙은 수사적 화려함보다 간결함과 명확성을 강조합니다.
• 제1순회항소법원 (First Circuit)의 절차 명령은 일반적인 AI 문구(generic AI phrasings)를 지적해 왔습니다.
• 여러 주의 변호사 협회 의견 (CA, NY, NJ)은 변호사가 "직접 작성한" 콘텐츠를 확인하도록 명시적으로 요구합니다.

실무자 평가에 따르면, AI 출력물은 일반적으로 시니어 변호사 (Senior lawyer)의 어조와 일치시키기 위해 2~3회의 편집 과정을 거쳐야 합니다.

사실 관계의 정확성 (Factual accuracy)

인용 (Citation) 정확성을 넘어, 기초 기록에 대한 사실적 주장 (Factual claims)이 중요합니다:

• AI 도구는 때때로 당사자, 날짜 또는 절차적 이력 (Procedural history)을 혼동합니다.
• 실제 서면을 대상으로 한 적대적 테스트 (Adversarial testing) 결과, 세부적인 사실 주장에서 5~15%의 오류율이 발견되었습니다.
• 변호사에 의한 검증은 여전히 필수적입니다.

최근 판례에 대한 최신 지식 (Update-to-date knowledge of recent cases)

지식 차단 시점 (Knowledge cutoffs)은 도구마다 다릅니다:

• 소비자용 AI (ChatGPT free/Plus): 일반적으로 6~12개월의 지연이 발생합니다.
• 기업용 AI (Enterprise AI): 매주 업데이트되며, 일부 도구는 매일 밤 갱신되는 법률 데이터베이스를 포함합니다.

시간 절감 (Time savings)

AI 지원 초안 작성 (AI-assisted drafting)을 사용하는 법률 지원 클리닉의 보고 (2024년):

• 범위가 명확한 질문에 대한 조사 시간 30~50% 감소
• 초안 작성 시간 20~30% 감소
• 복잡하고 새로운 질문에 대해서는 엇갈린 결과 (때때로 더 느림)
• 기밀 연구 결과이나, 변호사 협회 (Bar association)에서 발표한 보고서들과 수렴하는 양상을 보임

서면당 비용 (Cost per brief)

약 50개의 인용이 포함된 일반적인 25페이지 분량의 서면의 경우:

• AI 지원 초안 작성 + 검증: 도구 비용 $50~$200
• 시니어 변호사 시간: $5,000~$25,000 (관할 구역에 따라 다름)
• 미드 레벨 (Mid-level) 변호사 시간: $1,000~$5,000

저위험 사안 (소액 재판, 단순 신청)의 경우, AI 비용은 법률 비용에 비해 미미합니다.

고위험 사안의 경우, 변호사의 검토 시간이 여전히 지배적입니다.

권장 평가 프레임워크 (Recommended evaluation framework)

실무 환경에 서면 작성 AI를 도입하기 전에:

1. 결과가 알려진 25~50개의 과거 서면을 대상으로 파일럿 (Pilot)을 실행하십시오.
2. 인용 정확도 (Citation accuracy)를 추적하십시오 (목표 >95%).
3. 사실 관계 정확도 (Factual accuracy)를 추적하십시오 (목표 >95%).
4. 적대적 테스트 (Adversarial testing)를 위해 매월 5개의 서면을 샘플링하십시오.
5. 내부 및 외부 법률 고문 (Inside and outside counsel) 모두를 통해 평가하십시오.
6. 변호사가 수행한 모든 편집 내용을 기록하십시오.
7. 동일한 작업에 대해 인간의 기준점 (Human baseline)과 품질을 비교하십시오.

AI가 잘할 수 없는 것 (What AI cannot do well)

1. 법원 판결(court rules)이 변경되기 전의 미묘한 법적 오류를 감지하는 것.
2. 판사 또는 배심원의 반응을 예측하는 것.
3. 전략적 의사결정 (strategic decision-making)을 대체하는 것.
4. 새로운 법리 (novel legal theories)를 예상하는 것.
5. 상호작용 전반에 걸쳐 고객과의 유대 관계 (client rapport)를 유지하는 것.

감사의 글 (Acknowledgments)

이 기사는 공개적으로 사용 가능한 평가들을 요약한 것입니다. 특정 제품의 성능은 다양할 수 있으므로, 의존하기 전에 귀하의 사건에 직접 테스트해 보십시오.

Dillon Deutsch는 CourtGPT.ai에서 서면 작성 AI 도구들을 구축해 왔습니다. https://courtgpt.ai