Stanford Law 연구 결과, AI가 법학 교수보다 뛰어난 성능을 보이다

Stanford Law School의 Julian Nyarko 교수가 이끄는 획기적인 연구에 따르면, 법학 교수들은 학생들의 질문에 대해 동료 교수들이 작성한 답변보다 AI가 생성한 답변을 압도적으로 선호하는 것으로 나타났습니다. 이 발견은 법학 교육이 전달되는 방식을 재편할 수 있습니다.

“Law Professors Prefer AI Over Peer Answers(법학 교수들은 동료의 답변보다 AI를 선호한다)”라는 제목의 이 연구는 미국 전역의 법학 대학에 재직 중인 16명의 법학 교수를 대상으로 진행되었으며, 거대 언어 모델 (LLM)이 계약법 강의의 효과적인 튜터 역할을 할 수 있는지 테스트했습니다. 약 3,000건의 익명 비교를 통한 블라인드 평가에서, 교수들은 AI의 답변을 다른 교수들이 작성한 답변보다 현저히 높게 평가했으며, AI는 1대1 대결에서 75%의 승률을 기록했습니다.

Stanford Law School의 Legal Innovation through Frontier Technology Lab, 즉 liftlab을 이끄는 Nyarko 교수는 “이 연구는 법학 교육에서 AI의 역할에 대한 중요한 가설들에 도전합니다”라고 말했습니다. 그는 Yale, NYU, University of Chicago 및 기타 주요 기관의 동료들과 함께 이 논문을 공동 저술했습니다. “우리가 법학에 집중한 이유는 법학이 단순히 사실을 회상하는 것이 아니라, 판단력, 미묘한 추론, 그리고 모호함을 탐색하는 능력을 요구하기 때문입니다.”

LLM은 추론할 수 있는가?

이 연구는 이전의 AI 평가들이 주로 정답과 오답이 명확한 주제에 집중해 왔다는 점에서 특히 주목할 만합니다. 이와 대조적으로 법적 추론 (Legal reasoning)은 상충하는 논거들에 대한 세심한 분석과 방어 가능한 결론을 요구합니다.

Nyarko 교수는 “솔직히 결과의 규모에 놀랐습니다”라고 덧붙였습니다. “이것들은 단순히 답이 뻔한 간단한 질문들이 아니었습니다. 많은 질문이 복잡한 자료를 종합하고, 이를 새로운 상황에 적용하며, 학생들이 스스로 분석 능력을 개발할 수 있도록 법적 개념을 설명하는 능력을 요구했습니다.”

참가자들은 학생들이 수업 후나 오피스 아워 (office hours) 중에 질문할 법한 계약법 (contracts law) 관련 대표 질문 40개를 만들고, 직접 답변을 작성한 뒤, 해당 답변이 AI로부터 온 것인지 아니면 다른 참여 교수로부터 온 것인지 모르는 상태에서 답변들을 평가했습니다. AI 시스템들은 연구 내 최고의 인간 강사와 대등한 성능을 보여주었습니다.

아마도 가장 놀라운 점은, 교수들이 AI의 답변을 교육적으로 해롭다고 표시한 비율이 3.5%에 불과했다는 것입니다. 이는 동료 교수가 작성한 답변에 대해 12%를 표시한 것과 대조적입니다.

공동 저자이자 Yale Law School의 교수인 Sarath Sanga는 “AI가 테스트되는 대부분의 분야에는 정답이 있습니다. 하지만 법학에서는 정답이 없는 경우가 많습니다”라고 말했습니다. “두 개의 상충하는 논거가 모두 훌륭할 수 있습니다. 우리가 알고 싶었던 것은 AI가 변호사들이 서로의 논거를 평가할 때 사용하는 잠재적인 전문적 기준 (latent professional standard)을 충족할 수 있는지 여부였습니다. 이번 사례에서 그 대답은 '예'였습니다.”

연구팀은 연구의 타당성을 보장하기 위해 광범위한 예방 조치를 취했습니다. 그들은 AI의 답변이 인간의 답변과 길이 및 구조가 일치하도록 조정하였고, 여러 평가 방법을 사용했으며, 교수들이 답변이 학생들을 오도하거나 혼란스럽게 할 수 있는지 평가하도록 했습니다.

법학 교육의 변혁

“우리는 이해관계가 매우 높기 때문에 이 연구를 가능한 한 엄격하게 설계했습니다”라고 Nyarko는 설명했습니다. “법학 교육은 미래의 변호사들이 비판적으로 사고하고, 설득력 있게 논쟁하며, 윤리적 복잡성을 헤쳐 나갈 수 있도록 훈련하는 것입니다. 우리의 연구는 AI가 그 사명을 지원할 수 있는지 알아내기 위한 중요한 발걸음을 내딛고 있습니다.”

이 연구의 제1 저자이자 Nyarko의 liftlab 연구원인 Alejandro Salinas는 교육적 함의를 강조했습니다: “우리의 연구는 AI 튜터링 (AI tutoring)이 법학과 같이 판단력이 풍부한 분야의 학습에 무엇을 기여할 수 있는지로 관심을 전환합니다. 우리는 법학 교육자들이 평가했을 때, AI 튜터가 강의를 보완하는 고품질의 온디맨드 (on-demand) 지원을 제공할 수 있으며, 전문가의 지식에 대한 접근성을 넓힐 수 있다는 것을 발견했습니다.”

해당 연구는 상용 튜터링 시스템 (tutoring systems) 및 Google의 NotebookLM을 포함한 특정 AI 모델들을 조사하였으며, 성능 수준이 다양하다는 것을 발견했습니다. 그러나 문맥적 제한 (context limitations)이 AI의 응답에 영향을 미칠 때조차, 교수들은 여전히 인간이 작성한 대안보다 AI의 응답을 선호하는 경우가 빈번했습니다.

이러한 연구 결과는 엄격한 학문적 표준을 유지하면서 법학 교육에 AI 도구를 통합하기 위해 전국적인 법학 대학들이 고군분투하고 있는 시점에 나왔습니다. 일부 기관은 AI 실험을 수용해 온 반면, 다른 기관들은 환각 (hallucinations), 과도한 의존 (overreliance), 그리고 비판적 사고 능력의 저하를 포함한 잠재적 위험에 대해 신중한 태도를 유지하고 있습니다.

“우리의 연구는 AI 도구가 제공하는 답변의 품질을 평가합니다. 하지만 이러한 도구들을 학생들의 학습을 가장 효과적으로 개선하기 위해 어떻게 구현할 것인가는 여전히 미해결 과제로 남아 있습니다. 따라서 우리는 AI 튜터의 전면적인 도입을 옹호하는 것은 아닙니다.”라고 Nyarko는 주의를 당부했습니다. “하지만 우리의 데이터는 무조건적인 회의론 또한 똑같이 부당할 수 있음을 시사합니다. 대화의 중심은 AI가 정확하고 높은 품질의 응답을 제공할 수 있는지 여부에서, 어떻게 하면 학생들에게 이익이 되도록 책임감 있게 AI를 배치할 수 있는지로 전환되어야 합니다.”

출판물 보기

SSRN 링크

liftlab 소개

Liftlab은 연구, 프로토타이핑 (prototyping), 그리고 산업계와의 실시간 협업을 결합한 법률 AI 분야의 초기 학술적 노력 중 하나입니다. Liftlab의 미션은 AI 및 기타 프런티어 기술 (frontier technologies)을 활용하여 민간 부문에서 고품질 법률 서비스에 대한 접근성을 높이는 것입니다. 이론과 실무 사이의 간극을 메우기 위해, liftlab의 작업은 개념화를 넘어 AI 기반 솔루션의 유용성을 탐색하는 데 도움이 되는 프로토타입 구축까지 확장됩니다.

Stanford Law School 소개

Stanford Law School은 법학 연구 및 교육 분야에서 세계를 선도하는 기관 중 하나입니다. 이곳의 동문들은 법률, 정치, 비즈니스 및 첨단 기술 분야에서 가장 영향력 있는 의사 결정권자들로 활동하고 있습니다. 교수진은 대법원(Supreme Court)에서 변론을 수행하고, 의회(Congress)에서 증언하며, 뛰어난 법학 연구와 실증적 분석 (empirical analysis)을 생산하며, 법률 및 정책 전문가로서 국가 언론에 정기적으로 기여하고 있습니다. Stanford Law School은 엄격한 학제 간 교육 (interdisciplinary training), 실무 경험, 글로벌 관점, 그리고 공공 서비스에 대한 집중을 제공하는 법학 교육의 모델을 구축해 왔습니다.