작성자: Wiktor Stefański, Digital Colliers의 People & Operations 책임자

지금 당장 모든 법률 초안 작성 작업대 위에 붙여두어야 할 숫자입니다. 2024년 추적된 11개월 동안 AI가 조작한 인용(citation) 사례가 87건에서 1,300건 이상으로 급증했습니다. 이는 Stanford의 Damien Charlotin이 집계한 수치이며, 거의 확실히 과소 집계된 수치입니다. 왜냐하면 이 수치는 적발되어 판결문에 기록된 조작 사례만을 포착했기 때문입니다.

이 곡선을 선행 지표로 읽으십시오. 1,300건의 사례 각각은 어떤 검토 과정을 거쳤음에도 불구하고, 아무것도 가리키지 않는 인용구를 포함한 채 제출된 서면들입니다. 귀하의 로펌에 던져야 할 질문은 어소시에이트(associate) 변호사들이 AI를 사용하는지 여부가 아닙니다. 그들 대부분은 이미 사용하고 있습니다. 질문은 귀하의 워크플로우(workflow) 중 어디에 조작 확인 단계가 실제로 위치해 있는지, 그리고 그 단계가 설계에 의한 것인지 아니면 우연에 의한 것인지입니다.

확인 단계는 어소시에이트의 머릿속에 머물러서는 안 됩니다

현재 대부분의 로펌에서 기본 상태는 검증이 암묵적으로 이루어진다는 것입니다. 어소시에이트는 AI 어시스턴트(AI assistant)와 함께 초안을 작성하고, 인용구를 훑어보며, 한두 개를 확인한 뒤 상급자에게 전달합니다. 파트너(partner)는 어소시에이트가 확인했을 것이라고 가정합니다. 어소시에이트는 도구가 정확했을 것이라고 가정합니다. 아무도 검증 단계를 책임지지 않으므로, 아무도 이를 제대로 수행하지 않습니다.

이는 세 가지 이유로 인해 무너집니다:

• 조작된 인용구는 종종 올바르게 보입니다. 적절한 법원, 그럴듯한 당사자 이름, 실제로 존재하는 판례집(reporter) 권수 등을 갖추고 있습니다. 단순히 읽는 것만으로는 이를 찾아낼 수 없습니다.

• 청구 시간(billing) 압박을 받는 어소시에이트는 20개의 인용구를 수동으로 검증하지 않을 것입니다. ABA(미국 변호사 협회)의 공식 의견서(Formal Opinion) 512는 이미 변호사가 AI가 절약해 준 시간을 청구할 수 없다고 명시했습니다. 이는 경제적 유인이 속도를 늦추는 것이 아니라 더 빠르게 움직이는 데 있음을 의미합니다.

• 초안을 검토하는 파트너는 모든 인용구에 대해 Shepard's(판례 검증 서비스)를 실행하는 것이 아니라, 논증의 품질에 따라 패턴 매칭(pattern-matching)을 수행합니다.

만약 확인 단계가 매번 실행하는 것을 기억해야 하는 인간에게 의존한다면, 그 확인 단계는 실패할 것입니다. 1,300건의 사례가 바로 그 증거입니다.

확인 단계가 위치해야 하는 곳

확인 단계는 습관이 아니라 게이트(gate)가 되어야 합니다. 초안 작성(drafting)과 파트너 검토(partner review) 사이에 자동으로 실행되어야 하며, 모든 인용(citation)이 실제 데이터베이스 기록과 일치하여 확인될 때까지 문서가 진행되는 것을 거부해야 합니다.

구체적으로, 이는 다음 세 가지 요소가 서로 연결되어 있음을 의미합니다:

• 초안 작성 도구(귀하의 구성원들이 사용하는 것이 법률 전용 제품이든 범용 제품이든 상관없이)는 단순히 산문(prose) 형태가 아니라, 구조화되고 기계가 읽을 수 있는(machine-readable) 형식으로 인용을 출력해야 합니다.

• 검토 대기열(review queue)과 초안 사이에 검증 레이어(validation layer)가 위치해야 합니다. 이 레이어는 Westlaw, Lexis, Bailii, CanLII 또는 귀하가 사용하는 주요 인용 데이터베이스를 조회하여, 각 인용이 유효한지 확인하고 초안이 주장하는 내용과 일치하는지 검증합니다.

• 결과는 해당 사건(matter)에 대해 귀하의 사건 관리 시스템(case management system)에 기록되어, 무엇이, 언제, 어떤 도구의 어떤 버전에 의해 검증되었는지에 대한 영구적인 기록을 남겨야 합니다.

이 세 번째 요소는 사람들이 예상하는 것보다 더 중요합니다. 규제 기관이나 법원이 해당 제출물이 어떻게 작성되었는지 물을 때, 귀하는 기억에 의존한 재구성이 아닌 타임스탬프(timestamped)가 찍힌 기록을 제시할 수 있어야 합니다. 영국 변호사 규제국(UK Solicitors Regulation Authority)은 2023년 11월에 AI 가이드라인을 발표했으며, 지난 2년 동안 로펌들이 AI 사용에 대해 문서화된 프로세스 제어(process control)를 갖출 것을 요구해 왔습니다. 이러한 규제는 더욱 완화되지 않을 것입니다.

공백을 열어두었을 때의 비용

제재(sanction)로 인한 금전적 비용은 작은 부분에 불과합니다. 더 큰 비용들이 그 뒤에 쌓이게 됩니다.

• 귀하의 로펌 명의로 보고된 단 한 건의 조작(fabrication) 사례가 해당 파트너에 대한 향후 몇 년간의 첫 번째 검색 결과가 됩니다.

• 보험사들은 이미 AI 관련 의료 과실(malpractice) 위험을 가격에 반영하고 있습니다. 문서화된 검증 워크플로우(verification workflows)가 없는 로펌은 더 많은 비용을 지불하거나, 보험 갱신이 거절될 것입니다.

• 고객들, 특히 기관 고객들은 업무 수임 설문지(engagement questionnaires)를 통해 AI 사용 여부를 묻기 시작했습니다. "어소시에이트(associate)의 실사(diligence)를 신뢰한다"는 답변은 더 이상 그 질문을 통과하지 못할 것입니다.

• 2026년 8월 2일부터 적용되는 EU AI Act 제50조 투명성 의무(transparency obligations)에 따라, 특정 AI 생성 출력물은 그러한 결과물임을 식별할 수 있어야 합니다. EU에서 운영되는 로펌이 작성한 법적 제출 서류(legal filings)는 작성자의 의도와 상관없이 이 논의에 포함될 것입니다.

2027년에 좋은 평가를 받을 로펌은 2025년에 인용 검증(citation verification)을 단순한 배관 문제(plumbing problem)처럼 취급하여 해결한 곳들입니다. 그들은 미들웨어(middleware)를 구매하거나 구축했습니다. 그들은 초안 작성 도구(drafting tool)를 인용 데이터베이스(citation database) 및 사건 관리 시스템(case management system)과 연결했습니다. 그들은 검증 과정을 건너뛰는 것이 불가능하도록 만들었습니다.

이번 분기에 실제로 해야 할 일

만약 이 글을 읽고 있으며 귀하의 로펌에 공백이 있다는 것을 알고 있다면, 유용한 첫 번째 조치는 작고 진단적인 것입니다. AI 보조 초안 작성(AI-assisted drafting)이 포함된 최근의 제출 서류 10건을 선정하십시오. 누군가에게 모든 인용(citation)을 처음부터 다시 검증하게 하십시오. 조작(fabrications), 잘못된 인용(misquotes), 그리고 존재는 하지만 명제를 뒷받침하지 않는 인용(cites)의 개수를 세십시오.

결과가 어떤 숫자로 나오든 그것이 귀하의 기준점(baseline)이 됩니다. 만약 0이라면, 귀하의 프로세스는 이미 작동하고 있는 것이며 왜 그런지 문서화해야 합니다. 만약 0이 아니라면, 이제 공백의 크기를 알게 된 것이며, 법원이 대신 결정하기 전에 그 공백을 메우기 위해 무엇을 지출할지 결정할 수 있습니다.

출처

• European Commission

• American Bar Association

이 기사는 원래 Digital Colliers Blog에 게시되었습니다. Digital Colliers는 DACH(독일어권) 및 영국 기업의 AI 도입을 지원합니다 — 당사의 AI 컨설팅 서비스 (AI consulting services)를 확인하거나 문의 (contact us)해 주세요.