규정 준수 작업을 수행하는 AI 에이전트는 법률 자체를 인용해야 하며, 해당 법률에 대한 블로그 게시물을 인용해서는 안 됩니다. 그래서 저희는 EU 출판물 사무소(EU Publications Office)의 통합 텍스트에서 GDPR, AI Act, DSA, DMA, NIS2, DORA, MiCA, Data Act, VAT Directive, PSD2, CSRD 등 47개 EU 법규를 조항별로 구성한 검색 인덱스를 구축했으며, 이를 Exa의 웹 검색 기능으로 테스트했습니다.
테스트 과정
'개인 데이터 처리가 합법적인 경우는 언제인가', '어떤 AI 관행이 금지되는가', 'VAT를 위해 송장에 무엇이 포함되어야 하는가' 등 20개의 일반 언어 질문을 준비했으며, 각 질문에는 정답으로 인용해야 할 특정 조항이 있습니다. 여기서 '히트(hit)'란 해당 조항 그 자체인 검색 결과를 의미합니다. 저희는 Exa에게 관대한 점수를 부여했습니다. 즉, 제목, URL 또는 도입 텍스트에 해당 조항과 법규의 이름이 언급되면 페이지로 간주했습니다.
| 정답 조항 우선 제시 | 상위 5개 내 정답 조항 제시 |
|---|
EU 법률 인덱스 (/law/search) | 10 / 20 | 19 / 20 |
| Exa 검색 (자동) | 5 / 20 | 13 / 20 |
Exa는 주로 법에 대한 좋은 페이지들(규제 기관의 가이드라인, 컨설팅 설명 자료, 뉴스 등)을 반환했습니다. '게이트키퍼가 누구인가'라는 질문에는 사전식 목록(dictionary)이 나왔습니다. 이는 유용한 맥락 정보이지만, 조항을 인용해야 하는 에이전트는 여전히 그 조항 자체를 찾아야 합니다.
솔직히 말해 한계점
20개의 질문은 적은 수이며, 저희가 직접 작성했고 이 질문들로 랭킹을 조정했습니다. 다음 실행에서는 어떤 조정 없이 작성된 100개 이상의 질문과 스웨덴어 및 독일어를 추가할 계획입니다.
사용해 보기
- 일반 HTTP:
GET https://tools.funwords.eu/law/search?q=which+AI+practices+are+banned
- Exa 자체 SDK (한 줄만 변경):
new Exa(key, "https://tools.funwords.eu/v1")를 사용한 후, category: "law"로 검색합니다.
- 제품 페이지: https://tools.funwords.eu/eu-law-search-api
법률 자문이 아닙니다. 공식 관보(Official Journal) 텍스트만이 진본입니다.