옥스퍼드 대학교가 발표한 「Letting the Data Speak: Extracting Keywords from Crowdsourced Collections with AI」는 제2차 세계대전의 시민 기고 아카이브인 「Their Finest Hour」를 대상으로, AI를 이용하여 대량의 자료에 키워드를 부여하는 방법을 체계적으로 검증한 연구이다.

이 아카이브는 일반 시민이 기고한 사진, 편지, 일기, 전쟁 체험 증언 등으로 구성되어 있으며, 공식 역사에서는 다 담아내지 못하는 개인의 기억을 보존하는 것을 목적으로 한다.

하지만 방대한 자료를 검색 가능하게 만들기 위해서는 적절한 키워드 부여가 필수적이며, 수작업으로 수행하기에는 막대한 노력이 필요하다.

이에 연구자들은 AI에 의한 자동 키워드 추출의 가능성과 한계를 밝히는 것을 목적으로 하여, 여러 자연어 처리 (NLP) 기법을 비교하였다.

시민 기고라는 특성상 자료는 다양하며, 문장량과 질의 편차가 크다.

이러한 「비구조화 데이터 (Unstructured Data)」에 대해 AI가 어디까지 유효하게 작동하는지를 검증하는 것은 디지털 아카이브 운영에 있어 중요한 과제가 된다는 점을 전달하고자 한다.

＊서양 대학은 교사(校舎)의 역사적인 조형미가 멋지네요 (^^)

비교된 AI 기술과 평가 방법

연구에서 비교된 AI 기법은 크게 네 가지이다.

첫째는 인명이나 지명 등을 추출하는 「Named Entity Recognition (NER)」로, 이는 문장 속의 고유명사를 특정하는 기술이다.

둘째는 문장 속의 중요어를 추출하는 「Keyword Extraction」으로, TF-IDF나 YAKE 등의 기법이 포함된다.

셋째는 문장군의 화제를 추정하는 「Topic Modelling」으로, LDA나 BERTopic 등이 사용된다.

그리고 네 번째는 ChatGPT와 같은 생성형 AI (LLM)이다. 연구자들은 이러한 기법들을 실제 시민 기고 데이터에 적용하여 정밀도, 재현성, 투명성, 윤리적 타당성 등을 다각도로 평가하고 있다.

특히 중요한 것은 설명 책임(Accountability)이며, 왜 그 키워드가 선택되었는지를 운영자가 설명할 수 있는지가 중시되었다는 점이 주목할 만하다.

역사 자료는 단순한 데이터가 아니라 기고자의 인생 기록이기 때문에, 잘못된 라벨링(Labeling)은 기고자나 유족에게 심각한 문제가 될 수 있기 때문이다.

따라서 기술적인 성능뿐만 아니라 운용상의 책임과 윤리적 배려가 평가 축으로 포함된 점이 이 연구의 특징이다.

추출형 AI의 유효성과 생성형 AI의 리스크

평가 결과, 가장 실무적이고 신뢰성이 높다고 판단된 것은 「추출형 오픈 웨이트 모델 (Open-weight Model)」이었다.

추출형 모델은 문장 속의 어느 부분을 근거로 키워드를 선택했는지가 비교적 명확하며, 오류가 발생했을 때도 원인을 추적하기 쉽고, 아카이브 운영자가 설명 책임을 다하기 쉽다는 장점을 가지고 있다.

반면 생성형 AI는 표현력이 높고 추상적인 테마를 정리하는 능력도 뛰어나지만, 역사 자료의 문맥에서는 중대한 리스크가 지적되었다.

생성형 AI는 '그럴듯한' 키워드를 만들어낼 때가 있으며, 실제로는 문장에 존재하지 않는 정보를 부여할 가능성이 있다. 이는 할루시네이션 (Hallucination)이라 불리며, 역사 자료의 신뢰성을 해칠 위험이 있다.

또한 생성형 AI는 왜 그 키워드를 선택했는지 명확하게 설명할 수 없어, 운영자가 기고자나 이용자에게 근거를 제시하기 어렵다.

나아가 생성형 AI는 학습 데이터에 포함된 문화적·정치적 편향을 반영하기 때문에, 특정 관점을 과도하게 강조하거나 기고자의 의도를 왜곡할 가능성이 있다.

전쟁 체험 기록은 민감한 사항이며, AI에 의한 잘못된 판단이 기억의 변질이나 오해를 낳을 위험이 있으므로 신중한 운용이 요구된다.

역사 자료에서의 Responsible AI의 중요성

이 연구의 의의는 단순한 기술 비교에 그치지 않고, 「시민의 기억을 다룰 때 AI를 어떻게 사용해야 하는가」라는 국제적인 과제에 대해 구체적인 지침을 제시했다는 점에 있다.

옥스퍼드 대학교는 역사 자료에 AI를 적용할 때는 기술적인 성능뿐만 아니라 기고자의 존엄, 설명 책임, 투명성, 편향 억제 등 Responsible AI (책임 있는 AI)의 원칙을 중시해야 한다고 강조했다.

이는 전 세계의 박물관, 도서관, 아카이브가 직면한 과제에 대한 중요한 시사점이며, AI가 역사의 해석에 영향을 미치는 시대에 어떻게 인간 중심의 운용을 유지할 것인가라는 질문에 대한 하나의 답이 되고 있다.

추출형 AI가 만능은 아니지만, 투명성과 재현성이 높다는 점에서 역사 자료와 같은 민감한 영역에서는 더 적합한 선택지라는 점이 밝혀진 것은 실무자들에게 큰 가치가 있다.

AI는 기억을 어떻게 다루어야 하는가

전반적으로 옥스퍼드 대학교의 연구는 "AI가 역사 자료를 다룰 때의 기준"을 제시했다는 점에서 큰 의의를 가진다.

AI는 강력한 도구이지만, 사용법을 잘못하면 인간의 기억을 훼손하거나 역사의 해석을 편향되게 만들 위험이 있기 때문이다. 그렇기에 AI를 도입할 때는 기술의 성능뿐만 아니라, 자료의 성격, 기고자의 의도, 사회적 영향력을 종합적으로 고려하는 자세가 요구된다.

AI가 인간의 기억을 다루는 시대에 우리는 어떤 책임을 가져야 하는가. 이 연구는 그 질문을 조용히 던지고 있다・・・

*자료를 보면서 원고를 작성했습니다만, 좋은 공부가 되었습니다(^^)

Discussion