Elicit Research Agent를 활용한 이상 탐지 연구: 논문 검색부터 비교표 작성, 원문 확인까지

저는 기계 지능 연구실에 소속되어 CV 분야의 연구를 진행하고 있습니다.

기계 지능 연구실에서는 로봇 비전이나 자율 지능 시스템과 관련된 연구를 수행하고 있습니다.

관련 논문을 조사할 때는 단순히 논문을 찾는 것뿐만 아니라, 찾은 논문들을 동일한 관점에서 비교하는 작업에도 많은 노력이 필요합니다.

예를 들어, 이상 탐지(anomaly detection)에 관한 논문을 정리할 경우에도 '정상 이미지를 몇 장 필요로 하는가', '어떤 모델을 사용하고 있는가', '어떤 종류의 이상을 탐지할 수 있는가'와 같은 항목들을 확인해야 합니다. 게다가 성능 수치가 제시되어 있더라도, 데이터셋이나 평가 조건이 다르면 그대로 비교할 수는 없습니다.

그래서 이번에는 Elicit Research Agent를 사용하여 논문 검색부터 비교표 작성, 원문 대조까지 시도해 보겠습니다.

단순히 도구의 기능을 소개하는 것을 넘어, 저의 연구와 가까운 '산업 이미지의 논리적 이상 탐지'를 주제로 다음 3가지를 확인합니다.

• 사전에 선정한 확인용 논문이 검색 결과에 포함되는지 여부
• 조사 조건을 구체화했을 때 검색 결과가 어떻게 달라지는지
• 작성된 비교표를 연구에 활용 가능한 내용으로 검토할 수 있는지 여부

Elicit은 학술 논문의 검색이나, 논문으로부터의 정보 추출을 지원하는 서비스입니다. Research Agent에서는 자연어로 요청하여 같은 세션 내에서 검색, 정보 추출, 요약, 비교표 작성 등을 진행할 수 있습니다.

공식 도움말에 따르면, 2026년 9월 30일에 기존의 'Find Papers', 'Extract Data', 'Chat with Papers' 기능이 Research Agent로 통합되었습니다. Research Agent 자체가 이 날 처음 등장한 것은 아니며, 기존 기능들이 대화 중심의 조작 방식으로 정리된 형태입니다.[1]

예를 들어, '관련 논문을 찾아줘'라고 요청한 후, '그 논문들을 학습 조건으로 비교해 줘', '이 항목의 근거를 보여줘'와 같이 추가 질문을 할 수 있습니다.

공식 안내에 따르면 Research Agent는 모든 플랜에서 사용 가능하지만, 사용량에는 플랜별 제한이 있습니다. 기능이나 제한은 업데이트되므로, 이번 이용 조건은 다음과 같습니다.[1]

MVTec LOCO AD는 구조적 이상과 논리적 이상을 모두 다루는 데이터셋입니다. 이번 탐색에서는 이 데이터셋을 평가에 사용하는 연구를 주요 대상으로 합니다.[3]

검색 결과를 확인하기 위해, 조사 대상에 맞는 논문을 사전에 5편 선정했습니다. 논문 제목 링크에서 원문을 참조할 수 있습니다.

이 5개 논문의 제목은 검색 프롬프트에 포함하지 않고, 검색 후에 결과를 대조합니다. 이 목록은 관련 연구 전체를 포괄한 것이 아니며, 아래에서 제시하는 발견 수는 검색 전체의 포괄률을 나타내지 않습니다.

처음에는 새로운 세션에서 대상만을 전달하는 간단한 지시문을 입력했습니다.

산업 이미지의 논리적 이상 탐지에 관한 논문을 찾아주세요.
대표적인 논문을 최대 10개 제시하고, 각 논문에 대해 제목,
발표 연도, 링크, 방법론 개요를 한국어로 정리해 주세요.

검색 결과의 제목을 확인용 5편과 대조하여 대상 범위 적합성을 출력된 개요로 잠정적으로 판단했습니다. 모든 논문의 링크나 개요를 원문과 대조한 것은 아닙니다. 원문 확인은 다음 절에서, 3개 항목에 한정하여 진행합니다.

출력된 개요에서는 10편 모두 산업 이미지의 논리적 이상 탐지를 다루고 있었으며, 부품 분할, 거시적 특징(global feature), 그래프, 언어 정보 등 다양한 접근 방식의 논문들이 제시되었습니다.

다음으로, 첫 번째와는 다른 새로운 세션에서 논리적 이상에 대한 정의와 조사하고 싶은 범위를 구체적으로 지정했습니다. 이용 플랜과 Academic 설정은 처음과 동일하게 맞추었습니다.

산업 이미지의 논리적 이상 검출에 관한 논문을 최대 10편 찾아주세요. 여기서 말하는 논리적 이상이란, 부품의 개수, 조합, 배치, 물체 간의 관계 등이 정상적인 규칙에서 벗어난 상태를 의미합니다.
...

확인용 논문별 결과는 다음과 같습니다.

또한, 두 번째 출력에는 '논리적 이상을 평가한 근거' 열이 추가되었습니다. 많은 논문에서 MVTec LOCO AD에서의 평가에 대해 설명되었고, ComAD의 경우 'LOCO AD에서의 평가 근거는 확인할 수 없으므로 원문으로 재확인 필요'라고 기재되었습니다. 이는 ComAD가 LOCO AD로 평가하지 않았다는 의미가 아니라, 이번 답변에서 근거를 확인할 수 없었다는 취급입니다.

확인용 논문의 발견 수는 3편에서 2편으로 줄었으며, 이번 시도에서는 조건 구체화에 따른 발견 수 개선은 보이지 않았습니다. 반면, 평가의 근거나 확인되지 않은 점이 명시되어 원문에서 확인해야 할 항목을 파악하기 쉬워졌습니다. 다만, 근거 설명에는 구체적인 절/표 번호가 제시되어 있지 않아 내용의 정확성은 원문과 대조할 필요가 있습니다.

각 지시는 한 번씩 실행했기 때문에, 논문의 교체가 지시의 차이 때문인지, 검색/생성의 변동성 때문인지는 이 결과만으로는 판단할 수 없습니다.

조건을 구체화한 세션의 연속으로, 검색 결과를 비교표로 정리합니다.

여기서는 성능 순위보다 어떤 조건에서 사용할 수 있는 방법인지를 확인하는 것을 우선합니다.

제시된 논문 중 이번 대상 조건을 충족하는 것을 비교표로 만들어 주세요. 
대상 외의 논문은 제외하고, 제외 이유를 별도로 제시해 주세요.
비교표 열:
... 

추가 지시에 따라 9편의 논문에 대해 정상 이미지 수, 특징 추출기, 추가 학습, 논리적 이상을 포착하는 메커니즘, 평가 데이터셋, 저자가 언급하는 제약이 정리되었습니다.

앞쪽 3편의 주요 정보를 가독성을 위해 두 개의 표로 나누어 제시합니다. 둘 다 Elicit의 출력을 발췌/요약한 것이며, 이 단계에서는 미확인 정보입니다. 정상 이미지 수의 의미를 포함하여 다음 절에서 일부 항목을 원문과 대조하겠습니다.

학습 조건 발췌 (원문 대조 전)

예를 들어, LogicQA에서는 추론 시 사용하는 정상 이미지 3장과 질문 확인에 사용하는 정상 이미지 50장이 구분되었습니다. 또한, PUAD나 CSAD의 정상 이미지 총수에 대해서는 '기재 없음'으로 출력되었고, 구체적인 수치를 제시하지 않는 답변도 있었습니다. 다만, '기재 없음'이라는 판단 자체의 정확성은 이번에 대조하지 않았습니다.

반면, 근거란에는 'Implementation Details', '실험・데이터셋 설정' 등의 설명과 링크가 제시되어 있지만, 많은 항목에서 구체적인 절 번호, 페이지, 인용 위치는 제시되지 않았었습니다.

게다가, ComAD는 전 단계 검색에서는 LOCO AD에서의 평가 근거가 미확인으로 되어 있었지만, 비교표에서는 평가 대상으로 기재되었습니다. 추가 지시에 의해 정보가 구체화되었음에도 불구하고, 그 근거를 원문에서 확인할 필요가 있습니다.

다음 절에서는 표에 게재된 GLCF, ComAD, THFR 세 가지에 대해 일부 항목을 원문과 대조합니다.

비교표의 앞선 3가지를 대상으로, GLCF의 특징 추출기와 학습 조건, ComAD의 특징 추출기, 그리고 THFR의 정상 이미지 수와 학습 조건을 원문과 대조했습니다. 표의 모든 항목을 검증한 것은 아닙니다.

이미지 수에 대해서는 데이터셋 전체 장수, 카테고리별 장수, 학습용/참조용 장수를 구분하여 읽었습니다. 특징 추출기에 대해서는 사전에 학습된 모델과 이상 탐지를 위해 추가 학습하는 부분을 구분했습니다.

대조 결과는 다음과 같이 기록합니다. 페이지는 참조한 PDF의 시작을 1페이지로 계산했습니다.

'일치'는 확인한 범위 내에서 내용이 맞는 경우, '일부 부족'은 중요한 조건이 빠진 경우, '오류'는 원문과 모순되는 경우, '확인 불가'는 근거를 확인할 수 없는 경우로 합니다.

이번에 대조한 모델명이나 학습 회수는 원문과 일치했습니다. 한편, THFR의 정상 이미지 수에 대해서는 데이터셋 전체 장수와 카테고리별 학습 조건을 구분하는 보충이 필요했습니다. 따라서 THFR의 정상 이미지 수・조건은 'LOCO AD 전체로 정상 훈련 이미지 1,772장. 카테고리별로 200 에포크 학습'으로 보충합니다. 이 1,772장은 방법론이 일반적으로 필요한 최소 이미지 수를 나타내는 값도 아닙니다.

참조한 원문:

유용한 점은, 후보 논문을 같은 관점에서 정리할 수 있다는 것입니다. 제목이나 개요를 나열하는 것뿐만 아니라, 정상 이미지 수, 특징 추출기, 추가 학습과 같은 항목을 지정함으로써, 방법론의 차이를 확인할 수 있는 초안을 얻었습니다.

또한, '미확인' 또는 '기재 없음'으로 답변한 것은 다음에 원문에서 조사할 항목을 정하는 단서가 됩니다. 구체적인 숫자가 없는 항목도 확인을 생략해도 된다는 의미는 아닙니다.

한편, 검색 결과만으로는 관련 연구를 모두 포괄할 수 없었습니다. 이번에 선정한 SALAD와 LogicAD는 어느 쪽의 검색에도 포함되어 있지 않았습니다. 이번 2회의 검색에서는 상세한 조건 지정에 따른 확인용 논문의 발견 수 증가가 보이지 않았습니다.

비교표 내용에도 확인하는 수고가 남아 있습니다. 근거란에 논문 링크가 있어도, 구체적인 기술된 장소까지 제시되어 있지 않으면 본문에서 직접 찾아봐야 합니다. 또한, THFR의 예에서는 이미지 수 자체가 맞아도, 데이터셋 전체 장수와 카테고리별 학습 조건을 구분하는 보충이 필요했습니다.

이번 결과로부터 Elicit은 후보 논문의 탐색과 공통 항목에 의한 정리에 사용하기 쉽다고 생각했습니다. 그 후 연구에 사용할 정보에 대해서는 원문과 대조하여 조건이나 근거를 보충하는 흐름이 적절합니다.

| 작업 | Elicit에게 요청할 내용 | 스스로 확인할 내용 |
|---|---|
| 탐색 | 후보 논문과 개요의 제시 | 대상에 맞는지, 중요한 논문이 빠지지 않았는지 |
| ... |

특히, 자신이 이해하고 있는 논문을 확인용으로 포함하면, 검색의 누락이나 설명 부족을 알아차리기 쉽습니다. 미지의 분야를 조사할 경우에도, 생성된 표를 출발점으로 삼아 원문을 읽고 비교표를 업데이트해 나가는 사용법이 좋아 보입니다.

이번에는 Elicit Research Agent를 사용하여 산업 이미지의 논리 이상 탐지를 주제로, 논문 탐색부터 비교표 작성, 그리고 원문과의 대조까지 시도했습니다.

탐색: 관련 논문의 후보는 얻었으나, 확인용 5개 중 발견된 것은 최초 3개, 조건 지정 후 2개에 그쳐 검색 결과에 누락이 남아 있었습니다. -
정리: 정상 이미지 수, 특징 추출기, 학습 조건 등을 지정하자, 9가지 방법론을 공통 관점에서 정리할 수 있었습니다. -
확인: 대조한 모델명이나 학습 회수에는 일치가 보였으나, 이미지 수의 의미나 카테고리별 조건은 원문에서 보충할 필요가 있었습니다.

제 연구에서는 관련 방법론의 학습 조건이나 구성 차이를 정리할 때, 이번과 같은 비교표를 조사 초안으로 활용할 수 있을 것 같습니다. 다만, 연구에 인용할 정보나 실험 조건은 원문에서 근거를 확인한 후에 사용하고 싶습니다. 이번에는 수작업과의 소요 시간 비교는 진행하지 않았기 때문에, 시간 단축 효과는 평가하지 못했습니다.

이번 시도는 하나의 연구 주제와 제한된 논문을 대상으로 한 것입니다. 검색은 각 지시당 1회로 진행했으며, 원문 대조 역시 3개 논문의 일부 항목에 국한됩니다. Elicit 전체의 성능을 평가하는 것은 아니지만, 지시를 내리는 방법이나 비교표 확인 방법을 생각하는 데 참고가 되기를 바랍니다.

• Elicit 공식 도움말: Getting started with Elicit: Which workflow should I use?
• Elicit 공식: Introducing Elicit Research Agent: Rigor that powers decisions
• MVTec 공식: MVTec LOCO AD
• GLCF: Learning Global-Local Correspondence with Semantic Bottleneck for Logical Anomaly Detection
• ComAD: Component-aware anomaly detection framework for adjustable and logical industrial visual inspection
• THFR: Template-guided Hierarchical Feature Restoration for Anomaly Detection