AI 사용 설명서 제5장/최종회: 조사형 AI는 '정보 탐색 방식'에서 다르다

AI에게 질문하면 언제나 똑같이 '조사하여' 답변해 주는 것처럼 보일 때가 있습니다.

하지만 실제로는 외부 검색을 사용하지 않는 응답, 검색 결과를 참조하는 응답, 조사를 반복하는 메커니즘에서는 정보 수집 방식이 다릅니다.

'AI 사용 설명서' 시리즈의 최종회에서는 정답을 만드는 방법이 아니라, 정보를 조사하는 방식에 주목합니다.

이번에 다룰 주제는 다음과 같습니다.

• Single-Turn Generation (단발 생성)
• ReAct (추론과 행동의 반복)
• Multi-hop Retrieval (멀티홉 검색)
• Context Management / Long-Horizon Memory (문맥 관리와 장기 메모리)
• Architecture Comparison (아키텍처 비교)
• RL Optimization (강화학습(RL)에 의한 에이전트 최적화)

지금까지의 기사는 여기입니다.

외부 검색을 사용하지 않는 응답에서는 모델이 학습한 정보와 그 자리에서 입력된 문장이나 자료가 주요 단서가 됩니다.

이는 마치 서고 깊숙한 곳에 있는 사서가 기억과 손에 든 책만으로 질문에 답하는 것과 같습니다. 유창하게 설명할 수 있어도, 신문이나 새로운 자료를 확인하러 가지 않으면 오래된 정보나 부족한 정보를 바탕으로 답변할 가능성이 있습니다.

이것은 외부 검색을 사용하지 않는 응답이 열등하다는 의미가 아닙니다. 주어진 문서를 정리하거나, 초안을 작성하거나, 바꿔 쓰거나, 이미 알고 있는 내용을 활용하여 아이디어를 내는 등 검색이 필요하지 않은 작업에는 적합합니다.

• 최신 정보, 가격, 제도, 제품 사양, 인물 정보 등은 외부 정보를 확인해야 합니다.
• 주어진 자료만 사용하게 하고 싶다면 그 범위를 명시해야 합니다.
• 자료에 없는 내용을 보충했는지 답변의 근거를 확인할 필요가 있습니다.
• '지식으로 답한 부분'과 '입력 자료에 기반한 부분'을 나누어 보여달라고 요청해야 합니다.

입력에 없는 최신 정보가 필요하다면, 생성 기법만으로는 부족하고 검색이 필요합니다.

조사형 AI는 상황을 정리하고, 검색이나 도구 조작을 수행하며, 그 결과를 보고 다음 행동을 결정하는 설계가 있습니다. 마치 의사가 환자를 진찰하고 검사를 진행한 후, 그 결과를 보고 다음 검사를 결정하는 흐름과 유사합니다. 처음부터 모든 절차를 고정하기보다, 도중에 얻은 정보에 따라 진행 방식을 바꿉니다.

ReAct는 추론과 행동을 번갈아 진행하는 대표적인 방식입니다. Yao 등의 연구에서는 언어 모델이 추론 기록과 외부 환경에 대한 행동을 결합하는 방법을 제시했습니다.

하지만 모든 조사형 AI 제품이 ReAct를 그대로 구현하고 있는 것은 아닙니다. 제품의 화면이 비슷해 보여도, 내부의 계획 방법, 검색 방법, 활용 가능한 도구는 다릅니다.

• 중간 경과를 확인할 수 있다면, 검색 방침이 요청과 벗어나지 않았는지 확인해야 합니다.
• 조사의 목적, 대상 기간, 지역, 우선하는 정보원을 처음에 전달해야 합니다.
• 원치 않는 방향으로 진행되었다면, 완료를 기다리지 않고 조건을 수정해야 합니다.
• 최종 답변뿐만 아니라 어떤 자료를 어떻게 사용했는지도 확인해야 합니다.

조사형 AI의 가치는 검색 횟수가 많은 것이 아니라, 결과를 읽고 다음 행동을 바꿀 수 있다는 점에 있습니다.

단순한 검색 기반 응답은 얻어낸 검색 결과를 사용하여 답변을 만듭니다. 반면, 반복형 RAG나 조사 에이전트는 발견된 단서를 바탕으로 추가적인 검색을 수행하는 경우가 있습니다. 이는 도서관에서 한 권의 책 각주를 통해 다른 책을 찾아보고, 그 책의 참고 문헌을 거슬러 원 자료까지 추적해 나가는 방식과 같습니다. 처음 검색어로 찾지 못한 정보에 인물명, 논문명, 제도명 등을 단서로 삼아 접근합니다.

여기서 주의할 점은 검색 결과 건수와 독립적인 근거 개수는 같지 않다는 것입니다. 여러 페이지가 같은 발표나 기사를 그대로 베껴 썼을 뿐이라면, 근거가 늘어났다고 할 수 없습니다.

• 2차 정보에서 가능한 한 1차 자료나 원전을 추적해야 합니다.
• 여러 기사가 동일한 출처에 의존하고 있지 않은지 확인해야 합니다.
• 검색 결과에 없는 반대 의견이나 예외 조건도 찾아야 합니다.
• 건수가 아니라, 출처의 독립성과 주장을 지탱하는 범위를 봐야 합니다.

'많이 발견되었다'와 '확인되었다'는 다릅니다.

긴 조사를 할 때는 검색 결과, 읽은 자료, 중간 판단, 미해결 의문점이 계속 늘어납니다. 하지만 AI가 한 번에 처리할 수 있는 정보량에는 구현상의 상한이나 비용이 있습니다.

이는 마치 장기 취재를 하는 기자가 너무 많이 쌓인 메모를 전부 가지고 다닐 수 없어 요점을 적거나 자료실에 맡기는 것과 같습니다.

따라서 조사형 AI에서는 이력을 요약/압축하거나, 외부 저장소에 보관하거나, 필요한 부분만 재획득하는 등의 문맥 관리가 사용됩니다.

한편, 너무 압축하면 예외 조건, 수치의 전제, 반대 증거 등이 누락될 가능성이 있습니다. 요약이나 외부 메모를 사용한다고 해서 반드시 완벽하게 기억할 수 있는 것은 아닙니다.

• 긴 조사는 논점별로 구분하고, 중간 성과를 저장한다
• 중요한 수치, 인용구, URL, 페이지 번호는 요약과는 별도로 남긴다
• 최종 보고서에서 중요해진 근거를 원 자료로 돌아가 재확인한다
• 조사를 재개할 때는 이전의 요약뿐만 아니라 미해결 사항도 전달한다

장기 메모리(Long-term memory)의 유무뿐만 아니라, 무엇을 남기고, 무엇을 압축하며, 어떻게 꺼내내는가가 결과에 영향을 줍니다.

숙제하는 방식에 비유하면 다음 세 가지로 정리할 수 있습니다.

• 교과서와 손에 있는 자료만으로 작성하기
• 모르는 어휘를 검색해서 작성하기
• 주제 전체에 대해 자료를 따라가며 비교하며 보고서를 정리하기

| 관점 | 외부 검색을 사용하지 않는 응답 | 단순한 검색이 포함된 응답 | 반복적인 조사 |
|---|---|---|
| 주요 단서 | 학습된 정보와 입력 자료 | 검색한 자료도 참조 | 검색 결과를 보고 추가 조사 |
| ... |
이는 개념상의 비교일 뿐, 제품의 모드 이름과 일대일로 대응되는 것은 아닙니다. 실제 제품은 검색(Search), RAG, 코드 실행(Code execution), 파일 처리(File processing), 다중 에이전트(Multiple agents) 등을 조합하고 있는 경우가 있습니다.

또한, 복잡한 메커니즘이라고 해서 항상 우수한 것은 아닙니다. Anthropic의 기술 해설에서도 먼저 단순한 방법부터 시작하여 성능상의 개선이 확인될 경우에만 복잡성을 늘리는 사고방식이 제시되었습니다.

• 외부 검색 없음: 문장 정리, 초안 작성, 형식 변환, 입력 자료 내 요약 -
• 검색 포함 응답: 현재 사양, 제한된 사실, 공식 정보 확인 -
• 반복적인 조사: 여러 자료 비교, 논점 정리, 긴 조사 보고

필요한 정확성, 조사 범위, 시간, 비용에 맞춰 선택하는 것이 중요합니다.

검색할지, 어떤 검색어를 사용할지, 얻은 결과를 읽고 추론을 계속할지. 이러한 행동의 선택 자체를 최종 답변의 성공 여부로부터 강화학습(Reinforcement Learning)으로 최적화하는 연구가 있습니다.

지도 없이 낯선 거리를 걸으며 막다른 길에 부딪힐 때마다 돌아오면서 목적지에 도착하기 쉬운 길을 배워가는 것과 같습니다.

Search-R1에서는 모델이 추론 도중에 여러 번의 검색 쿼리(search query)를 생성하고, 검색 결과를 사용하면서 답변하는 방법을 결과 기반 보상으로 학습시켰습니다.

다만, 최종 답변이 정답과 일치했다는 것이 '필요한 자료를 모두 조사했다', '인용이 모두 정확하다', '중요한 반대 증거를 놓치지 않았다'는 것까지는 보장하지 않습니다.

• 정답률과, 조사 과정의 완전성을 분리하여 평가한다
• 답변이 올바르더라도, 근거와 인용의 대응을 확인한다
• 검색의 중단 조건이 적절한지 본다
• 시간이나 비용을 늘렸을 때, 품질이 실제로 개선되었는지 측정한다

조사하는 방법을 학습할 수 있어도, 조사의 완전성이나 결론의 타당성에는 사람에 의한 확인이 남아 있습니다.

조사형 AI는 짧은 시간에 많은 정보를 모으고 정리하는 강력한 도구입니다. 한편, 출처가 많거나 보고서가 잘 정리되어 있다는 것만으로는 결론의 정확성이 보장되지 않습니다.

실무에서는 다음 사항을 확인하면 좋을 것입니다.

• 조사 대상, 기간, 지역, 제외 조건을 명확히 했는지
• 1차 자료나 공식 정보로 돌아갔는지
• 여러 페이지가 같은 정보원을 복사하고 있지는 않은지
• 인용된 본문이 바로 앞의 주장을 정말 지지하는지
• 중요한 반대 증거나 예외 조건을 찾았는지
• 긴 조사 도중에, 중요한 근거가 요약에서 빠지지 않았는지
• 검색 횟수나 처리 시간이 품질 향상으로 이어졌는지

조사형 AI는 조사를 끝내는 도구라기보다는, 사람이 확인해야 할 범위를 효율적으로 좁혀주는 도구로 인식하는 것이 다루기 쉽습니다.

마지막으로, 전 5장에 걸친 요점을 5가지로 정리합니다.

• 중요한 결론은 출처로 돌아간다
  수치, 인용, 고유명사를 확인하고, 참조처가 실제로 존재하는지뿐만 아니라 그 결론을 지탱하는지를 확인한다. -
• 자신의 결론으로 유도하지 않는다
  먼저 중립적으로 질문하고, 반대 증거나 불확실한 점도 요구한다. 반론을 요구한다고 해서 정확성이 보장되는 것은 아니다. -
• 긴 자료는 원문을 남겨 확인한다
  논점별로 조사하고, 중요한 주장은 페이지나 인용 위치와 대조한다. 요약만으로 예외나 유보를 판단하지 않는다. -
• 실제 사용하는 조건으로 평가한다
  공개 점수뿐만 아니라, 자신의 업무 사례로 확인한다. 모델이나 설정이 바뀌면, 중요한 작업을 재확인한다. -
• 작동의 권한과 실행 내용을 확인한다
  전송, 삭제, 게시 등은 대상과 내용을 확인하고, AI에게 부여하는 연결처나 권한을 필요한 범위로 좁힌다.

AI를 과신하지도, 그렇다고 필요 이상으로 두려워하지도 않고, 특징을 이해하여 확인하면서 사용하는 것이 좋습니다. 본 시리즈가 그 판단 자료가 되기를 바랍니다.

• 황(Huang) 등, Deep Research Agents: 체계적인 검토 및 로드맵 (Systematic Examination And Roadmap), 2025년.
• 왕(Wong) 등, Deep Research Agents: 의료 AI를 위한 주요 돌파구인가 아니면 점진적 발전인가? (Major Breakthrough or Incremental Progress for Medical AI?), Journal of Medical Internet Research, 2026년.
• 야오(Yao) 등, ReAct: 언어 모델에서 추론과 행동의 시너지화 (Synergizing Reasoning and Acting in Language Models), ICLR, 2023년.
• 우(Wu) 등, ContextBudget: 장기 지평 검색 에이전트를 위한 예산 인식 컨텍스트 관리 (Budget-Aware Context Management for Long-Horizon Search Agents), 2026년.
• Anthropic, 효과적인 AI 에이전트 구축 (Building Effective AI Agents), 2024년.
• 진(Jin) 등, Search-R1: 강화학습 (Reinforcement Learning)을 통해 추론하고 검색 엔진을 활용하도록 LLM 훈련시키기 (Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning), 2025년.

※ 본 기사는 조사형 AI에 관한 연구 및 기술 해설을 바탕으로, 작동 방식의 차이를 실무적인 관점에서 정리한 것입니다. 제품별 명칭, 내부 구현, 검색 범위, 이용 가능한 도구는 다릅니다. 또한 출처가 제공된 답변이라도 자료 오인, 인용과 주장 불일치, 중요 문헌 누락이 발생할 가능성이 있습니다. 중요한 결론에서는 반드시 인용된 원문 본문과 조건을 확인해 주십시오.