우리는 이 문제를 해결하기 위해 스스로를 위한 작은 도구를 만들었습니다. 이미 서버, 작업 및 통합(integrations)을 모니터링하고 있는 PicNet의 내부 모니터링 플랫폼이 이제 예약된 AI 뉴스 요약 작업을 실행합니다. 매일 아침, 우리가 중요하게 생각하는 소스 전반에서 지난 24시간 동안 발생한 일들을 요약하여 이메일로 보내주며, 각 항목은 실제 기사에서 요약되어 해당 기사로 연결되는 링크를 포함합니다. 실행 비용은 하루에 몇 센트에 불과합니다. 이 포스트는 이것이 어떻게 작동하는지, 처음에 무엇을 잘못했는지, 그리고 동일한 패턴을 보건 뉴스에 어떻게 적용할 수 있는지에 대해 설명합니다. 이는 우리의 Practical AI in Health 시리즈의 일부입니다.

독서 습관을 자동화해야 하는 이유

두 가지 이유가 있습니다. 하나는 지루한 이유이고, 다른 하나는 그보다 덜 지루한 이유입니다.

지루한 이유는 이 분야가 월간 업데이트보다 실제로 훨씬 빠르게 움직이기 때문입니다. 보건 서비스 제공업체는 2018년 제도가 시작된 이후 역대 최고 연간 총치를 기록하며, 1,205건의 통지 중 225건을 차지하여 금융 및 호주 정부를 제치고 2025년 호주에서 가장 많은 데이터 침해를 당한 부문이 되었습니다. 2025년 1월부터 6월 사이의 상반기에도 보건 분야는 다시 한번 부문별 표의 선두를 차지했으며, 평균 사이버 사고로 인해 10,000명 이상의 사람들이 피해를 입었습니다. 만약 당신이 데이터를 공유하는 벤더(vendor)가 화요일에 뉴스에 등장한다면, 당신은 6개월 단위의 통계가 나올 때가 아니라 바로 화요일에 그 사실을 알고 싶을 것입니다.

덜 지루한 이유는 자동화된 뉴스 분류 (triage)가 새로운 기술이 아니라 이미 확립된 공중 보건 관행이기 때문입니다. WHO는 2025년 10월, 자연어 처리 (NLP) 및 머신러닝 (machine learning)을 사용하여 매일 오픈 소스 기사를 분류하는 시스템인 Epidemic Intelligence from Open Sources의 버전 2.0을 출시했으며, 현재 110개 이상의 회원국이 이 플랫폼을 사용하고 있습니다. WHO의 아프리카 47개 지역 국가를 대상으로 한 2025년 평가에 따르면, 28개국에서 통보된 공중 보건 사건의 80% 이상에 대한 신호를 발견했으며, 22개국에서는 최소한 사건의 절반 이상이 공식 통보 전에 포착되었습니다. 우리의 요약 서비스(digest)는 질병 발생 대응팀보다는 IT 관리자의 편지함을 겨냥한, 동일한 개념의 아주 작은 버전입니다.

파이프라인 (The pipeline)

전체 과정은 정해진 일정에 따라 다섯 단계로 진행됩니다. 벡터 데이터베이스 (vector database), 에이전트 프레임워크 (agent framework), 미세 조정 (fine tuning)은 사용하지 않습니다.

• 매일 아침 예약된 작업 (scheduled task)이 실행되어 RSS 및 Atom 피드 목록에서 지난 24시간 동안의 항목을 가져옵니다.
• 제목과 피드 요약본은 우리의 독자를 설명하는 짧은 브리핑과 함께 LLM으로 전달됩니다. LLM은 보통 6080개 항목 중 확장할 가치가 있는 1020개의 하위 집합을 반환합니다.
• 선택된 URL은 스크래핑 (scraped)되어 기사 텍스트로 축소됩니다.
• 각 기사는 스크래핑된 텍스트만을 바탕으로 별도의 호출을 통해 개별적으로 요약됩니다.
• 요약된 내용들은 출처 링크와 함께 HTML 이메일로 조립되어 발송됩니다.

선택과 요약을 분리하는 것은 보기보다 훨씬 중요합니다. 피드 메타데이터 (metadata)는 비용이 저렴하며 관련성을 판단하기에 충분한 경우가 많으므로, 첫 번째 단계를 통과한 기사들에 대해서만 스크래핑 및 읽기 비용을 지불하면 됩니다. 이는 또한 비용이 많이 드는 단계가 노이즈 (noise)를 접하지 않음을 의미합니다.

근거 제시 (Grounding), 이것이 핵심 기술입니다

이 시스템을 신뢰할 수 있게 만드는 단 하나의 설계 결정은 모델이 절대로 기억에 의존하여 답변하지 않는다는 점입니다. 모델은 제공된 텍스트만을 요약하며, 그 외의 것은 수행하지 않습니다.

그에는 타당한 근거가 있습니다. BBC가 주도하고 18개국 22개 공영 미디어 기관이 참여하여 3,000개 이상의 평가된 응답을 조사한 EBU 연구에 따르면, 뉴스에 관한 AI 어시스턴트 답변의 45%가 적어도 하나 이상의 중대한 문제를 가지고 있는 것으로 나타났습니다. 출처(Sourcing)가 31%로 가장 심각한 카테고리였으며, 이 중 20%는 환각(Hallucination)된 세부 정보와 오래된 정보를 포함한 중대한 정확성 문제를 보였습니다. 이는 근거가 없는 회상(Ungrounded recall)의 실패 사례입니다. 챗봇에게 "오늘 보건 뉴스에서 무슨 일이 있었나요?"라고 묻는다면, 당신은 정확히 그 연구가 측정한 행동을 샘플링하는 것입니다. 반면, 모델에게 기사를 건네주고 그 기사를 압축(Compress)하라고 요청하면, 그러한 실패 모드(Failure mode)의 대부분은 사라집니다.

프롬프트(Prompt)는 짧고 대부분 금지 사항으로 구성되어 있습니다:

호주 보건 IT 청중을 위해 아래 기사를 2~4문장으로 요약하세요.

...

SKIP 경로는 제 역할을 다합니다. 스크래퍼(Scraper)가 조용히 실패할 경우, 탈출구(Escape hatch)가 없다면 모델은 쿠키 배너에 대해 자신 있게 요약문을 작성할 것입니다. 우리는 SKIP을 반환하는 모든 항목을 버리고 이를 로그(Log)에 기록하며, SKIP 비율이 상승하는 것은 대개 소스(Source)의 마크업(Markup)이 변경되었다는 첫 번째 신호입니다.

이메일의 모든 항목에는 출처 링크가 포함되어 있습니다. 요약이 이상하게 읽힌다면, 독자는 클릭 한 번으로 원문으로 이동할 수 있습니다. 이것이 인간의 검증(Human check)이며, 요약 성능이 좋아지더라도 설계 단계에서 반드시 유지되어야 합니다.

해당 연구에서 얻은 또 다른 교훈은 가끔씩 재테스트를 해야 한다는 것입니다. 모델의 동작은 고정되어 있지 않습니다. Gemini는 해당 라운드에서 응답의 76%에서 중대한 문제를 보였으나, 전체적인 비율은 BBC의 2025년 2월 재현 실험(Replication)에 비해 5%포인트 개선되었습니다. 어떤 모델을 선택하든, 일 년에 한두 번은 모델의 출력물을 원문 기사와 대조하여 일주일 치를 샘플링해 보십시오.

스크래핑 단계 (The scrape step)

보일러플레이트 제거 (Boilerplate removal)는 출력 품질을 조용히 망가뜨리는 부분입니다. BeautifulSoup와 같은 원문 텍스트 추출기(Raw-text extractors)는 Trafilatura의 공개된 평가에 따르면 약 0.99의 거의 완벽한 재현율 (Recall)을 보이지만 정밀도 (Precision)는 약 0.50 수준입니다. 이는 모델에 전달하는 내용의 절반이 내비게이션, 관련 기사 티저, 푸터(footer) 쓰레기라는 것을 의미합니다. 이는 단순히 토큰을 낭비하는 것뿐만 아니라, 모델이 요약문에 섞어버릴 수 있는 경쟁적인 헤드라인들을 제공하게 됩니다.

동일한 평가 보고서에 따르면, Trafilatura는 Bevendorff 등의 SIGIR 2023 비교 연구에서 ROUGE-LSum 평균 F1 점수 기준 가장 강력한 단일 도구로 보고되었으며, ScrapingHub의 벤치마크에서는 가장 효율적인 오픈 소스 라이브러리로 기록되었습니다. 저희가 전용 추출기를 사용하는 이유도 바로 이 때문입니다. 유료 결제 벽(Paywall)이 있거나 JS 렌더링(JS-rendered)이 필요한 소스는 여전히 실패할 것입니다. 솔직한 답변은, 스크래핑 군비 경쟁을 벌이기보다는 부분적인 커버리지를 수용하는 것입니다.

비용 (Cost)

이 부분은 사람들을 놀라게 합니다. GPT-5 Mini의 가격은 입력 토큰 100만 개당 약 0.25달러, 출력 토큰 100만 개당 약 2.00달러로 책정되어 있으며, Azure 가격은 입력 100만 개당 0.125달러만큼 저렴합니다. 기사당 약 1,500개의 토큰을 기준으로 50개의 기사를 스크래핑하고 요약하면 약 75K의 입력 토큰이 소모되므로, 프롬프트 캐싱 (Prompt-caching)이나 배치 할인 (Batch discount)을 적용하기 전이라도 1회 실행당 약 0.02달러가 듭니다. 토큰 비용으로 한 달에 1달러 정도라고 할 수 있습니다.

진정한 비용은 이를 구축하기 위한 15~20시간의 엔지니어링 시간과 피드(feed)가 끊겼을 때 지속적으로 기울여야 하는 주의력입니다. 그럼에도 매일 아침 피드를 읽는 분석가와 비교하면 여전히 저렴하며, 맞춤형 미디어 모니터링 구독 서비스보다는 훨씬 저렴합니다.

거버넌스 (Governance), 간단히

전적으로 공개된 뉴스를 기반으로 구축된 요약 서비스(digest)는 보건 기관이 실행할 수 있는 가장 안전한 첫 번째 AI 프로젝트입니다. 모델 근처에 환자 데이터가 전혀 접근하지 않으므로, 조직이 공개적으로 사용 가능한 생성형 AI (genAI) 도구에 개인정보나 민감한 정보를 입력해서는 안 된다는 OAIC의 명확한 지침을 우회할 수 있습니다. 동일한 지침이 여전히 적용됩니다. APP 10은 생성형 AI (genAI)의 확률적 특성을 고려하여 정확성을 보장하기 위한 합리적인 조치를 요구하며, AI 시스템을 도입하기 전에 개인정보 영향 평가 (Privacy Impact Assessment)를 수행할 것을 권장합니다.

이 서비스의 내용은 임상적이지 않으며, 계속해서 그러한 상태를 유지해야 합니다. 이 도구는 행정 및 산업 뉴스를 요약합니다. 환자 데이터를 해석하지 않으며, 원문을 읽지 않고 누군가가 행동에 옮길 수 있는 어떠한 권고도 하지 않습니다.

2025년 8월에 발표된 호주 의료 안전 및 품질 위원회 (Australian Commission on Safety and Quality in Health Care)의 AI 임상 사용 가이드 (AI Clinical Use Guide)는 권고 사항을 사용 전, 사용 중, 사용 후로 구조화하고 있으며, 자동화 편향 (automation bias)을 핵심 리스크로 지목하고 있습니다. 이러한 구조는 내부 도구에도 적용될 수 있습니다. 요약 서비스의 목적을 사전에 결정하고, 사람들이 읽는 동안 원문 링크를 계속 확인할 수 있게 하며, 주기적으로 출력물의 샘플을 검토하십시오. 여기서 실질적인 리스크는 자동화 편향 (automation bias)입니다. 매일 아침 요약 서비스가 도착하면, 사람들은 그 안에 포함되지 않은 내용은 발생하지 않은 것이라고 가정하기 시작합니다.

만약 귀하가 주 정부 보건 서비스나 다른 공공 기관에 종사하고 있다면, 2024년 6월에 합의된 정부 AI 보증을 위한 국가 프레임워크 (National Framework for the Assurance of AI in Government)에 따라 해당 도구를 매핑해야 합니다. 이 프레임워크의 5가지 보증 초석(assurance cornerstones)은 호주의 8가지 AI 윤리 원칙(AI Ethics Principles)을 기반으로 합니다. 리스크가 낮은 내부용 도구는 이해관계가 적은 상태에서 해당 프로세스를 처음부터 끝까지 경험해 보기에 좋은 대상입니다.

시작하는 방법

시간이 있다면 읽었을 법한 피드(feeds)를 8개에서 10개 정도 선정하되, 최소 하나는 호주의 무역 관련 소스를 포함하세요. 선택(selection)과 요약(summarisation) 과정을 별도의 호출(calls)로 실행하십시오. 모든 항목에 소스 URL을 첨부하세요. SKIP 규칙은 필요해지기 전에 미리 추가해 두십시오. 다른 사람에게 보내기 전에 2주 동안은 본인에게 먼저 보내고, 매일 몇몇 항목의 연결된 기사들을 직접 읽어보며 요약이 정확한지 확인하십시오.

PicNet은 호주 기업들을 위한 프로덕션 AI 시스템을 구축합니다. 첫 번째 프로젝트가 어떤 모습일지 저희에게 문의해 주세요.

원문은 picnet.com.au에 게시되었습니다.