첫 투여 전에 위험을 잡아내다: 과거 데이터를 기억하는 AI 의약품 안전성 검토기 구축

💡 한 문장 요약: 저는 새로운 의약품이 첫 임상 시험에 들어가기 전에 검토하고 모든 과거 약물 결과를 기억하여 매번 더 똑똑해지는 에이전트인 TrialSleuth AI를 구축했습니다.

🚀 실시간 데모 체험하기 · 💻 코드 보기

🧪 첫 투여는 가장 무서운 순간입니다

모든 신약은 결국 인간에게 처음으로 투여되는 날을 맞이합니다. 이때쯤이면 이미 실험실 테스트와 동물 연구를 거쳤습니다. 하지만 초기 임상 시험 참가자들은 여전히 때때로 피해를 입기도 합니다.

나중에 이러한 사례들에 대해 읽어보면, 그중 상당수는 예측 가능해 보입니다:

무엇이 잘못되었는지	이전에 알려졌는가?
유사한 분자가 간에 손상을 입힘	✅ 예, 같은 계열의 이전 약물에서
...

지식은 존재했습니다. 단지 오래된 보고서, 논문, 사람들의 기억 속에 흩어져 있을 뿐이었습니다.

그래서 저는 스스로에게 질문했습니다: 만약 모든 과거 약물 결과를 기억하고, 누군가 첫 투여를 하기 전에 새로운 의약품을 그 모든 것과 비교할 수 있는 도구가 있다면 어떨까?

📋 TrialSleuth가 하는 일

제약팀은 계획 회의에서 설명하듯이 자신들의 약물을 다음과 같은 방식으로 기술합니다:

🧬 무엇인가: 조성 및 화학적 특성
💊 얼마나: 투여량과 증가 방식
👥 누구에게: 어떤 환자들이 참여할 수 있는지
🗓️ 어떻게: 임상 시험 설계
🔗 무엇과 함께: 허용되는 다른 약물들
🔬 우리가 아는 것: 지금까지의 실험실 결과

TrialSleuth는 명확한 검토 결과를 제공합니다:

전반적인 위험 수준 (높음, 중간 또는 낮음)
신체 시스템별 위험 (간, 심장, 신장 등), 각 위험에 사용된 증거와 함께
제안되는 변경 사항: 시작 용량 낮추기, 환자 그룹 제외하기, 상호작용하는 약물 금지하기, 한 사람에게 먼저 투여하기
누구에게도 투여되기 전에 실행해야 할 테스트들
검토의 한계: 기억이 알려줄 수 없는 것들

👉 샘플 TrialSleuth 보고서 보기 클릭

위험 수준: 높음 - 인간 투여 전 변경 필요

시스템	위험성	근거 (ID)
간(Liver)	Child-Pugh B 환자에서 2~3배 높은 노출; 강력한 CYP3A4 억제제와의 상호작용	HB-02, HB-03, PC-101, PC-102
...

제안된 변경 사항

간 데이터가 확보될 때까지 Child-Pugh B 환자 제외 (HB-02)
14일의 워시아웃(washout)이 필요한 강력한 CYP3A4 억제제 금지 (PC-102)
나머지 참가자 투여 전에 선행 감시 참가자 한 명에게 먼저 용량을 투여하고 기다릴 것 (PC-801)
hERG 분석을 수행하고 ECG 모니터링 추가 (PC-702)

이것은 보고서 형식의 예시입니다. 알려진 위험 요소를 표시할 뿐, 약물이 안전하다고 선언하지는 않습니다.

⚠️ 제가 절대 어기지 않은 규칙: TrialSleuth는 어떤 약물도 "안전하다"거나 "효과가 있다"고 말하지 않습니다. 어떤 소프트웨어도 그것을 보장할 수 없습니다. 이 시스템의 역할은 인간 투여 전에 알려진 위험 요소를 설계 단계에서 제거하도록 하는 것이며, 이를 통해 전문가들이 더 나은 계획을 세울 수 있도록 돕는 것입니다.

🤖 ChatGPT에 단순히 질문하면 안 되는 이유

일반적인 AI 챗봇은 사용자가 채팅창에 붙여넣은 내용만 알고 있으며, 채팅이 끝나면 그것을 잊어버립니다. 약물 검토를 요청하면 다음과 같은 답변을 얻게 됩니다:

"간 기능을 모니터링하십시오. 약물 상호작용을 주의 깊게 관찰하십시오."

이는 합리적으로 들리지만, 너무 일반적입니다. 실제 과거 사례와 연결되어 있지 않으며, 학습하지도 않습니다.

진짜 안전 전문가의 작업 방식은 다릅니다. 그들은 이전에 무엇이 잘못되었는지, 그리고 그것을 무엇이 고쳤는지를 기억합니다. 이것이 바로 AI에게 **에이전트 메모리(agent memory)**가 제공하는 것입니다. 이 개념이 새롭다면 Vectorize에서 훌륭한 설명을 볼 수 있습니다: 에이전트 메모리란 무엇인가?

🧠 Hindsight를 이용해 에이전트에게 기억을 부여하기

저는 Vectorize가 개발한 오픈 소스 에이전트 메모리 시스템인 Hindsight를 기반으로 메모리 레이어를 구축했습니다. 저는 Python 클라이언트를 사용하여 Hindsight Cloud를 사용했으며, Hindsight 문서 덕분에 제로 상태에서 작동하는 메모리까지 빠르게 도달할 수 있었습니다.

이 에이전트는 네 가지 간단한 연산을 사용합니다:

How the agent uses Hindsight memory: create bank, retain, recall, reflect

Operation	TrialSleuth가 이를 활용하는 방법
🏦 뱅크 생성 (Create bank)	하나의 메모리 뱅크인 `drug-safety-memory`를 ID, 용량(dose), 백분율(percentage)을 정확하게 보존하도록 지시함.
...

GitHub logo vectorize-io / hindsight

Hindsight: 학습하는 에이전트 메모리 (Agent Memory That Learns)

Hindsight Banner

Documentation • Integrations • Cookbook • Benchmarks • Paper • Hindsight Cloud

GitHub Trending Repository of the Day

Hindsight란 무엇인가?

Hindsight™는 시간이 지남에 따라 학습하는 더 똑똑한 에이전트를 만들기 위해 구축된 에이전트 메모리 시스템입니다. 대부분의 에이전트 메모리 시스템은 대화 기록을 회상하는 데 초점을 맞춥니다. 반면, Hindsight는 단순히 기억하는 것이 아니라 학습하는 에이전트를 만드는 데 중점을 둡니다.

hindsight-learning-demo.mp4

이는 RAG(검색 증강 생성)나 지식 그래프(knowledge graph)와 같은 대체 기술의 단점을 제거하고 장기 메모리 작업에서 최첨단 성능을 제공합니다.

🆕 Hindsight Models 소개: 에이전트 메모리를 위해 구축된 의사결정(decision), 재순위화(rerank) 및 임베딩 모델입니다. [Hugging Face]에서 오픈 웨이트로 제공되거나, Hindsight Inference에 호스팅됩니다. 게시물 읽기 →

GitHub에서 보기

모든 기억에는 신체 사실에 대한 HB-02나 과거 약물에 대한 PC-102와 같은 ID가 있습니다. 언어 모델(Groq, openai/gpt-oss-120b 실행)은 모든 주장에 대해 ID를 인용해야 합니다. 이렇게 하면 각 요점을 추적할 수 있게 되며, 앱은 사이드 패널에 정확히 무엇이 회상되었는지 보여주므로 검토자가 스스로 증거를 확인할 수 있습니다.

✨ 작동 원리가 명확해진 순간

저희가 시연하는 약물은 HLV-772라는 가상의 암 치료제입니다. 이 계획에는 몇 가지 미묘한 문제가 숨겨져 있습니다: 간 기능이 약한 환자도 투여 대상에 포함되고, 6명이 같은 날 용량을 받고 있으며, 다른 약물 금지 규정은 없습니다.

Same drug, same question, with and without memory

😶 Memory OFF: 증거가 없는 일반적인 답변입니다.
🧠 Memory ON: HB-02(간 기능이 약하면 혈중 약물 농도가 2~3배 높을 수 있음)와 PC-102(특정 일반 의약품으로 인해 수치가 2.5배 높아졌던 유사 약물)를 인용하여 간 위험을 표시했습니다. 이는 지난번에도 효과가 있었던, 첫 투여 전에 해당 약물을 금지할 것을 제안했습니다.

그런 다음 저는 새로운 결과 하나를 가르쳤습니다: 동물 실험에서 심장 리듬에 영향을 준 유사 약물(PC-702). 동일한 검토를 다시 실행하자, PC-702를 인용하며 투여 전 ECG 모니터링 및 심장 검사를 요청하는 완전히 새로운 ❤️ 심장 항목이 나타났습니다.

One new result, and the next review is better

🌱 새로운 결과 하나를 한 번 저장하면, 모든 미래 검토가 개선됩니다. 이 학습 루프(learning loop)가 핵심입니다.