과학 연구용 Agent Skills 모음 테스트: 통계 스킬은 '결론'이 아닌 '근거의 질'을 바꿨다

필자는 해외 AI 관련 뉴스를 매일 1건씩 검증하여 발신하는 챌린지의 17일차로, K-Dense-AI/scientific-agent-skills(MIT, 구 Claude Scientific Skills)를 검증했다. 생물학, 화학, 의학, 물리, 데이터 분석 등 폭넓은 연구 분야를 커버하는 Agent Skills 모음으로, 실제로 세어본 결과 177종의 스킬이 수록되어 있었다.

결론부터 말하자면, statistical-analysis 스킬은 스킬이 없는 상태에서도 Claude Code 자체가 이미 통계적으로 올바른 결론에 도달하고 있었다. 이 스킬이 바꾼 것은 '결론'이 아니라, 실제로 코드를 실행하여 얻을 수 있는 검정통계량(test statistic), 효과 크기(effect size), 신뢰 구간(confidence interval), 민감도 분석(sensitivity analysis)이라는 '근거의 질'이었다. 화려한 정답/오답의 차이가 아니라, 심사(peer review)를 통과할 수 있는 보고서가 될지 여부라는, 지엽적이지만 실무적으로 중요한 차이를 발견한 검증이 되었다.

검증 대상 및 검증 범위

CLAUDE.md의 '당분간은 유료 API 키가 필수인 후보를 선택하지 않는다'는 방침에 따라, 177종 중 추가 API 키가 필요 없는 statistical-analysis (Pingouin/SciPy/statsmodels/PyMC 기반)와 literature-review (PubMed/arXiv 등의 공개 API 사용) 두 스킬로 범위를 좁혀 검증했다.

도입 명령어 자체(npx skills add K-Dense-AI/scientific-agent-skills)는 Claude Code의 auto mode classifier가 외부 코드 실행으로 일시적으로 차단하는 대상이었기 때문에, 실행 전에 사람에게 허가를 받았다. 또한, 이 리포지토리가 WSL의 UNC 경로(\wsl.localhost...)에 있기 때문에, Windows 버전 Node.js를 경유한 skills CLI 설치가 EPERM: operation not permitted, mkdir 'C:\Windows\.claude'로 실패하는 재현 가능한 환경적 문제에도 직면했다. 원인은 CLI의 내부 처리가 UNC 경로를 처리하지 못하고, CMD.EXE의 알려진 동작으로 인해 현재 디렉터리(current directory)가 C:\Windows로 폴백했기 때문이었다. Windows 로컬 경로(비-UNC)에서 실행하니 문제없이 성공했으므로, 그곳에서 도입한 후 파일을 복사하여 검증을 계속했다.

검증 1: statistical-analysis 스킬의 Before/After 비교

태스크 설계

가상의 소규모 파일럿 실험을 상정하고, 이상치(outlier)를 하나 섞은 두 그룹의 데이터를 준비했다.

Group A (treatment, n=6): 12, 15, 14, 13, 55, 14
Group B (control, n=9): 10, 11, 9, 12, 10, 11, 9, 10, 12

'이 두 그룹을 비교하려면 어떤 통계 검정을 사용해야 하는지, 이유와 함께 답하시오'라는 질문을 스킬 없음(텍스트 추론만) 조건과 스킬 있음(assumption_checks.py를 실제로 실행) 조건의 두 가지 경우에 claude -p에 던졌다.

Before: 스킬이 없는 답변

도구 사용을 금지한 상태에서도 Claude Code는 다음과 같이 답했다.

Use a non-parametric test — Mann-Whitney U (Wilcoxon rank-sum) — not a standard two-sample t-test.

• Outlier/non-normality problem: Group A has one value (55) that's wildly inconsistent with the rest...
• Unequal variances: ...heteroscedasticity, combined with unequal and very small sample sizes...
• Caveat: it's also worth asking whythat 55 occurred...

이상치/등분산성 문제/소표본이라는 타당한 근거를 제시하며 이미 올바른 결론(Mann-Whitney U)에 도달하고 있었다. 다만, 구체적인 검정통계량이나 p값은 전혀 제시되지 않았다.

After: 스킬을 사용했을 때의 답변

스킬의 지시에 따라 assumption_checks.py

실제로 Pingouin을 실행시켜 보았다(첫 번째는 Write 권한이 없어 생성하려던 스크립트 파일의 허가 대기 때문에 차단되었고, 권한을 추가하여 재실행했다). 실제 출력은 다음과 같다.

=== Descriptives ===
Group A: n=6, mean=20.50, sd=16.93, median=14.00
Group B: n=9, mean=10.44, sd=1.13, median=10.00
...

최종 결론은 Before와 마찬가지로 Mann-Whitney U였지만, '이상치를 제외할 경우 Welch 검정으로도 명확하게 유의미해진다'는 민감도 분석 수치까지 제시되었으며, 'n=6에서의 Welch 검정이 비유의하다는 결과를 '효과가 없다'고 해석해서는 안 된다(검출력 부족과 이상치의 왜곡이 원인)'라는 더욱 신중한 주의사항이 추가되었다.

Before/After 요약

검증 2: literature-review 스킬에서 알게 된 의외의 구조

같은 주제(Mann-Whitney 검정의 이상치 하에서의 거동)에 대해, literature-review 스킬을 사용해 PubMed/arXiv 공개 API만을 이용한 간이 문헌 조사를 진행하게 했다.

여기서 알게 된 것은, 스킬에 포함된 scripts/search_databases.py는 실제로 데이터베이스에 문의하는 스크립트가 아니었다는 점이다. --help를 보니 이미 획득한 검색 결과 파일을 로컬에서 중복 제거 및 랭킹만 하는 후처리 도구임이 명시되어 있었다. 실제 검색 자체는 Claude Code 본체가 SKILL.md의 지침에 따라 WebFetch로 API를 직접 호출하는 설계였다.

실행시켜 보니, arXiv에서 'Mann-Whitney AND outlier'가 0건이었다는 것을 계기로 검색어를 'robust', 'rank-sum', 'contamination' 등으로 바꿔가며 4가지 패턴을 시도했고, 최종적으로 `cat:stat.ME AND abs: