논문의 분석을 브라우저에서 바로 재현하도록 하자는 요구는 일부 학술지에서 이미 규정하고 있음. Nature의 보고 기준에도 데이터 가용성과 컴퓨터 코드·알고리즘의 가용성 및 동료 심사 항목이 있음.
다만 scRNA-seq 처리 파이프라인을 재현해 본 제한적인 경험으로는, GitHub 링크 하나로 필요한 것을 얻을 수 있었던 적이 없음. 연구자들의 코드가 잘 정리되지 않은 경우가 많다는 점은 이해하지만, 이런 수준의 공개까지 가기는 쉽지 않아 보임. 그래도 충분히 추구할 만한 목표이며, 과거에 이런 환경이 있었다면 내게도 큰 도움이 됐을 것임.

내 논문에서도 원시 데이터부터 그림과 원고까지 이어지는 전체 파이프라인을 저장소에 담으려 하고, 다른 연구자에게도 권하고 있음. 계산 비용이 큰 분석과 확률적 시뮬레이션 결과는 캐시해 두고, 사용자가 캐시를 쓰거나 전체 파이프라인을 다시 실행하도록 하는 것이 목표임. 난수 시드도 원래 값 그대로 쓰거나 바꿀 수 있도록 함.
다만 한 번 실행하려고 만든 코드라 여러 용도에 맞춰 오래 다듬은 코드보다 지저분하다는 점은 명시함. GitHub의 향후 변화에 대비해 저장소를 Zenodo에도 보존하지만, 먼 미래에도 실행되게 만드는 일은 별개의 과제임. 컨테이너를 쓰더라도 30년 뒤에 그 기반 이미지를 구할 수 있을까?
무엇보다 실험 연구에서 이렇게 재현할 수 있는 것은 실험 자체가 아니라 분석임. 연구는 본질적으로 이해의 경계에서 이루어지고, 현실에는 아무도 생각하지 못했거나 중요하게 여기지 않은 변수까지 무수히 존재함.

재현성의 또 다른 걸림돌은 기초 데이터의 공개 여부임. 많은 연구자가 황금알을 낳는 거위를 내주는 일을 두려워하지만, 데이터 없는 소프트웨어는 쓸모없는 경우가 많음.
그래도 공개적으로 연구하는 과학자는 많으며, The Journal of Open Source Software가 그 예임. https://joss.theoj.org/.

특허를 두고 고민하는 연구자를 꽤 많이 봤음. 과학의 확산과 잠재적 수익 중 무엇이 먼저여야 할까? 황금알을 낳는 거위라는 비유는 학계의 어긋난 보상 구조와도 연결되는 듯함.
JOSS 같은 시도가 데이터와 그 황금 거위를 공개하는 데 도움이 될까? 내가 접하는 연구비 지원 기관들이 이런 활동을 인정해 줄지는 모르겠지만, 시간이 해결할 수도 있겠음.

JOSS에서 논문을 출판하고 심사도 해봤는데, 전통적인 학술지보다 훨씬 만족스러웠음. 심사 과정이 깎아내리기보다 개선을 돕는 쪽에 가까웠음. 새 심사 자원봉사자를 늘 찾는 것으로 알고 있으니, 여력이 된다면 참여해 주길 바람.

글의 취지에는 동의하지만 읽고 나니 씁쓸해짐. 의학만 봐도 과학이 본래 목적에서 얼마나 벗어났는지 떠올리게 됨. 인류의 건강 증진이 기업의 이해관계에 크게 좌우되는 구조는 납득하기 어려움. 연구에는 돈이 들어가니 독립적인 과학자가 연구하기 어렵고, 기업의 지원을 받으면 발견의 권리마저 기업에 돌아감.
자연에 존재하는 것을 발견하고 자기 소유라고 주장하는 것은 산에 올라가 “이제 내 것이니 통행료 100달러를 내라”고 하는 것과 다르지 않다고 봄. 과학까지 이런 접근 제한 구조에 갇힌 것은 발전을 가로막을 뿐임.
과학 혁명이 투명성·재현성·끊임없는 검증 덕분에 성공했다는 결론은 좋지만, 정작 이를 적용할지 결정하는 주체가 과학자가 아니라 정부 정책과 기업의 이해관계라는 점이 암울함.

과학이 이런 방향으로 가야 한다는 데는 동의하지만, 학계를 근본적으로 해체하거나 과학을 현대 학계와 분리하지 않는 한 실현되기 어렵다고 봄. 지금의 학술 보상 구조는 저질 연구에 출판 기회를 주는 반면, 시간이 오래 걸리는 양질의 연구는 출판되지 않거나 동료 심사에서 차단됨. 특히 화려한 결과가 p값 조작(p-hacking), 데이터에 과도하게 의존한 분석, 선택적 제시에 기대고 있음을 밝히는 연구가 그렇다고 봄.
데이터 비공개도 개인정보 보호를 핑계로 삼는 경우가 많음. 대다수 데이터셋은 식별 요소를 쉽게 제거할 수 있고, k-익명성을 고려해야 하는 복잡한 데이터도 핵심 분석을 재현할 정도로 공개하는 것은 어렵지 않다고 봄. 부실한 결과에 실질적인 경제적·개인적 대가가 따르는 기술·산업과 연결되지 않은 학술 연구는 점점 무의미해지고 있음. 이 글은 실제의 복잡한 현실과 너무 동떨어져 보임.

학계를 통째로 무너뜨리는 것은 끔찍한 발상이며, 고쳐야 할 것은 연구비와 보상 구조임. 연구와 자금 지원을 전부 산업계에 맡기면 기초연구를 할 유인은 어디서 생길까?
이 비판은 물리·생명과학, 공학, 인문학을 무시하며, 주로 사회과학과 의학의 일부 분야에만 적용됨. 재현성 위기 이후의 변화도 빠져 있음. 사전등록, 코드·데이터 전면 공개, 유의하지 않은 결과의 보고, 재현 연구 등이 점차 표준으로 자리 잡고 있음.

변화는 진행 중이며, 이런 글은 이미 달성한 현실을 묘사하는 것이 아니라 앞으로의 변화를 촉구한다는 점에서 필요함. 학계에서 보낸 27년 동안 데이터 공개와 자유·오픈소스 분석 소프트웨어가 크게 발전하는 것을 봤고, 특히 NCBI GEO는 판도를 바꿨음.
이제 영향력 있는 논문은 심사용 데이터와 코드를 제공하고 출판 시 공개하는 것이 널리 요구됨. 주요 학술지 대부분은 이를 갖추지 않으면 투고를 받지 않으며, 심사자에게 분석 코드 검토를 요청하는 일도 흔해지고 있음. 보충 그림을 포함해 모든 그림 생성 코드를 공개하는 논문도 늘어나는 추세임.
갈 길은 멀지만 어둠을 저주하기보다 촛불을 켜는 편이 나음. 산업과 연결되지 않은 학술 연구가 무의미해진다는 표현은 부당하며, 노벨 생리의학상 수상 목록만 봐도 반박됨. 응용 분야의 주요 돌파구는 대부분 누군가의 순수한 호기심으로 수십 년간 이어진 기초연구에서 나옴.

학계의 관행 상당수가 원래 목표와 어긋나 있다는 데는 동의하지만, 다른 제도나 조직도 마찬가지 아닐까? 과학적 방법을 기준으로 삼으면 허술한 논리와 저질 연구에 대한 보상을 피하고, 무엇보다 중심을 잡는 데 도움이 됨. 내 글이 순진할 수는 있어도, 지식을 재현 가능한 모델로 발전시키자는 이상은 지지함.

의학의 종설 논문은 대체로 막대한 시간 낭비라고 봄. 무작위 대조시험(RCT)은 수집한 복잡한 데이터를 공개하지 않고 몇 개의 숫자로 압축하며, 종설은 그중 질문에 맞는 논문만 골라 다시 압축함. 포함된 논문에 결함이 발견되거나 치료법·질문·대상 하위집단이 달라지면 종설을 다시 만들어야 함. RCT 원자료를 공개한다면 수만 시간의 작업을 GitHub 저장소 몇 개로 대체할 수 있음. 조금씩 다른 질문을 다룬 수십 년치 종설을 뒤지는 대신, 원하는 하위집단에 통계 분석을 반복 실행하면 됨. LLM 덕분에 대규모 데이터 탐색도 쉬워지고 있고, 몇 년 안에 신뢰할 만한 수준에 이를 가능성이 높아 현 방식은 더욱 낡아 보임.
더 나아가 병원이 데이터를 지속적으로 공개할 수도 있음. 위험만큼 이익도 고려해야 함. 병원은 매일 수많은 미해결 의학적 상황을 마주하지만, 그중 99.99%는 당시 근무하던 소수만 살펴보고 끝남. 원인을 밝히지 못한 사망조차 학술지가 관심을 갖지 않거나 의료진이 실수를 추궁당할까 두려워해 공개되지 않음. 병원은 끊임없이 진행되는 흥미로운 실험인데, 거의 모든 결과가 버려지고 공개된 데이터에는 극심한 선택 편향이 생기는 셈임.
데이터를 상당히 잘 익명화하는 것은 쉽지만 완벽한 익명성을 보장하기는 매우 어려움. 현재의 윤리 규범은 작은 위험에도 극도로 민감하면서 잠재적 이익을 대체로 무시해 모두가 손해를 본다고 생각함. 데이터가 공개됐더라면 예방할 수 있었을 원인으로 이 글을 읽는 누군가가 언젠가 사망할 가능성도 무시하기 어려움.

과학은 개방적이지만, 과학은 소프트웨어가 아니며 소프트웨어도 과학이 아님.

전반적인 취지에는 동의하지만, 환경 전체를 복제하기보다 JVM이나 WebAssembly 같은 가상 머신 명세 위에 재현 가능한 프로그램을 구현해야 함. 이쪽이 더 실용적이고 소프트웨어의 중앙집중화를 부추기지도 않음. 운영체제와 가상 머신 구현은 사용자가 자유롭게 선택하거나 직접 만들 수 있어야 함.

원칙적으로 동의하지만, 철학적으로는 C나 어셈블리, 나아가 디지털 컴퓨터에도 같은 논리를 적용할 수 있지 않을까? 특정 추상화 계층 자체보다는 명확한 정의와 폭넓은 보급이 더 중요해 보임.

전통적인 소프트웨어는 물리학과 수학의 증명을 보여주는 좋은 수단이라고 생각함. 원하는 언어로 정리를 구현하고 출력이 예상값과 일치하는지 확인할 수 있음.
특히 DeepMind 같은 연구소에 매료됨. 진단 전에 질병을 예측하는 최첨단 모델의 발전은 놀라우며, AI가 지향해야 할 용도가 바로 이런 것이라고 봄.

모델이 기존 과학의 성과를 구현하고 그 위에 쌓일 때 엄청난 상승효과가 생김. 다만 LLM이 인간보다 훨씬 똑똑해지면 왜 인간을 계속 참여시킬까? 최근 필즈상 수상자들의 서한과도 연결되는 질문 같음. https://mathandai.org/.

내가 용어와 정의를 어떻게 입맛대로 골라 썼는지 구체적으로 듣고 싶음. The Turing Way는 좋아 보이고 교육에도 찬성하지만, 이 논의에서 특히 흥미로운 부분은 공개를 장려하는 보상 구조를 어떻게 만들지임. 방법을 아는 것만으로는 부족하며, 학계와 산업계 모두에서 공개에 기여한 공로를 인정받도록 해야 함.