당신의 아이디어는 얼마나 견고합니까? 강함이란 그것을 무너뜨리려는 정직한 시도에서 살아남는 것입니다

요약 (TL;DR). 가설은 그것을 무너뜨리려는 의도적이고 유능한 시도에서 살아남은 정도만큼만 강력합니다. 그것을 '견고함 (hardness)'이라고 부릅시다. 확인 (Confirmation)은 주장을 확립할 수 없습니다. 하나의 반례가 주장을 반박할 수 있는 반면, 아무리 많은 동의가 있어도 증명을 끝낼 수는 없기 때문입니다. 따라서 강함은 무너뜨리는 측면에서 읽어내야 합니다. 이는 Popper의 입증 (corroboration, 주장은 반박에서 살아남음으로써 지위를 얻으며 결코 검증되지 않는다)과 Mayo의 엄격성 (severity, 테스트는 오류가 존재했을 경우 그것을 발견했을 확률이 매우 높을 때만 유효하다)을 재진술한 것입니다.

매년 빠지기 쉬워지는 함정이 하나 있습니다. 당신에게 어떤 주장이 있습니다. 몇 가지 출처를 확인하거나 유능한 보조원 몇 명에게 물어보면 그들은 동의합니다. 내용이 깔끔하게 읽히고, 이미 결론이 난 것처럼 들립니다. 하지만 그 중 어느 것도 그 주장이 훌륭하다는 것을 의미하지 않습니다. 동의는 값싸며, 당신은 결코 그 주장을 위험에 빠뜨리지 않았기 때문입니다.

많은 출처와 도구들을 결합하여 합성을 진행할수록, 종종 AI를 활용하여 더 깊이 파고들수록 이 함정은 더욱 날카로워집니다. 좋은 합성 (synthesis)은 설계상 일관성 (coherent)이 있으며, 일관성은 강함처럼 느껴집니다. 따라서 당신은 지위를 획득한 주장과 단지 완성된 것처럼 들리는 주장을 구별할 방법이 필요합니다. 그 방법은 주장이 얼마나 확정된 것처럼 보이는지를 묻는 것을 멈추고, 그것을 무너뜨리기가 얼마나 어려운지를 묻기 시작하는 것입니다.

왜 확인은 증명이 아닌가: 강함은 무너뜨리는 측면에 존재한다

테스트는 불균형합니다. 하나의 확실한 반례가 일반적인 주장을 침몰시킬 수 있는 반면, 아무리 많은 동의가 있어도 그것을 완전히 증명할 수는 없습니다. 이는 나쁜 소식처럼 들리지만, 사실 이것이 방법론의 전부입니다. 당신은 결코 확인을 끝낼 수 없으므로, 당신은 그것을 무너뜨리려고 얼마나 열심히 노력했음에도 실패했는지를 통해 강함을 측정합니다.

과학 철학에는 이를 설명하는 두 가지 정밀한 버전이 있습니다. Karl Popper는 이를 입증 (corroboration)이라고 불렀습니다. 즉, 어떤 주장은 그것을 반박하려는 진지한 시도에서 살아남음으로써 지위를 얻으며, 결코 "증명되었다"는 단계로 졸업할 수 없고 오직 "가혹한 테스트 하에서 지금까지 버텨냈다"는 단계에만 도달할 수 있다는 것입니다. Deborah Mayo는 엄격성 (severity)이라는 개념으로 기준을 더욱 날카롭게 다듬었습니다. 어떤 주장이 잘 테스트되었다는 것은, 만약 오류가 있었다면 그것을 잡아냈을 확률이 매우 높은 검증을 통과했을 때에만 해당됩니다. 오류를 그냥 통과시켜 버렸을 법한 약한 검증을 통과하는 것은 당신에게 거의 아무런 정보도 주지 못합니다.

이 두 가지를 결합하면 하나의 사용 가능한 단어를 얻을 수 있습니다. 어떤 주장이 그것을 깨뜨리려는 유능한 시도들에 저항한 정도에 따라 그 주장이 "견고하다 (hard)"라고 부르십시오. 이미 가지고 있는 숫자에 맞춰 재진술되거나, 동의를 얻거나, 끼워 맞춰진 주장은 그것이 아무리 자신감 있게 들리더라도 전혀 견고하지 않습니다. 견고함은 오직 그 주장이 실패할 수도 있었던 테스트를 통과함으로써만 얻어집니다.

회의론자(Skeptic) vs 비난자(Hater): 어떤 비판이 당신의 아이디어를 더 강하게 만듭니까?

이런 방식으로 강도를 측정하기 시작하면, 주장에 대한 두 가지 종류의 공격이 서로 다르게 보이기 시작하며, 그 차이는 어느 쪽이 더 예의 바른지와는 아무런 상관이 없습니다.

**회의론자 (skeptic)**는 테스트를 향해 칼을 휘두릅니다. 그들은 당신의 주장이 실패하게 될 조건이 무엇인지 말해주며, 그 조건은 검증 가능합니다. 실행해 보십시오. 만약 주장이 무너진다면, 좋습니다, 그럴 만한 가치가 있었습니다. 만약 살아남는다면, 그것은 한 시간 전보다 더 견고해진 것입니다. 왜냐하면 그것을 깨뜨릴 실제 기회가 소진되었음에도 불구하고 버텨냈기 때문입니다. 회의론자는 어느 쪽이든 당신을 더 나은 상태로 만듭니다.

**비난자 (hater)**는 결론을 향해 칼을 휘두릅니다. 그들은 대상이 무너지기를 원할 뿐이며, 그 대상이 통과하거나 실패할 수 있는 어떠한 테스트도 제시하지 않습니다. 비난자로부터 살아남는다 해도 당신은 얻은 것이 없습니다. 왜냐하면 살아남아야 할 테스트 자체가 없었기 때문입니다. 따라서 모든 반대에 대해 던져야 할 질문은 명확합니다. "이 반대가 제안하는 테스트는 무엇이며, 내 주장이 그 테스트에서 실패할 수도 있었는가?" 만약 답이 없다면, 당신은 회의론자의 옷을 입은 수사학 (rhetoric)을 보고 있는 것이며, 죄책감 없이 그것을 제쳐두어도 좋습니다.

이것은 또한 타인의 아이디어에 어떻게 도움이 될 수 있는지도 알려줍니다. 주장이 실패할 수 있는 방법과 그것을 확인할 수 있는 방법을 제안하는 것은 선물입니다. 결론을 향해 휘두르는 것은 소음일 뿐입니다. 전자는 구축하고, 후자는 단지 무너뜨릴 뿐입니다.

"여기서부터는 나아갈 길을 모르겠습니다,"가 아닌 "이것은 벽입니다"

엄격한 규율이 강제하는 습관이 하나 더 있는데, 그것은 바로 언어에 관한 것입니다. 막혔을 때, 그 정체 상태를 세상에 대한 사실로 기록하고 싶은 유혹에 빠지기 쉽습니다. 즉, "이것은 불가능하다", "이것은 벽이다"라고 말이죠. 하지만 "불가능"은 당신이 할 수 있는 가장 강력한 주장 중 하나이며, 피곤하다는 사실은 그 주장에 대한 증거가 될 수 없습니다.

정직한 버전은 위치 기반적입니다: "여기서부터는 나아갈 길을 모르겠습니다." 이는 한계를 당신의 현재 관점이라는 실제 위치에 머물게 합니다. 이 관점은 새로운 방법, 새로운 도구, 혹은 더 나은 질문을 통해 이동할 수 있습니다. 탈진 상태에서 선언된 벽은 그저 결과라는 의상을 입은, 검증되지 않은 추측일 뿐입니다. 이는 서두에서 언급한 함정에 빠지기 쉬운 상황에서 가장 중요합니다. 즉, 언제든 보조자(assistant)에게 한 번 더 물어보고 또 하나의 확신에 찬 답변을 얻을 수 있을 때, 지도에 그려진 한계와 피로로 인한 한계 사이의 차이가 당신을 정직하게 유지해 주는 유일한 요소입니다.

이것이 실제로는 어떻게 나타나는가

엄격한 테스트란 당신의 아이디어가 낙제할 수도 있었던 테스트를 의미합니다. 일반 상대성 이론(general relativity)이 태양을 지나는 별빛이 이전 물리학이 허용했던 것보다 약 두 배 더 굴절될 것이라고 예측했을 때, 1919년의 일식 결과가 더 작고 오래된 수치로 나왔다면 그 이론은 정말 큰 곤경에 처했을 것입니다. 하지만 결과는 반대로 나왔습니다. 실패의 가능성이 열려 있었기에 그 테스트는 가치가 있었습니다.

반면, 테스트가 아닌 것은 그 무엇도 낙제시킬 수 없는 것입니다. 당신이 이미 보유한 데이터에 모델이 일치할 때까지 조절 노브(tuning knobs)를 돌리는 것은 구조적으로 실패할 수 없으므로, 어떠한 견고함(hardness)도 얻을 수 없습니다. 합성 작업(synthetic work)에서 뼈아프게 다가오는 버전은 동일하게 훈련된 보조자들 사이의 일치입니다. 이는 여러 개의 모자를 쓴 하나의 테스트일 수 있으며, 이를 여러 개의 독립적인 확인으로 취급하는 것이 경계해야 할 실수입니다.

따라서 예측이자 내기는 다음과 같습니다. 당신의 주장들을 그것을 무너뜨리려는 실제 시도들로부터 얼마나 살아남았는지에 따라 정렬하고, 이와는 별도로 얼마나 많은 소프트 컨퍼메이션 (soft confirmations, 부드러운 확인)을 수집했는지에 따라 정렬하십시오. 첫 번째 정렬 방식은 어떤 주장들이 나중에 유지되는지를 추적할 것입니다. 두 번째 방식은 그렇지 못할 것입니다. 만약 소프트 컨퍼메이션 (soft confirmations)이 내구성 (durability)을 똑같이 잘 예측할 수 있다면, 강함 (hardness)이라는 단어는 공허한 말이 될 것이며, 당신은 다시 단순히 고개를 끄덕이는 횟수를 세는 것으로 돌아갈 수 있을 것입니다. 저는 그것이 불가능하다고 생각합니다.

출처

• Popper, K. (1959). The Logic of Scientific Discovery. 입증 (Corroboration): 주장은 반박 시도에서 살아남음으로써 지위를 얻으며, 결코 검증 (verified)되지 않는다.
• Popper, K. (1963). Conjectures and Refutations. Routledge.
• Mayo, D. G. (2018). Statistical Inference as Severe Testing. Cambridge University Press. 엄격성 (Severity): 주장은 만약 오류가 있었다면 아마도 찾아냈을 테스트를 통과한 정도만큼 정당성을 얻는다.