논문의 사례를 재현하려면 부록에서 숨겨진 초매개변수를 찾아야 하거나, 모호한 공식 앞에서 멍하니 바라봐야 해요. 대형 모델에 바로 던져서 코드를 작성하게 하면, 실행은 되지만 어느 부분이 원저자의 의도인지, 어느 부분이 AI가 허공에 떠도는 상상으로…

요약

학술 논문의 사례를 재현하는 과정에서 발생하는 어려움(숨겨진 초매개변수, 모호한 공식 등)을 언급하며, 대형 언어 모델(LLM)에 코드를 생성하게 하는 방식의 한계를 지적합니다. LLM이 생성한 코드가 실행 가능하더라도, 그 내용 중 원저자의 실제 의도와 AI가 추론하여 채워 넣은 상상 사이의 경계를 구분하기 어렵다는 문제점을 제기하고 있습니다.

핵심 포인트

• 학술 논문 재현 과정에는 숨겨진 초매개변수나 모호한 공식 해석 등 어려움이 존재한다.
• LLM을 활용하여 코드를 생성할 경우, 실행 가능성은 높으나 원저자의 의도와 AI의 추론/상상이 혼재되어 구분이 어렵다.
• 단순히 코드가 작동한다는 사실만으로는 학술적 재현의 완전성을 보장하기 어렵다.