대규모 언어 모델을 활용한 과학 코드 작성: 유한 요소 해석 분석 사례
요약
본 연구는 LLMs를 활용하여 과학 코드(FEM 분석) 작성의 가능성을 탐구했습니다. 에이전트 기반 실행 환경은 단일 패스보다 일관성을 높였으나, 성능 향상은 모델과 하네스에 따라 달랐습니다. 실패 추적 분석 결과, 부적절한 테스트 커버리지와 독립적인 검증의 중요성이 주요 장애물로 밝혀졌으며, 별도의 코더/테스터 에이전트 구성이 가장 높은 점수를 기록했습니다.
핵심 포인트
- 에이전트 기반 실행은 단일 패스보다 코드 일관성을 향상시켰습니다.
- 가장 흔한 실패 원인은 부적절한 테스트 커버리지(73.1%)였습니다.
- 독립적인 코더 및 테스터 에이전트를 사용했을 때 가장 높은 성능을 보였습니다 (Pass@3: 97.6%).
- LLM 생성 과학 코드를 신뢰하려면 시도 간의 일관성과 독립적 검증이 필수입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기