LLM 코딩 에이전트가 시계열 데이터에 대해 추론할 수 있는가?

대규모 언어 모델 (LLMs)은 금융, 의료 또는 환경 모니터링 분야의 자동 의사결정 시스템을 위해 점점 더 많이 사용되고 있습니다. 시계열 (Time series) 데이터는 이러한 분야에서 어디에나 존재하지만, 자동으로 처리하기는 어렵습니다. LLM 에이전트가 시계열 데이터를 분석할 수 있을까요? 우리는 세 가지 접근 방식을 조사합니다: 에이전트에게 가공되지 않은 수치 데이터 (raw numerical data)를 제공하는 방식, LLM을 코딩 에이전트 (coding agent)로 사용하는 방식, 또는 이 두 가지를 결합하는 방식입니다. 코딩 에이전트 설정에서 모델은 Python 코드를 사용하여 반복적으로 데이터를 쿼리합니다. 두 가지 시계열 이해 벤치마크를 사용하여, 코드 접근 권한이 있는 에이전트가 가공되지 않은 데이터를 처리하는 모델보다 최대 10% 더 높은 성능을 보일 수 있음을 보여줍니다. 그러나 가장 성능이 좋은 에이전트조차 여전히 질문의 약 22-34%를 잘못 답변합니다. 모델의 전략과 추론 격차 (reasoning gaps)에 대한 통찰을 얻기 위해, 우리는 강력한 LLM 판사 (LLM judge)를 사용하여 모델 출력을 분석합니다. 우리의 분석에 따르면 코딩 에이전트는 적절한 통계 테스트 (statistical tests)를 선택할 수 있지만, 종종 중요한 뉘앙스를 놓칩니다. 한편, 가공되지 않은 데이터에 접근할 수 있는 모델은 어림셈 (back-of-the-envelope calculations)을 사용하여 올바른 결론에 도달할 수 있습니다.