재현 가능한 데이터 엔지니어링을 위한 로컬 언어 모델 에이전트 평가: 이동 워크플로우에 대한 실증 소프트웨어 공학 연구

배경: 대규모 언어 모델(LLM) 에이전트는 소프트웨어 및 데이터 엔지니어링 보조 도구로 점점 더 많이 사용되고 있지만, 로컬 배포가 가능한 오픈 웨이트 에이전트에 대한 증거는 여전히 제한적입니다. 기존 평가는 완전한 엔지니어링 아티팩트의 유효성보다는 텍스트 응답이나 고립된 코드 생성에 중점을 두는 경우가 많습니다.

목표: 우리는 로컬 LLM 에이전트가 정확하고 재현 가능한 데이터 엔지니어링 아티팩트를 생성할 수 있는지 평가하고, 클로즈드 루프(closed-loop) 작업 공간 조건의 효과를 정량화하며, 모델 규모, 아키텍처, 양자화(quantization), 런타임, 도구 사용 및 실패에서의 트레이드오프를 검토합니다.

방법: 우리는 데이터 발견, 커넥터, 전송-피드 처리, 의미론적 풍부화(semantic enrichment), 피처 엔지니어링(feature engineering), 유효성 검사(validation), 시각화, 보고서 작성을 포괄하는 15가지 이동 워크플로우 작업에 대한 벤치마크를 소개합니다. 결정론적 체커(deterministic checkers)가 생성된 스크립트, 테이블, 구조화된 파일, 그림 및 보고서를 평가합니다. 하나의 샷(one-shot) 조건과 클로즈드 루프 조건에서 총 열 가지 로컬 구성을 평가했으며, 모델, 모드 및 작업당 다섯 번의 반복을 거쳐 소비자급 GPU에서 1,500회의 점수화된 시도가 이루어졌습니다.

결과: 두 가지 기가(billion) 이상의 파라미터를 가진 모델 중, 작업 공간 조건은 한-샷 생성 대비 패스율을 26.7~52.0 퍼센트 포인트 증가시켰습니다. 가장 강력한 구성은 아티팩트 수준에서 85.3%의 성공률에 도달했으며, 양자화된 90억 파라미터 모델은 약 6.5 GB 메모리 사용량으로 69.3%를 달성했습니다. 이러한 성능 향상은 중간 아티팩트가 에이전트가 검사하고 수정할 수 있는 오류를 노출할 때 가장 크게 나타났습니다.

결론: 로컬 오픈 웨이트 에이전트는 의미 있는 부분의 소프트웨어 집약적 데이터 엔지니어링 작업을 지원할 수 있지만, 신뢰성은 모델 역량, 작업 검증 가능성 및 결정론적 유효성 검사에 달려 있습니다. 이 벤치마크는 엔지니어링 워크플로우에 채택되기 전에 완전한 에이전트 구성을 평가하기 위한 재현 가능한 방법을 제공합니다.