다국어 시나리오에서의 로그 문장 생성을 위한 언어 모델 활용: 우리는 어디까지 왔는가?

로그 문장(Log statements)은 테스트, 디버깅, 장애 분석과 같은 소프트웨어 유지보수 활동을 위한 중요한 정보를 포착합니다. 이러한 중요성 때문에 개발자는 많은 노력을 들여 로그 문장을 신중하게 설계해야 합니다. 개발자를 지원하기 위해 다양한 엔드 투 엔드(end-to-end) 자동 로그 문장 생성 방식들이 제안되어 왔으나, 이러한 방식들은 주로 단일 프로그래밍 언어 환경 내에서만 평가되었으며 다국어 환경에서의 효과성은 아직 충분히 탐구되지 않았습니다. 따라서 본 논문에서는 세 가지 최첨단(state-of-the-art) 로그 문장 생성 방식과 다섯 가지 거대 언어 모델(LLMs)을 여러 프로그래밍 언어에 걸쳐 비교 평가합니다. 이를 위해 우리는 5개의 프로그래밍 언어에 걸쳐 150,000개의 인스턴스로 구성된 다국어 벤치마크를 구축했습니다. 우리의 실증적 결과에 따르면, 최첨단 방식인 UniLog가 다국어 환경에서도 높은 효과를 유지하며 전반적으로 가장 우수한 성능을 달성함을 보여줍니다. 또한 우리는 언어 간 로그 생성 난이도에서 상당한 차이가 있음을 관찰했습니다. Python은 더 큰 어려움을 보이는 반면, JavaScript는 상대적으로 더 나은 성능을 나타냅니다. 상세 분석 결과, 이러한 격차는 로그 삽입 분포의 차이와 언어별 로깅 관용구(logging idioms)에서 기인함을 밝혀냈습니다. 우리의 연구 결과는 단순히 모델 크기나 학습 데이터의 양을 늘리는 것만으로는 다국어 로그 생성에 충분하지 않으며, 오히려 대상 언어의 특정 특성에 맞춘 방식을 설계하는 것이 중요하다는 것을 나타냅니다. 이러한 발견은 향후 자동 로깅 기술이 다국어 소프트웨어 개발 환경에서 견고한 성능을 달성하기 위해 언어별 로깅 특성을 명시적으로 고려해야 함을 시사합니다.