작은 언어 모델(SLM)을 활용한 머신러닝 파이프라인 구조 역공학

배경: 머신러닝(ML) 파이프라인을 구성하는 단계들의 분류 체계(예: 데이터 전처리, 모델링 등)가 정의되면, 소스 코드에서 이러한 단계를 추출하는 것이 ML 관행에 대한 이해를 높이는 데 핵심적입니다. 그러나 ML의 끊임없는 진화(예: 알고리즘, 데이터셋)로 인해 발생하는 다양성 때문에 이 작업은 어렵습니다. 기존 접근 방식들은 확장성이 떨어지는 수동 라벨링에 의존하거나, 도메인의 다양성을 제대로 지원하지 못하는 분류기에 의존합니다. 이러한 한계점들은 더 신뢰할 수 있는 해결책을 요구합니다.

목표: 우리는 Small Language Models (SLMs)이 코드 이해 및 분류 능력을 활용하여 이러한 한계점을 해결하고 ML 관행에 대한 우리의 이해를 높일 수 있는지 평가합니다.

방법: 우리는 현재 최첨단 기술의 한계를 나타내는 두 가지 관련 참고 자료를 기반으로 확인적 연구(confirmatory study)를 수행합니다. 먼저, Cochran's Q 테스트를 사용하여 여러 SLM을 비교하고, 그런 다음 가장 성능이 좋은 모델을 두 개의 McNemar's 테스트를 통해 참고 연구와 평가합니다. 추가적인 Cochran's Q 테스트는 분류 체계 정의의 변화가 SLM 성능에 어떻게 영향을 미치는지 조사합니다. 마지막으로, 적합도 검정(goodness-of-fit tests)은 SLM 분류에서 얻은 ML 관행 통찰력을 이전 연구의 결과와 비교합니다.

결과: 첫째, 우리는 분류 체계의 문구(wording)가 분류 성능에 유의미한 영향을 미친다는 것을 발견했습니다. 둘째, 가장 성능이 좋은 SLM이 좋은 결과를 도출했지만, 다른 분류기들을 능가하지는 못했습니다. 셋째, 세 가지 분류 방법은 데이터 과학자들의 관행을 탐색할 때 서로 다른 효과 크기를 가진 유의미하게 다른 통찰력을 가져왔습니다.

결론: 기존 분류 방법의 한계점들은 ML 관행에 대한 우리의 이해를 편향시킵니다. 현재 SLMs는 사전 미세 조정(prior fine-tuning) 없이도 유망한 결과를 보여주지만, 대규모 연구에서의 적용 가능성을 어렵게 만드는 추론 비용(inference high costs)과 같은 공통적인 한계점들을 여전히 보입니다.