수동 소프트웨어 최적화는 과거의 유물이 될 수 있을까?

과학용 소프트웨어는 허용 가능한 실행 시간을 유지하면서 더 큰 데이터셋을 처리해야 하는 요구가 증가하고 있습니다. 소프트웨어 최적화는 전통적으로 프로그래밍, 알고리즘 및 수치 해석학에 대한 상당한 전문 지식을 필요로 했습니다. 최근 대규모 언어 모델(LLMs)의 발전은 이 과정의 많은 부분을 자동화할 가능성을 제공합니다. 우리는 LLM 기반 에이전트가 이미 인간 개발자에 의해 광범위하게 최적화된 성숙한 구현체를 포함하여 과학용 소프트웨어에서 상당한 성능 향상을 자율적으로 달성할 수 있는지 조사했습니다. 우리는 LLM 기반 에이전트에게 세 가지 계산 문제(t-SNE, 단일 샘플 유전자 세트 농축 분석 (ssGSEA), 그래프렛 카운팅)에 대한 소프트웨어 최적화를 과제로 부여했습니다. 인간은 범위를 정의하고, 정확성 기준 및 검증 메커니즘을 설정했으며, 그 후 에이전트는 경우에 따라 몇 시간 동안 자율적으로 작업했습니다. 코드 유지 관리자들이 각 결과 구현체를 검토하고 그 정확성을 검증했습니다. 최적화된 구현체들은 테스트된 모든 구성에서 기존 가장 빠른 도구보다 최대 두 자릿수까지 더 빨랐습니다. 이러한 개선 사항에는 저수준 코드 최적화, 수학적 재정식화, 그리고 그래프렛 카운팅을 위한 완전히 새로운 알고리즘이 포함되었습니다. 소프트웨어 최적화는 점차도 자율 에이전트에게 위임될 수 있으며, 인간의 역할은 최적화를 구현하는 것에서 어떤 소프트웨어를 최적화할지 결정하고, 목표를 정의하며, 검증 메커니즘을 제공하고, 최종 소프트웨어의 정확성을 보장하는 것으로 변화하고 있습니다. 잘 정의되고 검증 가능한 문제에 대해서는 수동 소프트웨어 최적화가 과거의 유물이 될 수 있다고 주장합니다.