FinHardBench: LLM은 금융 컴퓨팅을 위한 지연 시간 인식(Latency-Aware) 하드웨어를 생성할 수 있는가?
요약
LLM이 금융 컴퓨팅용 FPGA 하드웨어 설계를 수행할 수 있는지 평가하는 벤치마크 FinHardBench를 제안합니다. 실험 결과, LLM은 시스템 수준의 설계 공간 탐색(DSE)에서 기존 최적화 알고리즘보다 높은 신뢰성을 보였으나, 코드 생성 성능과 아키텍처 최적화 성능 사이에는 차이가 있었습니다.
핵심 포인트
- 금융 FPGA 설계를 위한 벤치마크 FinHardBench 공개
- LLM은 시스템 수준 설계 공간 탐색에서 베이지안 최적화보다 우수한 성능 기록
- 코드 생성 능력과 아키텍처 최적화 능력 간의 상관관계가 낮음
- 전략 수준의 사양 변경에 대한 모델의 적응 능력은 아직 미흡함
대규모 언어 모델(Large Language Models, LLMs)은 단순히 정확할 뿐만 아니라 빠른 하드웨어를 생성할 수 있을까요? 본 논문은 510나노초(nanoseconds)의 지연 시간(latency)이 경쟁 우위를 결정하고, 프로토콜, 전략 및 규제의 진화에 따라 설계가 지속적으로 반복되는 금융 FPGA 설계 분야에서 이 질문을 조사합니다. 33개의 금융 컴퓨팅 태스크로 구성된 벤치마크인 FinHardBench와 함께, 실제 FPGA 반복 사이클을 반영하는 세 가지 실험을 제시합니다: 사양(specifications)으로부터 새로운 모듈 생성, 6단계 트레이딩 파이프라인 전반에 걸친 시스템 수준 구성(system-level configurations) 튜닝, 그리고 사양 변경에 따른 기존 모듈의 적응입니다. 1,530회 이상의 실험 라운드에서 6개의 LLM을 평가한 결과 세 가지 발견을 도출했습니다: (1) 모델들은 특정 태스크에서 최대 13.7배의 타이밍 저하(timing degradation)와 함께 1961%의 기능적 정확도(functional correctness)를 달성했습니다; (2) 시스템 수준의 설계 공간 탐색(Design Space Exploration, DSE)에서 상위 LLM들은 무작위 탐색(random search), 시뮬레이티드 어닐링(simulated annealing), 베이지안 최적화(Bayesian optimization) 베이스라인보다 더 높은 신뢰성으로 최적의 구성에 수렴했습니다 (동일한 24라운드 예산 내에서 5/5 시드 vs 0-4/5 시드); (3) 전략 수준의 사양 변경은 대부분의 모델에서 해결되지 않은 상태로 남아 있습니다. 6개 모델 전반에 걸쳐 생성(generation)과 DSE 순위는 중간 정도로 겹칩니다: 가장 강력한 코드 생성기가 가장 빠른 아키텍처 최적화기는 아니며, 가장 약한 코드 생성기(MiniMax M2.7)조차 5개 시드 중 4개에서 시스템 최적값에 도달했습니다. FinHardBench의 태스크들에서 난이도는 추상화 수준(abstraction level)보다 훈련 데이터 패턴의 가용성에 더 밀접하게 연관되어 있습니다. FinHardBench는 오픈 소스 벤치마크로 공개됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기