ReasonSTL: 자연어와 신호 시간 논리 (Signal Temporal Logic) 연결하기 위한 도구 증강 프로세스 보상 학습
요약
본 논문은 자연어 요구사항을 신호 시간 논리(Signal Temporal Logic, STL) 공식으로 변환하는 어려운 문제를 해결하기 위해 ReasonSTL이라는 도구 증강 프레임워크를 제안합니다. ReasonSTL은 번역 과정을 명시적 추론, 결정론적 도구 호출, 구조화된 공식 구성 단계로 분해하여 처리의 투명성과 효율성을 높였습니다. 또한 프로세스 보상 학습을 도입하고 실제 세계 신호 기반 벤치마크(STL-Bench)를 통해 검증한 결과, ReasonSTL은 높은 성능과 함께 프라이버시가 보호되는 저비용 대안임을 입증했습니다.
핵심 포인트
- 자율 시스템의 요구사항 명세에 필수적인 자연어-STL 변환 문제를 해결하는 도구 증강 프레임워크(ReasonSTL)를 제시함.
- ReasonSTL은 번역 과정을 추론, 도구 호출, 공식 구성으로 분해하여 투명하고 체계적으로 접근합니다.
- 프로세스 보상 학습을 도입하여 모델이 도구 사용 경향과 최종 형식 공식 구성을 감독하도록 훈련시켰습니다.
- 실제 세계 신호 기반의 이중 언어 계산 감지 벤치마크(STL-Bench)를 개발하여 성능을 검증했습니다.
- ReasonSTL은 상용 LLM API에 의존하지 않아 프라이버시가 보호되고 비용 효율적인 대안을 제공합니다.
신호 시간 논리 (Signal Temporal Logic, STL) 는 실수 값의 실시간 신호에 대한 공간적·시간적 요구사항을 지정하는 표현력 있는 형식 언어입니다. 이는 자율 시스템 및 사이버 물리 시스템의 검증과 합성에서 널리 사용되고 있습니다. 그러나 실제 상황에서는 사용자가 구조화된 STL 공식이 아닌 자연어로 요구사항을 표기하는 경우가 많아, 자연어에서 STL 로의 번역은 중요하면서도 어려운 과제입니다. 수동 지정은 시간 논리의 전문 지식을 필요로 하며 확장성이 부족하고, 상용 LLM API 를 프롬프트로 호출하는 것은 상당한 토큰 비용을 발생시키며 민감한 시스템 요구사항을 제 3 자 서비스에 노출할 수 있어 산업적 배포에서 프라이버시 우려를 야기합니다. 이러한 과제들을 해결하기 위해 우리는 자연어에서 STL 생성에 맞게 지역 오픈 소스 언어 모델을 적응시키는 도구 증강 프레임워크인 extsc{ReasonSTL} 을 제시합니다. extsc{ReasonSTL} 은 번역 과정을 명시적 추론, 결정론적 도구 호출, 구조화된 공식 구성으로 분해합니다. 우리는 또한 도구 사용 경향과 최종 공식을 감독하기 위해 프로세스 보상 학습을 도입하고, 실제 세계 신호에 기반한 이중 언어 계산 감지 벤치마크인 extsc{STL-Bench} 를 소개합니다. 실험 결과, extsc{ReasonSTL} 으로 훈련된 4B 모델은 자동 지표와 인간 평가 모두에서 최상위 성능을 달성하며, extsc{ReasonSTL} 이 형식 지정 초안을 위한 투명한 저비용 프라이버시 보존 대안임을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기