대형 언어 모델 (LLM) 을 활용한 혁신 예측

요약

본 논문은 혁신의 출현이 특허 데이터의 집단적인 언어적 변화를 통해 예측될 수 있음을 제시합니다. 연구진은 국제 특허 분류(IPC) 코드를 단어로 취급하고 트랜스포머 기반 모델인 TechToken을 개발하여, 이 코드 임베딩 간의 문맥 유사성을 측정함으로써 기술적 조합의 초기 신호를 포착하는 방법을 제안했습니다. 이를 통해 수천 개의 특허에 걸친 집단적인 변화를 분석하여 미래의 혁신을 높은 정확도로 예측할 수 있음을 입증했습니다.

핵심 포인트

• 혁신의 출현은 단일 발명가가 아닌, 특허 데이터 내 기술적 언어의 집단적 변화(collective change)로 나타난다.
• TechToken이라는 트랜스포머 기반 모델을 사용하여 국제 특허 분류(IPC) 코드를 '기술 어휘'로 학습시켰다.
• 특정 코드 임베딩 간의 문맥 유사성(context similarity)을 측정하는 것이 기술적 조합의 초기 예측 지표가 된다.
• TechToken은 일반적인 표현 품질 개선뿐만 아니라, 다양한 특허 관련 과제에서 최첨단 모델 대비 우수한 성능을 보인다.