Launch HN: Mentat (YC F24) – 런타임 개입을 통한 LLM 제어

요약

Mentat은 LLM의 행동에 결정론적 통제력을 부여하는 API를 제공합니다. 기존의 RAG나 프롬프트 엔지니어링 방식이 확률적이고 취약한 한계를 가졌던 것과 달리, Mentat은 모델의 추론 과정(forward pass) 중 잠재 특징 벡터(latent feature vectors)에 직접 개입하여 편향이나 환각을 수정합니다. 이를 통해 금융, 의료 등 높은 신뢰도가 요구되는 산업에서 감사 수준의 안정성(audit-grade reliability)을 확보할 수 있습니다.

핵심 포인트

• Mentat은 모델 추론 과정 중 잠재 특징 벡터를 수학적으로 조작하여 편향이나 오개념 같은 '내부' 문제를 해결합니다. (h_prime = h - alpha * (h @ v) * v)
• 기존의 RAG는 지식 제공에만 그치며, 공간 추론(spatial inversion)과 같은 복잡한 통합적 오류를 수정할 수 없습니다.
• GPT-OSS-120b 모델을 대상으로 테스트했을 때, 오개념 특징 벡터 억제만으로 TruthfulQA 정확도를 21%에서 70%로 향상시켰습니다.
• 시스템은 지식 그래프(Knowledge Graph) 검증과 결합하여 의미 엔트로피를 확인하고 관계적 환각을 포착함으로써 신뢰성을 극대화합니다.