ProteinGeoBench: 최첨단 구조-생물학 에이전트의 검색 능력은 유창하지만 기하학적 계산에서는 어려움을 겪는다

요약

본 연구는 ProteinGeoBench라는 벤치마크를 사용하여 최첨단 AI 에이전트들의 구조 생물학적 검색 능력과 기하학적 계산 능력을 비교했습니다. 그 결과, 대부분의 모델은 메타데이터 검색에서는 우수한 성능을 보였으나, 좌표 기반의 정밀한 기하학적 계산에서는 신뢰도가 떨어지는 경향을 확인했습니다.

핵심 포인트

• 최첨단 에이전트들은 구조 메타데이터 검색에 강점을 보인다.
• 좌표를 이용한 기하학적 계산 능력은 상대적으로 취약하다.
• 모델 간의 성능 차이는 미미하며, 평가 구성에 따라 결과가 달라질 수 있다.
• 평가는 실행 횟수, 하네스 등 다양한 요소를 고려해야 한다.