Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
FINAL-Bench는 검증자(Verifiers)의 중요성을 강조하며, 제출자가 아닌 독립적인 검사기가 점수를 결정하는 5가지 오픈 사이언스 챌린지를 운영합니다. 이 챌린지들은 약물 후보 물질 예측 등 다양한 과학 분야에 적용되며, 채점 기준을 비공개로 유지하여 조작 가능성을 차단했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기검증자(Verifiers)는 이번 주 AI 연구에서 가장 바쁜 주제 중 하나입니다. 같은 날 여러 논문에서 더 강력한 검증자에 대한 내용이 발표되었습니다. 아이디어는 간단합니다. 하나의 모델이 제안하고, 별도의 검사기(checker)가 그 제안이 맞는지 아닌지를 결정하는 것입니다.
FINAL-Bench는 바로 이러한 분리를 기반으로 구축된 5가지 오픈 사이언스 챌린지를 운영합니다. 여러분은 분자, 결정, 예측 또는 디코더를 제출합니다. 여러분이 볼 수 없는 검증자가 이를 점수 매기고, 정답 키(answer key)는 주최 측의 하드웨어에서 절대 나가지 않습니다.
| 챌린지 | 제출하는 것 | 비교되는 대상 | 상태 |
| :--- | :--- | :--- |
| Open Discovery Challenge | 약물 후보 물질 (SMILES) | 표적 및 카운터-표적 구조 예측, ADMET, 신규성 | 시즌 2부터 4까지 진행 중 |
| ... |
만약 채점 기준(grader)이 공개된다면, 제출물은 생물학이나 물리학에 기반하기보다는 그 채점 기준에 맞춰 조작될 수 있습니다. 따라서 각 챌린지는 규칙, 가중치 및 제출 한계를 발표하고, 점수 산정 구현과 정답 키는 비공개로 유지합니다.
이들 중 어떤 것도 첫 번째 제출을 위해 특별한 하드웨어를 필요로 하지 않습니다. LEADBOARD는 모든 보드에 채워진 프롬프트와 실행 가능한 골격(skeleton)을 제공하며, 초전도체 챌린지에서는 AI 코딩 에이전트가 참여할 수 있다고 명확히 밝힙니다. Claude Code와 같은 코드 도구 및 일련의 에이전트 기술을 가진 에이전트는 규칙을 읽고, 파이프라인을 작성하고, 제출할 수 있습니다.
open-discovery-challenge · open-materials-challenge · leadboard · quantum-bench-harness
이들 챌린지의 모든 점수는 실험실 측정값이 아닌 계산 예측값입니다. 높은 점수는 테스트할 가치가 있는 가설을 의미합니다.