Claude의 성능에 대한 협업자들의 논평: 다양한 과학 분야에서 입증된 능력

복잡한 분자를 만들기 위한 반응을 계획하고 실행하는 것(‘합성 경로’)은 유기 화학에서 가장 어려운 작업 중 하나입니다.

네 가지 분자의 이미지 각각으로부터, 인터넷 접속 없이 코드만을 도구로 사용하여 Claude는 약 반 시간 만에 완전한 합성 경로를 작성했습니다. 이 모델은 자체 계획을 확인하기 위해 코드를 작성하고 실행하여 각 화합물이 출발 물질로부터 원자 단위로 따라오는지를 검증했습니다.

모델은 분자를 손상시킬 수 있는 반응을 대체했으며, 실패할 가능성이 가장 높은 단계들을 표시했습니다. 외부 협업자들은 이 작업의 수준을 초급 대학원생 수준으로 평가했습니다. 아직 실험실에서 테스트된 경로는 없습니다.

이 분자들은 Noah Burns(Stanford), Timothy Newhouse(Yale), Sarah Reisman(Caltech)의 연구실에서 발표되지 않은 합성물로부터 얻어졌습니다.

Claude의 성능에 대한 협업자들의 논평을 읽어보세요:
https://www-cdn.anthropic.com/d9fab5459563a779c65b97040ad4d2e41f0b9464.pdf
…
네 가지 분자 중 세 가지의 합성 경로는(아직 실험실에서 테스트되지 않음) 다음 링크에서 제공됩니다:
https://www-cdn.anthropic.com/666a6cb5172cbf6faa83d45968334dcf44da1410.pdf
…

MIPLIB은 항공기 승무원이나 배달 트럭을 가장 효율적으로 스케줄링하는 방법과 같은 최적화 문제 라이브러리입니다.

203개의 미해결 문제 중, Claude는 72개 사례에서 나열된 수학적 해법을 능가했으며, 45개 사례에서는 해결책이 최적임을 증명했습니다. 한 문제는 최대 전력 사용량을 줄이기 위해 42대의 기차를 어떻게 시간 맞춰 운행할지 묻습니다. 이 문제에서 에이전트들은 두 시간도 안 되는 시간에 MIPLIB의 최고 시간표보다 2.6% 더 나은 결과를 달성했으며, 이후에는 더 좋은 시간표가 존재하지 않음을 증명했습니다.

저희는 누구나 확인할 수 있도록 MIPLIB에 해결책을 제출했습니다.

Fable 5.2는 블랙홀과 관련된 이론 물리학의 두 가지 미해결 문제를 해결했습니다. 첫 번째 문제에서 Fable 5.2는 23년 동안 풀리지 않았던 고된 계산을 완료했습니다.

1983년에 물리학자들은 특정 더 큰 이론 우주가 가열됨에 따라 블랙홀이 매우 갑작스럽게 형성된다는 것을 보여주었습니다. 이 현상이 믿을 수 없을 만큼 작은 우주 세트에서도 사실인지 테스트하기 위한 계산은 2003년에 제시되었습니다.

Fable 5.2 역시 해당 지점에서 전이(transition)가 급격함을 발견했습니다.