최근 연구에 따르면, 잘 알려지지 않은 단백질을 대상으로 한 다음 아미노산 예측 테스트 결과, 최신 Claude 모델들이 대규모 단백질 서열(protein sequences)로 훈련된 것으로 나타났다. 다른 최첨단 모델들은 이러한 흔적을 보이지 않았다.
최신 Claude 모델들은 대규모 단백질 서열로 훈련되었다. Claude Fable 5.2 또는 Claude Opus 5.5에 잘 알려지지 않은 박테리아 단백질의 시작 부분을 제공하면, 다음 아미노산을 예측할 수 있다. 하지만 이 단백질을 무작위로 섞어주면(shuffle) 예측하지 못한다. 우리가 테스트한 다른 어떤 모델도 이를 수행할 수 없다. 마치 단백질 언어 모델(protein language model)처럼, 이 모델들은 더 큰 단백질 계열에서 성능이 좋으며, 심지어 논문이 전혀 없는 계열에서도 그러하다. Fable 5.2는 우리가 실행한 모든 오픈 단백질 언어 모델을 능가했으며, Opus 5.5는 그중 가장 큰 ProtGPT3-10B와 동등한 수준이다.
업데이트, 2026년 11월 18일. 최초 버전 이후:
최첨단 LLM(Large Language Models)들이 단백질 작업에서 좋은 성능을 보이기 시작했다. Atharv Jayprakash
GFP는 수많은 논문에 인쇄되어 있고 대부분의 최첨단 모델이 이를 암송할 수 있기 때문에, 유명한 단백질로는 두 가지를 구별하기 어렵다. 그래서 우리는 거의 아무도 언급하지 않는 단백질을 테스트했다.
우리는 모델에게 단백질의 시작 부분을 제공하고 다음 아미노산을 요청한다. 그런 다음 동일한 단백질의 무작위로 섞인 사본에 대해서도 다시 요청한다. 무작위로 섞는 과정은 글자 자체는 유지하지만 순서를 파괴하므로, 정확도의 차이는 모델이 서열 자체에 대해 얼마나 알고 있는지를 측정한다.
테스트 세트는 기능이 알려지지 않은 167개의 Pfam 계열에서 가져온 167개 단백질 및 고세균(archaeal) 단백질 668개로 구성되어 있다. 어떤 계열도 해결된 구조를 가지고 있지 않거나 논문이 세 편을 넘지 않았으며, 어떤 단백질도 UniProt에 근접한 상대가 없다. 각 단백질은 다섯 지점에서 잘린다. 각 절단 지점에서 모델은 다음 10개의 아미노산을 작성하며, 우리는 첫 번째 예측값을 점수화한다. 생각하는 과정(Thinking)은 가장 낮은 설정으로 되어 있다. 자세한 내용은 부록 E를 참고하라.
Fable 5.2는 실제 단백질에서는 다음 아미노산을 54%의 확률로 정확하게 예측하며, 무작위로 섞은(shuffled) 단백질에서는 9%의 확률을 보입니다. 이러한 격차는 몇몇 쉬운 계통에서만 나타나는 것이 아니라 거의 모든 계통에서 관찰됩니다. 이는 Opus 4.7에서도 나타나고, Opus 5.5에서는 증가하며, Fable 5.2에서 다시 한번 급증합니다. GPT, Gemini 및 일곱 개의 오픈 가중치 모델(DeepSeek V4.1 Flash, Qwen 3.8, Kimi K3.1 Pro, GLM-5.3, MiniMax M3, gpt-oss-120b, Nemotron 3 Ultra)는 훈련받은 방식대로 단순히 원시 FASTA 텍스트를 계속 이어갈 때조차 거의 0에 머무릅니다. 최신 Claude 모델 또한 다른 모델들이 거의 달성하지 못하는 정확한 잔기(residues)의 연속적인 서열을 작성합니다 (부록 B).
단백질 언어 모델은 오직 서열에서만 학습하므로, 가장 자연스러운 척도가 됩니다. LLM(대규모 언어 모델)에 가장 가까운 것은 단백질을 왼쪽에서 오른쪽으로 읽으며 다음 잔기를 예측하는 모델입니다: ProtGPT3.
ESM 모델은 잔기의 양쪽 면을 모두 볼 수 있도록 훈련되었기 때문에, 왼쪽에서부터 이어가기는 이들에게 더 어렵습니다. 부록 C에 아홉 개의 모든 모델이 있습니다.
만약 모델들이 서열로부터 학습했다면, 더 많은 서열을 가진 계통이 더 쉬워야 합니다. 이 광범위한 범위를 테스트하기 위해, 우리는 총 257개 계통에 대해 각각 20개의 단백질까지 90개의 작은 계통을 추가했습니다.
실제로 그렇습니다. Opus 5.5는 오직 서열만을 기반으로 훈련된 두 단백질 언어 모델인 ProtGPT3-10B와 ProGen3-3B와 함께 상승합니다. Fable 5.2가 가장 빠르게 상승하며 계통당 약 300개의 단백질 수준에서 평준화됩니다. 이전의 Claude 모델들은 더 낮은 수준으로 상승하고, GPT와 Gemini는 거의 0에 머무릅니다. 또한 이 지식은 훈련 중단 시점(training cutoff) 이후에 출판된 단백질에도 적용되며, 그 이전에 가까운 상대가 없는 경우도 마찬가지입니다 (부록 G).
다른 두 가지 설명으로는 설명되지 않습니다:
유명한 단백질은 이야기가 다릅니다. 많은 모델이 이를 잘 처리하며, 여러 모델은 이 서열들이 논문과 웹 전반에 걸쳐 존재하기 때문에 수백 개의 잔기(residues)를 글자 그대로 암송합니다 (Appendix B). 유명하고 생소한 단백질들을 나란히 비교하는 첫 번째 라운드에서, Gemini 4 Carbon은 유명한 단백질에서는 강했지만 생소한 단백질에서는 거의 성능이 떨어졌습니다. 최신 Claude 모델과 ProtGPT3-10B는 그 수준을 유지했으며, Fable 5.2가 둘 다에서 가장 강력했습니다.
이는 또한 SOD1 및 PG-LLM 결과에서도 설명됩니다. 잘 알려진 단백질의 변이체 순위를 매기는 것은 해당 단백질에 대해 작성된 내용, 즉 어떤 잔기가 묻혀 있는지(buried), 어떤 치환이 나선 구조(helix)를 깨뜨리는지, 어떤 돌연변이가 ALS를 유발하는지에 의존할 수 있습니다. PG-LLM에서는 정확도가 정렬 깊이에 의존하지 않으며, 이는 해당 경로의 두 가지 지표인 더 많은 사고 과정과 함께 향상됩니다. 우리의 테스트는 이를 무력화시킵니다. GPT-6은 첫 번째 유형의 작업에는 능숙하지만 두 번째 유형에는 약하며, 최신 Claude 모델들은 둘 다에 능합니다.
최신 Claude 모델들은 거의 아무도 연구하지 않은 단백질 패밀리(protein families)에 대해 알고 있습니다. 이는 몇 가지 예시가 아니라 방대한 양의 서열 데이터가 필요합니다: 단백질 서열은 훈련 과정에서 상당한 부분을 차지했습니다. Opus 5.5는 마치 단백질 언어 모델(protein language model)처럼 작동하며, Fable 5.2는 우리가 실행할 수 있었던 최고 수준을 넘어섭니다. GPT와 Gemini는 이러한 능력을 전혀 보여주지 못합니다. 이들이 훈련 과정에서 보았던 어떤 단백질 서열도 이러한 패밀리를 학습하기에는 충분하지 않았습니다.
DNA는 다릅니다. Opus 5.5는 인간 및 마우스 코딩 서열(coding sequence)은 예측하지만 나머지 게놈 전체나 자신이 아는 단백질 뒤에 있는 박테리아 유전자(bacterial genes)조차 제대로 예측하지 못합니다 (Appendix A). 이는 게놈이 아니라 단백질을 학습했습니다.
우리는 이 지식이 무엇을 더 지원하는지 궁금합니다. Fable 5.2는 우리가 실행한 어떤 개방형 단백질 언어 모델(open protein language model)보다도 연구가 적은 단백질을 더 잘 예측하며, 단백질 언어 모델은 다음 잔기 통계량(next-residue statistics) 이상의 것을 담고 있습니다: ESM-2의 내부 표현(internal representations)은 충분한 구조를 가지고 있어 위에 작은 접힘 모듈(folding module)만 추가해도 3D 구조를 예측할 수 있습니다 (ESMFold).
모든 코드, 테스트 세트, 모델 출력 및 그림은 llm-bioseq-probe에 있습니다.
hg38, mm39 및 테스트 단백질의 박테리아 유전자에서 가져온 220-뉴클레오타이드(nucleotide) 창으로, 200개는 보여주고 20개를 예측하도록 했습니다. 각 영역당 500개가 사용되었습니다. 비암호화(Non-coding) 창에는 반복 서열이 없으며, 대조군(control)은 이핵티드(dinucleotide) 수를 유지하면서 각 창을 무작위로 섞었습니다. Opus 5.5는 500개의 인간 암호화(human coding) 창에서 모든 20개 뉴클레오타이드를 정확하게 25번 기록했습니다. 이는 순전히 추측했을 때 1조 분의 1 정도의 확률입니다.
Gemini 4 Carbon은 답변하기 전에 대부분의 DNA 프롬프트를 차단하므로(block), 여기에 표시되지 않았습니다.
모든 10개 잔기(residues)를 정확하게 예측. 각 질문은 다음 10개의 잔기를 요구합니다. 연구가 부족한 668개 단백질에서, Claude Fable 5.2는 실제 절단 지점(real cuts) 88곳에서 모두 10개를 맞혔고, Opus 5.5는 12곳에서 모두 맞혔습니다. 무작위로 섞인 창에서는 어느 쪽도 성공하지 못했습니다. 만약 이 잔기들이 자체적인 잔기별 정확도를 가진 독립적인 추측이었다면, 각각 우연히 15.8과 0.57을 얻었을 것입니다.
연속적인 예측. 무작위로 섞인 단백질에서는 Fable 5.2와 Opus 5.5 모두 연속으로 3개 이상의 잔기를 예측하지 못했습니다. 일단 흐름을 타면 더 확실해집니다: 정확한 잔기 하나를 예측한 후, Opus 5.5는 다음 잔기를 47%의 확률로 맞히며, 네 개 연속으로 맞힌 후에는 68%의 확률로 맞힙니다.
잘 알려진 단백질 암송. 잘 연구된 단백질의 158개 지점에서, 각 모델은 다음 200개의 잔기를 한 번에 예측하도록 요청받았습니다. GPT-6.1 Sol은 100개 잔기에 도달하지 못했으며, GPT-5.5는 2개를 넘기지 못했습니다.
| 모델 | 읽는 방식 | 입력 | 실제 서열 | 무작위화된 서열 | 실제 대비 무작위화된 차이점, 점수 (95% 신뢰 구간) |
|---|
| ProGen3-3B | 왼쪽에서 오른쪽으로 | 절단 지점 이전의 잔기 | 43.7% | 11.1% | +32.5 (29.3 ~ 35.7) |
| ... | | | | | |
| ProtGPT3-10B는 Opus 5.5보다 더 많은 답을 맞히지만(38.4% 대 34.9%), 무작위화된 단백질에서도 더 높은 수치(10.7% 대 7.5%)를 기록합니다. 이는 ProtGPT3-10B가 아미노산 조성을 더 잘 알고 있기 때문입니다. 두 모델이 순서에 대해 알고 있는 정보의 차이는 동일하게 나타납니다. Prot-xLSTM은 일련의 상동 단백질(homologs)을 읽도록 훈련되었으며, 여기처럼 단백질 자체만으로는 성능이 거의 0에 가깝지만, 문맥 속에서 하나의 상동 단백질이 헤모글로빈 β의 경우 14%에서 81%까지 끌어올립니다. 마지막 행은 연속적인 예측(continuation)이라기보다는 빈칸 채우기(fill-in-the-blank)입니다. ESM-2는 LLM들이 절대 얻지 못하는 절단 지점 이후의 잔기도 볼 수 있습니다. 모든 모델은 먼저 잘 알려진 단백질에 대한 건전성 검사(sanity check)를 통과했습니다. 왼쪽에서 유비퀴틴과 헤모글로빈 β를 이어갈 때, ProGen3-3B는 각각 98%와 87%의 잔기를 맞히고 ProtGPT3-10B는 100%와 84%를 기록합니다. 전체 단백질과 하나의 잔기가 마스킹(masked)된 경우, ESM-2는 유비퀴틴에서 80%를 얻었고, ESM C와 ESM3-open은 100%를 얻었습니다. 마스크는 토큰 ID에 설정되었는데, 이는 ESM SDK의 “_” 문자가 ESM C의 마스크 토큰이 아니기 때문입니다. ProtGPT2는 다중 잔기(multi-residue) 토큰을 사용하므로, 특정 잔기의 확률은 그 잔기로 시작하는 모든 토큰들의 합계입니다. ProGen3와 ProtGPT3는 잔기당 하나의 토큰을 사용합니다. | | | | | |
단백질 선택. 우리는 이름에 “기능 미상 도메인(DUF)” 또는 “기능 미상 단백질”이라고 명시된 모든 Pfam 패밀리에서 시작했으며, PDB에 구조가 없는 것들 중 해당 패밀리의 접근 번호로 최대 3개의 Europe PMC 히트와 최소 300개의 구성원 단백질을 가진 것들을 유지했습니다. 이들을 크기별(3001,000개 단백질, 1,0003,000개, 3,00010,000개, 10,000개 초과)로 분류하고 각 그룹당 무작위로 50개의 패밀리를 추출했습니다. 이 중 10,000개를 초과하는 패밀리는 단 17개가 해당되어 전체 세트는 167개였습니다. 각 패밀리에서 우리는 다음 조건을 충족하는 UniProt의 단백질 4개를 가져왔습니다: 검토되지 않았으며 (TrEMBL), 박테리아(Bacteria) 또는 고세균(Archaea) 출신이고, 길이가 120800 잔기이며, 표준 20가지 아미노산만을 사용하고, 저복잡성 서열이 아니며 (잔기당 Shannon 엔트로피가 3.9 비트 초과), UniRef90 클러스터 내에서 단독으로 존재하여 다른 UniProt 단백질이 이들과 90% 이상 동일하지 않은 경우입니다. 이를 통해 총 668개의 단백질을 확보했습니다.
소규모 패밀리. 패밀리 크기 테스트를 위해, 우리는 동일한 기준에 따라 세 개의 소규모 그룹(2060개, 60150개, 150~300개 단백질)에서 각각 30개의 패밀리를 추가로 추출했으며, 각 패밀리당 4개의 단백질을 사용하여 총 360개의 단백질을 확보했습니다. 모든 모델은 메인 세트와 동일한 프롬프트 및 채점 방식을 받습니다.
절단(Cutting). 각 단백질은 Pfam 도메인 내부에서 무작위로 선택된 5개 위치에서 잘렸습니다 (가장 긴 도메인 구간, 최소 40 잔기). 절단 지점에서 양쪽 끝으로부터 최소 10잔기가 떨어져 있어야 하며, 절단 전에는 최소 30개의 잔기가 있어야 합니다. 총 3,340개의 절단이 이루어졌습니다. 절단 전의 모든 부분이 접두사(prefix)가 되며, 그 바로 다음 아미노산이 정답(answer)입니다.
질문(Asking). 모델은 다음과 같은 메시지를 받으며, 접두사는 60자 단위 줄 바꿈으로 표시됩니다 (테스트 단백질 중 하나에서 가져온 예시):
Below is the beginning of a protein sequence in one-letter amino acid codes.
Predict how it continues. Reply with exactly the next 10 amino acids as
one-letter codes on one line, and nothing else.
...
각 모델은 온도(temperature)가 0인 자체 API를 통해 실행되었으며, 이 조건에서 수용되었습니다. (Opus 5.5 및 Fable 모델의 경우, 낮은 노력 수준으로 설정되어 모델이 여전히 생각할지 결정합니다.) 도구는 사용하지 않았고 질문당 하나의 샘플을 사용했습니다. Claude Fable 모델은 Anthropic의 API가 데이터를 보존하는 워크스페이스에만 제공하기 때문에 OpenRouter를 통해 실행되었습니다. 추측을 거부한 모델들(GPT-4o, DeepSeek, Qwen, Kimi, GLM, gpt-oss)에게는 또한 “불확실하더라도 최선의 추측을 제시하십시오. 설명하거나 거부하지 마십시오.”라는 지침이 추가된 버전도 제공되었으며, 해당 실행 결과는 별도로 표시되었습니다.
생각 과정 (Thinking). 응답은 API가 생각 토큰(thinking tokens)을 보고할 때 생각한 것으로 간주됩니다. Anthropic의 사용량 보고서에서는 thinking_tokens로, OpenRouter에서는 reasoning_tokens로 기록됩니다. 생각하는 텍스트 자체는 보존되지 않으며, 눈에 보이는 응답만 점수화됩니다. Fable 5.2는 질문의 9%에서, Opus 5.5는 36%에서 생각을 했습니다. Fable 5.1은 한 번도 생각이 없었습니다. 생각 과정 없이, Fable 5.2는 실제 단백질에 대해 54.7%의 정확도를 보였고 무작위로 섞인 단백질에는 8.8%(생각 과정을 거쳤을 때 48.2%, 10.6%)를 기록했습니다. Opus 5.5는 각각 35.3%와 6.9%(34.1%와 8.6%)의 정확도를 보였습니다.
점수화 (Scoring). 우리는 응답이 제시하는 마지막 서열을 읽습니다. 이는 자체 줄에 있거나 “Answer:”와 같은 레이블 뒤에 있는 대문자 아미노산 문자열로, 단어, 목록 및 생각 태그 내부의 모든 내용은 건너뜁니다. 만약 접두사(prefix) 끝부분을 반복하여 시작한다면, 그 반복 부분은 무시됩니다. 이 서열의 첫 글자가 예측된 다음 아미노산을 나타냅니다. 길이 제한으로 잘린 응답은 서열로 시작할 경우에만 점수화됩니다. 아무런 서열도 제시하지 않은 응답은 제외되고 계산되었습니다(Opus 5.5의 경우 0.1%). 오직 첫 번째 잔기(residue)만이 점수화되며, 전체 10개 잔기는 정확한 연속 및 실행을 위해 사용됩니다. 모든 모델과 실제 단백질 및 무작위로 섞인 단백질에 동일한 판독기가 사용되었습니다.
무작위 섞인 대조군 (The shuffled control). 각 단백질의 잔기(residues)는 해당 접근 번호(accession)로 고정된 무작위 시드(random seed)를 사용하여 한 번 셔플되며, 동일한 5개의 절단 위치(cut positions)에서 분석을 요청합니다. 이 셔플 과정은 전체 단백질의 조성(composition)은 유지하지만 순서(order)는 파괴하므로, 어떤 아미노산이 공통으로 존재하는지만 알고 있는 모델은 두 경우 모두 동일한 점수를 얻습니다.
통계 분석 (Statistics). 각 패밀리(family)에 대해 실제 절단 위치와 셔플된 절단 위치에서의 정확한 첫 잔기 비율을 계산하고, 그 차이를 백분율 포인트(percentage points)로 구합니다. 모델의 결과는 이 격차(gap)를 167개 패밀리에 걸쳐 평균 낸 값입니다. 구간은 패밀리별 95% 부트스트랩(bootstraps) (10,000 재표본 추출)이며, 주요 테스트는 패밀리별 단측 사인-플립 순열 검정(one-sided sign-flip permutation test)이고, 패밀리 크기 추세는 해당 패밀리의 격차와 그 크기의 로그값 사이의 스피어만 상관관계(Spearman correlation)입니다.