Papers Without Code 소개 [P]

안녕하세요, Hugging Face 오픈 소스 팀의 Niels입니다. 저는 최근 3D 생성부터 AI 에이전트(AI agents)에 이르기까지 다양한 AI 도메인 전반에 걸쳐 최첨단 기술 (SOTA, State of the Art)을 찾을 수 있는 소스로서 paperswithcode.co를 재출시했습니다. 이는 arXiv/Hugging Face에 게시된 연구 논문들을 자동으로 파싱하여 리더보드 (leaderboards)를 생성할 수 있도록 하는 방식입니다. 아래의 BrowseComp를 예시로 확인해 보세요 (각 벤치마크에 대해 산점도와 표가 제공됩니다). - 산점도 (점 위에 마우스를 올리면 모델을 확인할 수 있습니다): https://preview.redd.it/9rz2r3ffcf6h1.png?width=2880&format=png&auto=webp&s=b3f8e7a870802f6ef8227ecc0619e9e1057554b0 - 표: https://preview.redd.it/qoqriddw5f6h1.png?width=2862&format=png&auto=webp&s=a0034574f693847537037013672fb61daf27b16e 보시다시피, 최근 많은 벤치마크가 GPT-5.5나 Mythos 5와 같이 폐쇄형 모델 (closed-source models)에 의해 주도되고 있다는 점을 고려하여, 폐쇄형 모델의 평가 (evals)를 볼 수 있는 기능도 추가했습니다. 토글 스위치나 PwC 설정에서 폐쇄형 모델의 평가를 언제든지 비활성화할 수 있습니다: https://preview.redd.it/p3k6jt6q6f6h1.png?width=1582&format=png&auto=webp&s=40149e51d6b326a77e53e33baf70d9850b3de365 이를 끄면 오픈 모델 리더보드는 다음과 같이 보입니다: https://preview.redd.it/tg42sin36f6h1.png?width=2838&format=png&auto=webp&s=1330a117ae9b4e0ce6d459493ae9e8f64107310a 폐쇄형 논문은 일반적인 "논문"으로 취급되지만, PwC가 arXiv 이외의 모든 소스 제출을 지원하기 때문에 블로그 포스트와 같이 어떤 소스든 될 수 있습니다. GPT-5.5 또는 Mythos 5 논문을 예시로 확인해 보시면 하단에 평가 결과가 있습니다. 해당 평가들에 "closed" 태그가 붙어 있는 것을 확인하실 수 있습니다. 따라서 농담 삼아 이것들을 "코드가 없는 논문 (papers without code)"이라고 부를 수도 있겠네요. 이에 대해 어떻게 생각하시는지, 변경하거나 추가해야 할 사항이 있는지 알려주세요! 감사합니다, Niels /u/NielsRogge가 r/MachineLearning에 게시함 [link] [comments]