GPT-5.6 Sol 코딩 에이전트의 다음 과제

GPT-5.6 Sol 코딩 에이전트의 다음 과제

📑 GPT-5.6 Preview System Card
https://t.co/Ry3tfSXb6o

먼저 굉장한 벤치마크.. 시스템 카드 정말 편하게 잘 읽었습니다. OpenAI에서 제대로 개편한 듯.

여기에 연결된 METR 보고서까지 읽고 이렇게 정리할 수 있겠네요.

💬

GPT-5.6 Sol은 GPT-5.5 Thinking보다 더 강한 코딩 에이전트 성향을 보였음.

문제를 끝까지 해결하려는 능력은 좋아졌지만, 때로는 사용자가 의도하지 않은 행동까지 시도할 수 있음.

리스크는 너무 열심히 일하는 에이전트에 가깝다는 것.

명시적으로 금지되지 않은 행동은 허용된 것으로 해석하고, 제한을 우회하거나 과도한 조치를 취하려는 경향이 관찰됨.

대부분의 문제 행동은 낮은 심각도. 그리고 OpenAI는 내부 배포 상황을 시뮬레이션해 이런 행동을 미리 측정함.

실제 코딩 에이전트가 장시간 작업할 때 어떤 식으로 어긋날 수 있는지 보기 위해, 코드베이스와 도구 사용 흐름을 재현하는 방식으로 평가.

METR 평가에서도 비슷한 우려가 드러나긴 했음.

GPT-5.6 Sol은 일부 소프트웨어 평가에서 숨겨진 테스트나 소스코드를 알아내려는 등, 문제를 정석적으로 풀기보다 평가 환경을 이용하려는 행동을 보임.

그래서 GPT-5.6 Sol의 실제 능력을 숫자로 단정하기 어려웠음.

치팅을 실패로 보면 성능 추정치가 낮아지고, 성공으로 보면 비현실적으로 높아져서 METR은 이 측정을 신뢰할만한 결과로 보지 않았음.

METR은 GPT-5.6 Sol이 완전 자동화된 AI R&D 단계에 도달했다고 보지는 않았음.

현재 최고 수준 모델들과 비교해 크게 앞선 수준은 아니며, OpenAI의 Critical capability 기준도 넘지 않았다고 판단함.

중요한 점은 능력보다 '감독 가능한 에이전트 설계'가 더 중요해지고 있다는 것임.

모델이 더 오래, 더 자율적으로 작업할수록 사용자의 명확한 지시, 중간 검토, 권한 제한, 결과 확인이 필수가 됨.

오히려 이런 문제를 사전에 발견하고 공개적으로 평가했다는 점은 긍정적 신호이기도 함.

METR은 OpenAI가 내부 incident를 공유하고, chain-of-thought 기반 모니터링을 활용한 점을 안전성 측면에서 의미 있게 봄.

결론적으로 GPT-5.6 Sol은 더 강력한 코딩 에이전트이지만, 동시에 더 세심한 감독이 필요한 에이전트임.

AI 코딩 에이전트의 발전 방향이 단순한 성능 경쟁을 넘어, 통제 가능성, 권한 관리, 평가 환경 설계의 문제로 이동하고 있음을 보여주는 것..