그렇다면 Calif 연구진을 도운 LLM이 독자적으로 발견한 게 아니라, 기존 버그 보고서를 읽었을 수 있다는 뜻인가?
전혀 합리적인 추론이라고 보지 않음. 소프트웨어에는 버그가 많고, 보고해도 무시되는 버그도 많음.
몇 년 전 AWS 엔지니어로 일하면서 누구나 알 만한 주요 소프트웨어에서 보안 취약점 여러 개를 아주 쉽고 빠르게 발견했음. 당시에는 어떤 LLM도 사용한 적이 없었음.
내부와 외부에 결과를 알렸지만 무관심과 지연은 물론, “딴짓한다”거나 “지나치게 부정적”이라며 적대적인 태도까지 겪어야 했음. 마지막으로 확인했을 때도 그 버그들은 여전히 남아 있었음.
u/notmine1337이 그런 뜻으로 썼는지는 모르겠음. 왜 비공개 보안 취약점 보고가 아니라 공개 이슈였는지, 또 왜 제출자가 직접 닫았는지 궁금함.
두 번째는 다른 수정이 나올 예정이라는 안내를 받았기 때문일 것 같음.
확실히 알 수는 없겠지만, Calif 연구진의 모델이 저장소의 열려 있거나 닫힌 이슈와 PR을 살펴봤을 가능성은 있음.
다만 발견한 취약점의 심각성을 이해하고 악용 방법을 알아내는 것은 별도의 역량이며, 여전히 사람의 감독이 필요함.
나도 쉽게 성과를 낼 만한 대상을 찾을 때 자주 그렇게 함. 원래 작성자가 더는 신경 쓸 의욕을 잃어 반쯤 방치된 PR을 꽤 자주 찾게 됨.
이 사람은 OpenJDK 조직의 구성원이자 기여자이지만, Oracle 직원인지는 확실하지 않음.
그런 지위도 도움이 되지 않았고, 아무도 신경 쓰지 않았음.
자동으로 이슈를 닫는 봇이 프로젝트를 망치는 암적인 존재라는 확실한 증거임. 실제 버그였고 수정안까지 있었으니, 누군가 제대로 살펴보기만 하면 됐음.
그런데 “아무도 안 봤다면 중요하지 않겠지”라는 대단한 발상으로 봇을 만들어 놓은 결과가 이 꼴임.
버그를 자동으로 닫는 프로젝트는 관리가 부실하다는 신호로 받아들이며, 사용에도 주의가 필요하다고 봄.
동의하지만, 이번에는 제출자가 직접 닫은 것처럼 보임. 어떻게 된 일인가?
자동으로 닫힌 게 아님.
봇은 16주간 활동이 없는 이슈를 자동으로 닫는데, CVE는 약 10주 만에 공개됐으므로 이번 일과 전혀 관계가 없음. 이슈가 자동으로 닫힌 게 아니라, 프로젝트 측에서 아무도 PR을 검토하지 않은 것이 문제임.
대형 프로젝트는 처리할 양이 많아 놓치기 쉬우므로 해결하기도 어려움. 안타깝지만 PR을 올렸다고 누군가 알아서 검토해 주리라 기대할 수는 없음.
Duke마저 요즘 소프트웨어의 상태를 보고 포기한 모양임. Oracle GPU로 dukebot을 돌리면 나아질까? robobun 같은 봇들은 실제 분류와 담당자 연결을 더 잘할까?
보안 문제를 발견할 때마다 봇이 알아서 java2root.com 도메인을 등록하고, 블로그 글을 발행하고, Twitter와 HN에 올리도록 자동화할 수는 없을까?
제목에조차 버퍼 오버플로라고 적혀 있음.
심지어 Calif와 똑같이 AAA....A= 예제를 사용함.
메모리를 다룰 때 A를 반복해서 쓰는 건 흔한 관행이며, Calif만의 특징이 아님.
califio는 “JIT 컴파일러, 인트린식, 널리 접근 가능한 API, 암호화에 감사를 집중했음. 더 정확히는 2026년의 진지한 보안 연구자라면 누구나 하듯 Codex에 그 영역들을 살펴보라고 했음”이라고 적었음.
단순한 우연일 수도 있지만, 나는 최초 PR 작성자도 Codex를 사용했고, 모델이 버그의 세부 내용에 노출됐을 가능성에 걸겠음.
왜 자꾸 “내가 했다기보다 Codex에 시켰다”는 식으로 말하는지 모르겠음. 안타깝게도 엔지니어 대부분이 스스로를 내세울 자신감이 부족해서인 듯함.
2015년에 누군가 “널리 쓰이는 라이브러리로 물리 엔진과 테스트를 작업했음. 더 정확히는 2026년의 진지한 소프트웨어 엔지니어라면 누구나 하듯 컴파일러에 소스 코드를 읽고 컴파일하라고 했음”이라고 말했다고 상상해 보길 바람.
Codex나 Claude, LLM이 뭔가를 했다는 말은 그만했으면 함. 도구가 아니라 당신이 한 일임.