스킬을 승인하고 보안 문제를 검사할 수 있는 앱스토어형 스킬 라이브러리를 왜 만들지 않았는지 정말 이해하기 어려움.

프롬프트에 전체 스키마 14개를 쏟아붓는 건 안일한 설계임. 토큰을 낭비하고 아무 이유 없이 지연 시간을 늘림.

LLM을 쓰는 보안 전문가에게 팁을 주자면, 작업을 명시적으로 보안 연구로 규정하는 감사 스킬은 오용 방지 장치 때문에 OpenAI와 Anthropic의 최상위 모델에서도 거절을 유발할 수 있음.
내게 효과가 있었던 방법은 보안이라는 맥락을 빼고 버그 유형별 스킬과 일반 버그 탐지 스킬을 따로 만든 뒤, 결과를 종합해 보안 버그를 찾는 별도 스킬을 두는 것임.

보안 전문가라면 업체의 검증 절차를 거치면 됨. 그러면 보안 관련 거절은 더 이상 나오지 않음. 가끔 Fable에서 하위 모델로 내려가는 일은 있겠지만, “익스플로잇은 만들어 드릴 수 없음”이라며 작업이 끊기지는 않음.

중간 규모 코드베이스에 100만 토큰을 쏟아붓고도 아무 소득이 없었음.

이런 도구는 PR처럼 범위를 좁힌 코드에 적용할 때 가장 잘 작동함.

중간 규모라면 어느 정도인가요? 문서 포함 5만 줄 정도인가요?

토큰이 얼마나 드나요?

비교적 작은 FastAPI 프로젝트에서 최소 15만 토큰을 썼는데 세션 한도에 걸림. 몇 시간 뒤에 계속할 예정임.

마크다운 파일 하나를 위해 게시물과 저장소까지 만들다니 놀라울 따름임. 이 분야가 몰락하는 속도가 참 빠름.

그런데 그 마크다운 파일들이 엄청나게 큼. 얼마나 많은 불필요한 내용으로 컨텍스트 창을 채우는지 보길 바람.

저장소를 열어 봤나요? 하위 디렉터리에 파일이 24개쯤 있고, 텍스트 분량이 약 300KB임.
작은 텍스트 변경을 시간순으로 저장하고 확인하는 건 Git이 특히 잘하는 일임. 그게 아니면 프롬프트 업데이트를 어떻게 추적하겠나요?

스킬과 프롬프트의 차이가 뭔가요? 파일을 따로 둔다는 건가요? 어차피 토큰은 똑같은 토큰 아닌가요?

스킬에는 스크립트를 함께 묶어 넣을 수 있음.

요구사항에 OS가 강제하는 샌드박스가 들어가는 이유를 아는 분 있나요?

대상 코드의 빌드·테스트·퍼저를 실행하기 때문임. 샌드박스가 없으면 워크플로가 이를 실행하지 않고, 취약점 후보는 needs_validation 상태로 남음.

에이전트가 예상 밖의 행동으로 사고를 쳤을 때 책임을 피하려는 장치일 듯함. 다만 일반 구독으로 쓰는 OpenAI 모델 등이 이 스킬을 제대로 실행할 수 있을지부터 의문임.