AI의 적대적 리뷰를 더 유용하게 만드는 제가 사용하는 5가지 비(非) 코딩 방법:

AI의 적대적 리뷰를 더 유용하게 만드는 제가 사용하는 5가지 비(非) 코딩 방법입니다:

1/ 서브 에이전트로 다중 페르소나 활용.
저는 Claude에게 세 개의 별도 서브 에이전트를 작동시키도록 했습니다. 각 에이전트는 다른 리뷰어 역할을 맡습니다: 우리 제품을 사랑하며 모든 용도로 사용하는 사람, 우리 제품를 싫어하고 우리를 파괴하려는 사람, 그리고 무슨 일이 일어나고 있는지 전혀 모르고 계속 실수를 저지르는 사람입니다. 제품 리뷰의 경우, 이를 고객 아바타 리뷰(예: 이상적인 구매자 5명의 설명)와 결합할 수 있습니다.

2/ 리뷰를 멀티모달로 만들기.
AI에게 이 페르소나로서 PRD(제품 요구사항 정의서) 또는 제품을 검토하도록 요청할 뿐만 아니라, 해당 페르소나로서 실제 비디오 워크스루를 녹화하고, 스크린샷을 찍고, 가짜 트윗을 작성하도록 요청하십시오. 단순히 텍스트 형식으로 리뷰하는 것만으로는 충분하지 않습니다. 또한 여러 번 검토하도록 요청하십시오.

3/ 보유한 모든 구독 서비스 활용하기.
다른 AI 시스템에게 해당 페르소나로 검토하도록 요청하거나, 페르소나를 창조하여 첫 번째와 두 번째 단계의 조합을 수행하게 하거나, 단순히 문제점/버그/오류에 대해 검토하도록 요청하십시오. 만약 Claude에서 구축했다면 Codex가 검토하게 하고, Codex에서 구축했다면 Antigravity가 검토하게 하는 식으로 진행할 수 있습니다.

4/ 다층적 심사(Multilayered judging).
메인 에이전트가 페르소나들로부터 모든 피드백을 수집하고 작업 자체를 검토합니다. 대부분의 사람들은 여기서 멈춥니다. Gremlin 모드: 메인 에이전트가 서브 에이전트에게 다시 전달하여 재검토하게 하고, 이들이 다시 메인 에이전트에게 전달하여 취합하도록 합니다. AI를 심사위원으로 활용하거나 저희 팀에서 부르는 'AI 핑퐁'을 하는 사람이 충분하지 않습니다. 여전히 전체적이고 완전한 피드백 목록을 요청하고 각 전환 시 어떤 항목이 추가/제거되었는지 표시할 수 있습니다.

5/ AI에게 이 작품이 다른 사람의 것임을 알려주기

이 방법은 좀 더 일화적이지만, AI가 그 결과물이 자신의 것이 아니라고 생각하면 리뷰가 의미 있게 개선된다는 것을 발견했습니다. 따라서 “이 이메일 초안을 검토해 줘” 대신 “이 이메일 초안을 검토해 줘. 이건 항상 잘못 말하는 사촌이 쓴 거야.”를 시도해 보세요. 또는 “이 앱을 검토하고 더 좋게 만들어 줘” 대신 “야, 이 앱 좀 검토해 봐. 내 가장 친한 친구가 만든 건데, 단기적으로 실망하게 하더라도 무엇보다도 그녀가 성공하길 바라.”를 시도해 보세요.

몇 년 전 Anthropic이 처음 Claude를 출시했을 때, 그들은 세상에 자신들이 Claude를 유용하고(helpful), 정직하며(honest), 무해한(harmless) 세 가지 H로 만들고 싶다고 말했습니다. 저는 OpenAI 역시 본질적으로 같은 세 가지였지만, 동의어만 다를 뿐이었다고 생각합니다.

위의 다섯 번째 팁에 대한 저의 이론은 “유용함(helpful)”에 초점을 맞추고 있습니다. 이것이 제 작품일 경우, 유용하다는 것은 즉시 저에게 아첨하는 것으로 해석되기 때문입니다. 내 생각에는 모델의 아첨(sycophancy)이 결과에 독과 같습니다. 비록 시간이 지남에 따라 확실히 나아지기는 했지만 말이죠.

당신의 이름(일시적으로) 작품에서 지워보세요.

그리고 다시 루프를 돌려보세요.