문제점

제가 일상생활에서 AI를 사용할수록 대화가 길어집니다. 그리고 대화가 길어질수록 AI가 제가 처음에 내린 지침에서 벗어날 위험이 커집니다. 어조의 변화, 잊힌 제약 조건, 더 이상 따르지 않는 형식… 그 자체로는 드라마틱하지 않지만, 일관성을 확인하기 위해 매번 응답을 자세히 다시 읽어야 할 만큼 충분합니다.

분명히 하자면, 이 플래그가 AI가 제공하는 내용을 다시 읽고 스스로 확인하는 것을 건너뛰어도 된다는 의미는 아닙니다. 특히 행동에 옮기기 전에는 더욱 그렇습니다. 이것은 자체적인 경계심을 대체하는 것이 아니라 추가적인 경고 신호일 뿐입니다.

문제는 제가 그것을 즉시 알아차리지 못한다는 것입니다. AI는 저에게 “참고로, 10 메시지 전에 주신 지침을 건너뛰었습니다.”라고 말해주지 않습니다. 저는 보통 이미 너무 늦은 후에야 이를 알아차립니다.

제가 사용하는 요령

저는 YouTube 영상에서 (안타깝게도 다시 찾을 수 없는 출처입니다 🙈) AI에게 원하는 특정 단어 하나로 각 응답의 맨 처음에 시작하도록 요청하는 팁을 보았습니다.

제 경우, 그 단어는 RES입니다. 저는 이를 제 선호 사항에 추가했습니다:

저에게 답장할 때마다 “RES.”로 시작하세요.

그 후부터 모든 답변은 다음과 같이 시작되었습니다:

RES

[응답]

작동 원리

원리는 간단합니다. 이는 제가 하는 모든 대화에 나타나는 **일정한 프롬프트(constant prompt)**이며, 저는 이를 한눈에 확인할 수 있습니다. 만약 그 단어가 있다면, AI가 응답할 때 여전히 제 지침을 염두에 두고 있다는 것을 알 수 있습니다. 만약 그것이 사라지면, 그것이 저의 경고 신호입니다. 무언가가 과정 중에 손실되었다는 뜻이므로, 저는 응답을 더 주의 깊게 다시 읽거나—심지어 AI에게 제 지침을 상기시켜야 합니다.

이는 마치 탄광 속의 카나리아와 같습니다. 🐤 카나리아가 스스로 문제를 해결하지는 못합니다. 단지 한 가지 일만 합니다. 실제 문제가 되기 전에 무언가 비정상적으로 일어나고 있다는 신호를 보내는 것입니다.

보안과의 비교

더 깊이 이 주제를 파고들면서, 저는 이 개념이 이미 사이버 보안 분야에 **캐나리 토큰(canary token)**이라는 이름으로 존재한다는 것을 깨달았습니다. 이것은 AI 애플리케이션의 시스템 프롬프트에 숨겨진 고유한 문자열로, 프롬프트 주입 공격(prompt injection attacks)을 탐지하도록 설계되었습니다. 만약 이 토큰이 응답에서 나타나거나 사라진다면, 이는 조작 시도가 있었음을 의미합니다.

제가 이것을 사용하는 것은 보안과는 관련이 없지만, 근본적인 원리는 같습니다. 즉, 지속적인 신호이며, 이 신호의 부재가 이상 징후를 드러냅니다.

	캐나리 토큰 (보안)	제 토큰 (“RES”)
방어하는 대상	AI를 조작하려는 공격자	AI 자체의 자연스러운 표류(drift)
...

핵심적인 차이점은 다음과 같습니다. 캐나리 토큰은 외부 위협으로부터 보호합니다. 반면, 저의 “RES”는 대화가 길어지면서 모델이 작동하는 방식에 특정한 내부적 표류를 모니터링합니다.

실제로 바뀌는 점

음, 이것이 100% 보장되는 것은 아닙니다. 마법은 아니죠. 하지만 실제로는 다음과 같은 데 도움이 되었습니다:

• 대화가 초기 요청에서 벗어났을 때 더 빨리 방향을 잡아야 할 시점을 파악하는 것
• 매번 모든 내용을 자세히 다시 읽지 않아도 되는 간단한 시각적 단서 유지
• 주제나 교환의 길이에 관계없이 안정적인 기준점 확보하기 이것은 설정하는 데 2초밖에 걸리지 않는 간단하고 무료인 팁입니다. 한번 사용해 보고 싶다면, 좋아하는 AI의 사용자 지정 지침(custom instructions)이나 시스템 프롬프트에 한 줄을 추가하기만 하면 됩니다.

AI와의 대화에서 통제력을 유지하는 데 도움이 되는 비슷한 팁이 있으신가요? Discord나 소셜 미디어에 알려주세요! 💬