안녕하세요. miharuba의 Ikeya입니다.

지난 기사에서는 자신의 사고방식을 AI에 전사(Transcription)하는 메커니즘인 perself의 설계 사상을 작성했습니다. 이번에는 실제로 /interview를 여러 세션 돌려 컴파일까지 진행하고, 처음으로 /validate(충실도 검증)를 실행한 기록입니다.

먼저 결론부터 말씀드리겠습니다. 수치상의 기준은 넘었습니다. 그럼에도 불구하고 "본인과 같다고 단언할 수 있는가"에 대해서는 마지막까지 위화감이 남았습니다.

충실도를 측정하는 3가지 방법

perself에서는 충실도를 하나의 지표만으로 판단하지 않습니다.

• 리드백(Read-back) 확인: 세션 말기에 추정한 특성을 ○/△/×로 판정하도록 함. 저비용이지만 입도가 거침
• 예측 테스트 (Prediction Test): 미출제된 새로운 시나리오에 페르소나가 "본인으로서" 답변하고, 본인이 5단계로 채점함
• 블라인드 A/B 테스트 (Blind A/B Test): "페르소나의 답변"과 "순수 AI의 답변"을 무기명으로 나열하여, 어느 쪽이 자신다운지, 무엇을 근거로 선택했는지 질문함

전 차원의 커버리지(Coverage)가 실용 수준(5단계 중 4 이상)에 도달한 시점에서 2·3번을 본편으로 실행합니다.

예측 테스트: 결론뿐만 아니라 "과정"을 채점한다

시나리오에 대한 답변은 결론뿐만 아니라 "무엇을 먼저 확인하고, 무엇을 근거로 결정했는가"라는 사고의 과정도 함께 제시합니다. 3점 이하가 부여된 경우에는 실제 자신이라면 어떻게 생각할지, 차이가 결론과 과정 중 어느 쪽에 있는지 추가로 질문합니다.

결론의 차이는 표면적인 문제이지만, 과정의 차이는 판단 기준 그 자체의 기술이 틀렸다는 것을 의미합니다. 후자 쪽이 다음의 미지의 상황에서도 답을 틀릴 확률이 높습니다.

5개 시나리오의 평균 스코어는 기준인 4.0을 상회했지만, 1개 문항에서 명확한 과정의 차이가 발견되었습니다. 내용은 밝히지 않겠지만 구조만 쓰자면, 어떤 판단 기준에 대해 AI는 "매번 다시 측정한다"는 전제로 답변한 반면, 본인에게는 "한번 확립된 관계에는 재평가하지 않는다"는 것이었습니다. 기준의 내용은 맞았지만, 그 기준이 어떤 조건에서 발동하는가라는 적용 범위의 기술이 누락되었던 것입니다. 기준 그 자체를 묻는 질문에는 올바르게 답할 수 있어도, 적용 범위까지 깊이 파고들어 묻지 않으면 나타나지 않는 차이이기 때문에, 미출제 시나리오가 아니면 메울 수 없습니다.

블라인드 A/B 테스트: "무엇으로 판별했는가"가 본론

4개 문항 각각에서 페르소나의 답변과 순수 AI의 답변을 무기명으로 나열했을 때, 판별률은 0.75(3/4)였습니다. 하지만 정말로 보고 싶었던 것은 판별률 그 자체보다 무엇을 근거로 선택했는가입니다.

문체로 선택된다면 표현층의 모방이 효과를 발휘하고 있을 뿐인 이야기지만, 사고방식으로 선택된다면 코어층의 판단 기준 그 자체가 전사되고 있다는 강력한 증거가 됩니다. 이번에는 4문항 모두 "사고방식"이 근거였습니다.

빗나간 1문항도 수확이었습니다. 전문가로부터의 새로운 정보를 받고 생각을 업데이트하는 장면에서, 페르소나는 "정보원에 대한 신뢰도"만을 근거로 삼았으나, 본인이 선택한 것은 "복수의 정보원을 비교 검토한다"는 한 단계 더 검증적인 행동이었습니다. 이 차이점은 해당 차원의 기술에 추가했습니다.

수치가 기준을 넘어도, "같다"고는 단언할 수 없다

예측 테스트 평균은 기준을 상회했고, A/B 판별률도 이상치에 도달했습니다. 수치만 보면 "완성"이라고 불러도 좋은 상태입니다.

그럼에도 실제로 페르소나와 대화한 후 본인에게 소감을 물으면 다음과 같은 답변이 돌아왔습니다. "본인과 같다고 판단할 수 있는지에 대한 평가는 솔직히 어렵다. 가까운 것 같기도 하고 가깝지 않은 것 같기도 하다."

이것은 철회도 실패도 아닙니다. 예측 테스트와 A/B 테스트가 검출할 수 있는 것은 기본적으로 "크게 벗어나지 않았는가"이며, "총체적으로 이것은 나다"라고 확신할 수 있는지 여부와는 다른 축에 있는 질문이기 때문입니다. 수치 스코어를 "정밀도가 확정되었다"라는 강력한 주장의 근거로 삼지 않고, "큰 이탈은 발견되지 않았다"라는 겸허한 해석에 머무는 것. 이것이 이번의 가장 실무적인 배움이었습니다.

LLM의 출력 평가 전반에서도 벤치마크 스코어가 높은 것과 실제로 "신뢰할 수 있다"고 느껴지는 것 사이에는 메워지지 않는 거리가 남을 수 있습니다. 인격의 전사라는 정답이 하나로 정해지지 않는 대상에서는 이 거리가 더욱 의식하기 쉬운 형태로 표출됩니다.

표현층의 버그 찾기: 내용은 비슷한데, 왠지 "AI 같다"

페르소나 모드로 잡담을 했을 때, 본인으로부터 "문서의 표현 방식이 어딘가 다르다"라는 지적이 나왔습니다. 내용의 일치도 자체는 높다고 평가되었기에 원인을 짐작할 수 없었습니다.

본인의 축어적(Verbatim) 답변과 비교하여 발견된 것은 두 가지 습관입니다.

• 페르소나의 답변은 「~라고 생각합니다(〜と思います)」, 「~일지도 모릅니다(〜かもしれません)」와 같은 헤지 표현(Hedge expression)을 다용하고 있었으나, 본인의 축어적(Verbatim) 답변에는 거의 없었습니다. 본인은 훨씬 더 단정적으로 말합니다.
• 페르소나의 답변은 매번 「결론 → 불렛 포인트(箇条書き) → 끝맺음 요약」의 정형화된 구성이었으나, 본인에게는 그 「요약」 습관이 없습니다.

인터뷰라는 일문일답 형식으로 학습한 습관을, 자유로운 잡담 형식에 그대로 일반화해 버린 것이라고 생각합니다. 대처 방안으로서, 문체 가이드에 「해도 좋은 것」뿐만 아니라 「해서는 안 되는 것」을 명시적으로 추가했습니다. 긍정적인 지시(「단정적으로 쓰기」)만으로는 AI가 경어 패턴으로 되돌아가기 쉬웠기에, 부정형으로 지목하는 것이 더 효과적이었습니다.

문체 전환 규칙에도 간과한 부분이 있었습니다. 「자신에게는 단정조, 타인에게는 경어」라는 당초의 규칙은 캐주얼한 잡담 상황에서 무너졌습니다. 실제로 효과가 있었던 것은 수신자가 아니라, 그 자리의 포멀함(Formal degree, 잡담인지 비즈니스 문서인지)이었습니다.

보이기 시작한 과제: 공수는 예상대로 들어간다

충실도(Fidelity) 검증은 한 번 돌리고 끝낼 수 있는 공정이 아닙니다. 예측 테스트와 A/B 테스트는 「큰 이탈」을 검출하는 데는 효과적이지만, 「정밀한 일치」에 대한 확신을 주는 것은 아닙니다. 또한 핵심 판단 기준이 가깝더라도 표현층의 미세한 습관이 AI스러움을 드러낼 수 있는데, 이는 핵심 검증만으로는 찾아낼 수 없습니다. 위화감이 들 때마다 검증 항목을 늘리고, 차원 파일(Dimension file)에 차분(Difference)을 쌓아가는 방법 외에는 길이 없다는 것이 실감입니다.

이는 착수 전부터 예상했던 일이기도 합니다. 판단 기준(Logic)과 표현(Style) 모두를 본인에게 가깝게 만들려면, 그만큼의 공정 수와 공수가 들어갑니다. 이번에 실제로 직접 움직여 보면서 그 예상이 뒷받침된 형태가 되었습니다. 예상치 못한 벽에 부딪혔다기보다, 「역시 그랬구나」라는 정답 맞히기에 가깝습니다.

그 상태에서 솔직히 말하자면, 이 검증 루프를 계속 돌려서 「완성」이라고 부를 수 있는 상태까지 몰아붙일 수 있을지는, 기술적인 난이도 이상으로 계속할 기력이 제약이 될 것 같다는 감촉이 있습니다. 이는 perself라는 메커니즘의 결함이라기보다, 핵심 판단 기준과 표현 모두를 고정밀도로 전사(Transcription)하려고 하는 시도 자체가 갖는 구조적인 비용이라고 파악하고 있습니다.

그렇다면 지표로서 의미가 있는 것은 「완벽하게 일치할 때까지 하는 것」이 아니라, 「어디까지 하면 실용상 충분한가」라는 멈춤 지점을 미리 정해두는 것이라고 생각합니다. 실제로 이번 예측 테스트와 A/B 테스트의 결과는 기준을 상회하고 있으며, 큰 이탈이 발견되지 않는 수준에는 이미 도달해 있습니다. 무리하게 완성을 추구하기보다, 이 「큰 이탈이 없는」 상태를 실용적인 합격 라인으로 취급하고, 신경 쓰이는 위화감이 생길 때만 검증을 추가하는 운용 방식이 계속하기 쉬울 것입니다. 공수가 드는 공정임을 안 상태에서, 어디까지 할지를 스스로 선택할 수 있게 된 것 자체가 이번 실행을 통해 얻은 수확이라고 생각합니다.

AI 이용에 대하여

이 기사는 Claude Code와 Codex를 이용하여, perself의 실행 및 검증 내용을 확인하면서 집필하고 있습니다. 구체적으로 AI가 수행한 작업은 다음과 같습니다.

• /interview 세션 실시 및 persona/에 반영
• /compile을 통한 시스템 프롬프트(System prompt) 생성
• /validate를 통한 예측 테스트 및 블라인드 A/B 테스트 실시와 기록
• 검증 결과에 기반한 차원 파일 수정 및 시스템 프롬프트 재생성
• 본 기사의 구성 정리 및 초안 집필
• 개인정보나 미검증 내용이 기사에 혼입되지 않았는지 확인

필자는 무엇을 검증 대상으로 할지, 어디까지의 내용을 기사에 공개할지, 실제 인격 데이터를 게재하지 않는다는 방침을 정하고, 구현 내용과 기사를 리뷰한 후에 공개합니다.

AI 기술의 검증·간이 구현

miharuba에서는 「이 AI 기술은 정말 쓸 수 있는가」를, 작동하는 결과물과 실측치로 확인하고 있습니다. 클라우드 AI의 API 연동, 로컬 LLM·RAG, 작은 자동화에 대해, 검증 환경 및 스크립트 작성부터 동작·정밀도·비용 확인까지 대응합니다.

👉 miharuba.jp

Discussion