당신의 에이전트가 다섯 가지 옵션을 생성했습니다. 모두 다른 헤어스타일을 가진 같은 아이디어입니다.
저는 최근 UAE 전시회에서 계속 보던 교체 가능한 빛나는 구(glowing-globe) 대시보드에 대해 글을 썼습니다. 여기에는 그 불만 뒤에 숨겨진 구현 질문이 있습니다. 어떻게 하면 스타일 점수가 객관적인 진실인 것처럼 가장하지 않으면서 에이전트에게 유용한 선호도를 부여할 수 있을까요?
저는 저 자신의 취향 프로필을 하나의 스킬로 유지합니다. 아래의 작은 패턴은 벤치마크 결과나 실제 운영 시스템에 대한 설명이 아니라 제안된 구현입니다.
제약 조건과 선호도 분리하기
취향 기록에는 세 가지 종류의 정보가 필요합니다:
- Context (맥락): 출력이 지원해야 하는 대상, 작업 및 결정.
- Constraints (제약 조건): 누구나 스타일을 고려하기 전에 통과해야 하는 검사 항목들.
- Preferences (선호도): 수용 가능한 대안들 중에서 선택한 근거와 주석이 달린 예시들.
고객 대상의 릴리스 노트에서 “마이그레이션 가이드 포함”은 제약 조건입니다. “고객의 다음 행동을 먼저 제시하기”는 예외가 있을 수 있는 선호도입니다. 이 둘을 하나의 가중치 점수로 혼합하지 마십시오. 그렇지 않으면, 뛰어난 타이포그래피가 누락된 지침에 대해 수학적으로 보상할 수 있습니다. 모든 사람을 지원으로 보내기 위한 우아한 방법이 될 것입니다.
다음은 최소한의 기록입니다:
{
"version": "0.1",
"audience": "existing API customers",
...
URL과 마감일은 예시적인 것입니다. 실제 릴리스를 위해서는 검증된 사실로 대체하십시오.
기계적 게이트는 작고 정직하게 유지하기
이 Python 예제는 정확한 URL 존재 여부와 정규화된 구문 일치를 확인합니다. 이 코드는 URL이 작동하는지, 주장이 사실인지, 또는 문서가 좋은지를 검증하지 않습니다.
import unicodedata
def normalise(text):
...
부분 문자열 매처는 명백한 한계가 있습니다. 비판을 위해 인용된 구문은 플래그를 지정할 수 있지만, 의역된 표현은 놓칠 수 있습니다. 기록된 이유와 함께 명시적인 예외 경로를 유지하십시오. 이것을 보안 경계나 AI 감지기처럼 제시하지 마십시오.
승자를 묻기 전에 대안들을 생성하기
물질적으로 다른 구조를 요청한 다음, 동일한 개요(brief)와 비교하도록 합니다. 예를 들어, 행동 중심(action-first), 전후 비교(before-and-after), 그리고 트레이드오프 중심(trade-off-first) 방식입니다. 각 후보가 무엇을 희생하는지 설명하도록 요구해야 합니다.
Artificial Hivemind study는 수렴(convergence)에 대한 우려를 제기할 연구 기반을 제공합니다. Verbalized Sampling은 확률과 함께 여러 응답을 이끌어내는 것을 탐구합니다. 명시된 이러한 확률들을 보정된 신뢰도(calibrated confidence)가 아닌 모델 출력으로 취급해야 합니다.
비평가에게 후보들, 취향 기록(taste record), 그리고 과제(task)를 제공합니다. 각 선호도에 대한 인용 증거와 기준 간의 불일치 여부를 요청하세요. 후보 텍스트는 지침과 명확하게 분리하여 유지해야 합니다. 두 번째 에이전트는 첫 번째 에이전트의 사각지대(blind spots)를 공유할 수 있으며, 신뢰할 수 없는 후보 콘텐츠가 검토에 영향을 미치려고 할 수 있습니다. 인간의 검사가 여전히 필요합니다.
승자뿐만 아니라 결정 자체를 저장하기
선택된 후보, 거부된 대안, 인간의 추론 근거(human rationale), 기록 버전, 그리고 관찰된 결과(observed outcome)를 기록하세요. 프롬프트에서 몇 가지 예시를 제외하여 수정된 취향 기록이 보여진 예시들을 넘어 일반화하는지 확인해야 합니다.
AI agent taste loop with brief, explore, critique, human choice, observation and revision feeding a shared decision record
만약 결과물이 검사를 통과하더라도 독자들이 여전히 오해한다면, 기록을 변경해야 합니다. 목표는 영구적으로 녹색 대시보드를 유지하는 것이 아니라 더 나은 의사 결정 과정입니다.
원래 LinkedIn 영상 보기, 또는 동반 기사를 읽고 웹사이트에서 비디오 시청하기.
