우리 AI가 사실을 지어낼 수 없는 이유

AI에게 도시 3일 여행 계획을 짜달라고 요청하면 자신감 있게 답변할 것입니다. 또한 가끔은 작년에 문을 닫은 식당, 개보수로 폐쇄된 박물관 전시관, 혹은 비행기 티켓을 예약하기 전에 운행을 중단한 트램으로 안내하기도 합니다. 모델이 거짓말을 하는 것이 아닙니다. 그것은 자신이 만들어지기 위해 설계된 일을 하고 있는 것입니다: 유창하고 그럴듯한 답변을 생성하는 것입니다. 그럴듯함(Plausible)과 진실(True)은 같지 않으며, 여행 중 이 둘 사이의 간극은 당신에게 저녁 시간을 잃게 만듭니다.

저희는 바로 그 간극에 초점을 맞춰 citysense를 만들었습니다. 간단히 말해, 저희 가이드 속 AI는 선택하고 글을 쓰지만, 결코 사실(facts) 자체를 제공하지 않습니다.

citysense가 어떻게 작동하는지에 대한 저희의 노트로 AI가 초안 작성한 후, 에디터가 검토했습니다.

두 개의 분리된 레이어

모든 citysense 가이드는 두 개의 별도 레이어로 구성됩니다.

첫 번째는 사실(facts) 레이어입니다. 이는 누군가 가이드를 주문하기 전에 각 도시에 대한 카탈로그로 구축됩니다. 이 레이어에는 동네와 그곳의 특징, 중요한 랜드마크, 도시의 식문화, 이동 방법, 알아두면 좋은 문구들, 인사말부터 식사 시간, 교회에서 입을 옷까지 지역별 규칙 등이 담겨 있습니다.

두 번째는 단어(words) 레이어입니다. 가이드를 주문하면 AI가 이 카탈로그와 사용자의 답변을 함께 읽고 사용자에게 무엇을 보여줄지, 그리고 어떻게 말할지를 결정합니다. 작동 원칙은 간단합니다: 카탈로그에서 선택만 하고, 절대 추가하지 않는 것입니다.

사실 레이어가 구축되는 방법

여기에서도 AI가 도움을 주지만, 매우 다른 역할로, 그리고 검증 과정을 거칩니다.

첫 번째 AI 세션이 카탈로그 초안을 작성하며, 날짜나 이름이 언급된 모든 주장(claim)에 대해 출처를 검색하고 인용해야 합니다. 두 번째 AI 세션은 이 초안 전체를 처음부터 감사(audit)합니다. 첫 번째 세션과는 아무것도 공유하지 않습니다: 출처도, 추론 과정도, 결론도 아닙니다. 독립적으로 모든 주장을 다시 검색하고 발견한 내용을 작성합니다. 수정 사항은 카탈로그로 돌아가고, 판단이 필요한 것은 사람에게 전달되며, 그래야만 카탈로그가 최종 확정됩니다.

도시 전반에 걸쳐 반복되는 방문객 입장 규칙 같은 사실들은 공유된 참고 자료(shared reference)에 존재하며, 새로운 도시가 추가되기 전에 검증되므로, 오래된 문장 하나가 다섯 개의 가이드북에 조용히 복사될 수 없습니다.

왜 주소지가 아닌 유형을 추천하는가

특정 바를 이름으로 언급한 가이드는 그 바의 소유주가 바뀌는 주간이면 이미 구식이 됩니다. 따라서 citysense는 유형별로 추천하고 랜드마크에 고정(anchor)합니다. 오래된 시장 근처의 가족 트라토리아, 지붕 있는 시장 홀, 걸어서 이동할 수 있는 동네 같은 방식입니다. 랜드마크는 제자리에 머무릅니다. 장소의 유형은 진실함을 유지합니다. 따라서 사용자는 여행하는 주간에도 여전히 유용한 가이드를 갖게 됩니다.

AI가 실제로 하는 일

개인화된 부분은 진짜이며, AI가 진정으로 뛰어난 영역입니다. 로마에 가는 두 사람은 서로 다른 가이드를 받게 될 것입니다. 음식 여행을 하며 늦게 잠자리에 드는 사람에게는 출구 근처의 고대 중심지에서 일찍 시작하고 싶은 사람과는 다른 동네가 추천됩니다. 속도, 세 개의 동네, 경험, 날짜 순서: 이것은 매칭과 프레이밍(matching and framing)이며, 모델이 이를 잘 수행합니다.

모델이 하지 않는 것은 존재하는 것을 결정하는 것입니다. 카탈로그에 없다면 가이드에 포함되지 않습니다.

두 개의 가이드, 같은 규칙

이것이 바로 우리가 두 가지 가이드를 제공할 수 있는 이유입니다. 시티 가이드(City Guide)는 모든 방문객이 읽어야 할, 모두에게 동일한 내용으로 카탈로그에서 직접 가져온 것입니다. 개인화된 가이드(Personalized Guide)는 같은 사실들에서 시작하여, 사용자의 여행 방식에 맞는 세 개의 동네, 경험, 날짜를 5분간의 질문을 통해 구성하여 추가합니다. AI의 양은 다르지만, 아래에는 검증된 사실들이 존재합니다.

우리가 선택한 트레이드오프(trade-off)

이것이 우리를 도시 추가에 더 느리게 만들고, 숨겨진 보석 같은 것을 기꺼이 지어내는 챗봇보다 '창의적'이지 않게 만듭니다. 하지만 우리는 이것이 올바른 선택이라고 생각합니다. 여행 가이드는 실제로 행동할 수 있을 때만 읽을 가치가 있습니다.

조사되고 사실 확인되었습니다. AI로 개인화되었습니다. 이것이 전체 아이디어입니다.

이 내용을 읽어보고 싶다면, 모든 도시의 첫 페이지는 citysense.guide에서 무료로 이용할 수 있습니다.