AI가 계획을 제시하면 사용자가 그 계획을 잃어버리는 문제

사용자님은 LLM에게 자신의 설정을 검토하고 다섯 개의 번호가 매겨진 이슈를 받도록 요청합니다. 좋은 답변입니다. 사용자님은 #1부터 시작하지만, 몇 메시지가 지나자 목록이 화면 반 이상으로 늘어납니다.

#3에 도달하려면 위로 스크롤하여 다시 읽고, 아래로 스크롤한 다음 "#3에 대해..."라고 입력합니다. 모델이 어떤 목록을 의미하는지 알기를 바라면서 말이죠. 나중에 받은 답변들은 또 다른 번호가 매겨진 목록들을 가져오기 때문에, "#3"은 두 가지 다른 것을 의미할 수 있습니다. 그리고 실제로 완료한 항목이 무엇인지 추적해 주는 것은 아무것도 없습니다.

A chat where the reply listing five fixes is scrolling off the top, and the user types

A later reply with its own numbered list. The user says

왜 문제가 지속되는가 (Why it stays broken)

인터페이스 입장에서, 작업해야 할 항목의 목록은 단지 서식(formatting)일 뿐입니다. 그것은 렌더링되고 스크롤될 때 다섯 개의 설명 문단과 똑같이 보입니다. 일부 도구들은 이제 모델 자체의 다단계 작업을 체크리스트로 보여주지만, 그 목록이 _사용자_를 위한 작업이라면 여전히 단지 텍스트에 불과합니다.

원칙은 이렇습니다: 답변이 사용자에게 처리해야 할 일련의 항목을 제시할 때, 인터페이스는 그것을 텍스트가 아닌 '작업(work)'으로 유지해야 합니다.

해결책 (A fix)

The same chat with a floating

구현 방법 (How you'd build it)

가장 작은 버전: 렌더링된 모든 순서형 목록(ordered list)에 고정 패널로 이동시키는 '고정(pin)' 컨트롤을 추가합니다. 사용자가 직접 항목을 체크할 수 있게 합니다. 이는 모델 변경 없이 프런트엔드(front-end)만으로 구현 가능하며, 이미 스크롤 문제를 해결합니다.

견고한 버전(Solid version): 모델은 목록을 실행 가능한 항목으로 표시하고 각 항목에 안정적인 ID를 부여합니다. 이후 대화 턴에서 어떤 항목을 다루고 있는지, 그리고 해결되었는지 여부를 보고하여 패널이 자동으로 항목을 강조 표시하고 확인할 수 있게 합니다. 항목을 클릭하면 해당 ID가 다음 메시지에 첨부되므로 "이것"이라는 표현이 모호해지는 일이 없습니다.

확장된 버전(Ambitious version): 목록 자체가 대화의 상태(state) 일부가 됩니다. 나중에 오는 메시지들은 항목을 추가하거나 분할할 수 있고, 목록을 완료하면 그 범위(span)가 닫히며, 히스토리로 스크롤하면 각 목록이 해당 시점에 어떤 상태였는지 보여줍니다.

Four frames: a list with a pin control, the list floating as a panel, items checked off, and the panel closing after the last check

주목해야 할 고려 사항 (Trade-offs to watch)

• 잘못된 체크표시는 아예 없는 것보다 나쁘므로, 자동 확인 기능에는 명확한 취소(undo) 기능이 필요합니다.
• 모든 번호가 매겨진 목록이 작업 항목은 아닙니다. 순위 옵션이나 레시피 같은 것은 사용자 경험을 따라다니는 느낌을 주어서는 안 됩니다.
• 휴대폰에서는 패널이 "5개 중 2개 열림"과 같은 작은 칩 형태로 축소되어야 합니다.

전체 게시물에는 사용자의 제품을 감사(auditing)할 수 있는 체크리스트가 있습니다.

사용자에게 따라야 할 단계를 제공하는 AI 기능을 구축하고 있다면, 이를 어떻게 처리하고 계신가요?