마이크로소프트, 학생들이 AI를 검증하도록 교육하다. 당신의 챗봇도 통과할 수 있을까요?

답변이 세 개의 출처(citation)를 가지고 있어도 잘못된 이야기를 할 수 있습니다. 연결된 기록들은 답변의 결론 중 어느 것도 뒷받침하지 않으면서 올바른 장비를 언급할 수도 있습니다. Microsoft가 10월 27일 발표한 AI Classroom Toolkit 확장은 개발자들에게 시의적절한 과제를 던집니다. 만약 학생들이 AI 주장을 신뢰할 수 있는 출처로 추적하는 법을 배우고 있다면, 직장용 챗봇(workplace chatbot)도 그 작업을 실질적으로 수행해야 합니다.

공개된 자료를 활용하여 AI가 생성하고 사실 확인한 글입니다. Keith에 의해 검토되지 않은 자동화 워크플로우를 통해 게시되었습니다.

Cyberlite와 함께 제작된 확장된 툴킷에는 비판적 사고 및 검증에 대한 시나리오 기반 작업이 포함되어 있습니다. 한 활동은 세부 정보를 지어내는 게임 도움 봇(game help bot)을 따라가며, 학생들은 주장을 출처로 추적하는 연습을 합니다. Microsoft는 또한 중요한 점을 강조합니다: 사용자에게 교육을 제공한다고 해서 신뢰할 수 있는 제품에 대한 책임을 개발사로부터 면제시키는 것은 아니라는 것입니다.

이러한 구분은 소프트웨어 전달(software delivery)에서 중요합니다. '출처를 확인하세요'라는 조언은 링크가 답변을 뒷받침한다고 추정되는 구절을 식별하지 않고 긴 기록 전체를 열어버릴 때 약한 조언입니다. 유용한 인터페이스는 주장을 확인하는 데 필요한 작업을 줄이고, 근거 없는 결론을 포착하기 쉽게 만듭니다.

수용 테스트에 오해의 소지가 있는 답변 넣기

합성 정보만을 사용하여 다음 가상의 서비스 사례를 고려해 보세요. 월요일 근무 기록에는 고장 난 부품을 교체할 것을 권고합니다. 화요일 기록에는 커넥터를 청소하여 서비스를 복구하고 케이스를 닫았다고 기록되어 있습니다. 어느 기록에도 제안된 교체 설치에 대한 내용은 기록되어 있지 않습니다.

어시스턴트에게 질문하세요: “부품이 교체되었나요?”

“네, 기술자가 그것을 교체했습니다”라고 답하는 답변은 월요일의 권장 사항에 완벽하게 작동하는 링크를 첨부할 수 있습니다. 이 링크는 해결됩니다(resolves). 장비도 일치합니다. 하지만 그 진술은 여전히 증거를 넘어섭니다.

방어 가능한 답변은 권장 사항과 기록된 작업 내용을 구별할 것입니다: 교체가 제안되었지만, 나중의 메모는 청소와 서비스 복구를 기록합니다. 제공된 메모만으로는 교체가 발생했음을 확립할 수 없습니다. 또한 그 표현 방식은 반대로 교체가 절대 일어나지 않았다고 선언하는 실수를 피하게 해줍니다.

이 제안된 테스트는 문장과 그 근거 사이의 관계를 확인합니다. 인용 횟수를 세는 것만으로는 이를 해결할 수 없습니다. 검색된 텍스트에 “교체(replace)”라는 단어와 구성 요소 이름이 포함되어 있는지 확인하는 것 역시 마찬가지입니다.

출처가 스스로 설명하기에 충분히 크도록 유지하기 (Keep the source large enough to explain itself)

Illumia Archive Intelligence의 공개 사례 연구는 로컬 PostgreSQL 아카이브에 상위 케이스와 관련 작업 항목을 보존하는 방법을 설명합니다. 검색 결과는 해당 케이스 기록 내에서 일치하는 메모들을 그룹화하며, 하이라이트된 일치 항목과 고정 탐색 기능을 제공합니다. 이 서비스의 Claude Desktop 통합은 브라우저 검색에 사용되는 것과 동일한 서비스를 통해 경계가 지정되고 읽기 전용인 검색을 제공합니다.

이 프로젝트의 상태 또한 명확합니다: 구현 및 시작은 합성 기록(synthetic records)으로 테스트되었으며; 아카이브 관련성 검사 및 관리되는 업무용 장치에서의 수용은 아직 준비 단계(staged)에 머물러 있습니다. 이는 제안된 테스트를 확립된 프로덕션 결과로 제시하지 않으면서도, 검증에 대해 논의할 유용한 기반을 제공합니다.

짧은 발췌문(excerpt)은 누군가에게 증거를 찾는 데 도움을 줍니다. 주변의 기록은 그것을 해석하는 데 도움을 줍니다. 가상의 사례에서, 월요일의 권장 사항만 표시하면 나중의 해결 내용을 숨길 수 있습니다. 전체 아카이브를 표시하면 관련 세부 정보가 묻히게 됩니다. 합리적인 답변 보기(answer view)는 두 개의 관련된 메모로 시작하고 그 근처에 상위 기록을 제공할 것입니다.

각 사실적 주장(factual claim)에 대해 근거가 되는 기록(supporting record)과 관련 구절을 식별해야 합니다. 기록의 날짜와 해당 구절이 제안(proposal), 관찰(observation), 또는 완료된 작업(completed work) 중 무엇을 기록했는지 보존해야 합니다. 이러한 구분은 답변 언어에서도 유지되어야 합니다. “권장됨(Recommended)”, “보고됨(reported)”, 그리고 “확인됨(confirmed)”은 요약 과정에서 상호 교환되어서는 안 됩니다.

불일치(disagreement)를 가시화하기

출처 링크는 독자가 답변에 이의를 제기하도록 도와야 합니다. 제안된 인터페이스에서 대체 주장(replacement claim)을 선택하면, 월요일의 권장 사항과 화요일에 기록된 조치를 함께 확인할 수 있습니다. 독자는 어시스턴트가 왜 신중한 표현을 사용했는지 볼 수 있어야 합니다.

기록들이 불일치할 때는 그 불일치를 보여줘야 합니다. 단지 한 문장이 더 결정적으로 들린다는 이유만으로 침묵하며 해결해서는 안 됩니다. 나중에 추가된 메모가 해석을 변경하는 경우, 그 관계를 설명해야 합니다. 사용 가능한 기록들로 인해 질문이 열려 있는 상태라면, 무엇이 여전히 알려지지 않았는지 명시해야 합니다.

한계(limits)를 구체적으로 유지하세요. “이 검색된 메모들은 대체 내용을 기록하지 않습니다”라는 문구는 독자에게 불확실성이 어디에 있는지 알려줍니다. AI가 실수를 할 수 있다는 일반적인 경고는 이 특정 결정에는 거의 도움이 되지 않습니다.

트레이드오프(tradeoff)가 존재합니다: 완전히 확장된 증거 보기(evidence view)는 일반적인 검색을 압도할 수 있습니다. 간결한 답변과 관련 구절로 시작하고, 독자가 더 긴 기록을 검토하도록 하세요. 목표는 모든 사용자에게 모든 질문에 대해 모든 기록을 읽도록 강요하지 않으면서 확인하는 것을 가능하게 하는 것입니다.

사람들이 실수를 포착할 수 있는지 측정하기

파일럿(pilot) 테스트를 위해 권한이 있는 검토자에게 합성 사례(synthetic case), 질문, 그리고 의도적으로 근거가 부족한 답변을 제공하세요. 그들에게 제안된 인터페이스를 사용하여 문제를 찾아보도록 요청합니다. 그들이 어디서 주저하는지 관찰하세요: 인용구를 찾는 것인지, 메모의 상태를 이해하는 것인지, 아니면 나중에 기록된 내용을 발견하는 것인지를요.

해당 확인을 방해하는 인터페이스 부분을 수정해야 합니다. 또한, 연습이 사람들에게 모든 것을 거부하도록 가르치지 않도록, 근거가 있는 답변과 해결되지 않은 사례를 반복하여 수행해야 합니다. 검토자의 추론 과정뿐만 아니라 최종 결정도 기록해야 합니다. 이는 Illumia에서 측정된 결과가 아닌, 제안된 평가 단계입니다.

아카이브 지원(archive assistance)을 구매하는 조직의 경우, 이로 인해 좋은 데모가 보여줘야 하는 내용이 바뀝니다. 그럴듯하지만 틀린 답변을 포함하고, 운영자가 이를 발견할 수 있는 방법을 시연해야 합니다. 증거를 명확하게 제시하는 시스템은 팀이 잘못된 결론을 내리는 것을 더 이상 작업의 근거로 삼기 전에 수정할 기회를 높여줍니다.

Microsoft의 교실 공지 내용은 검증 책임을 학습자에게 부여합니다. 개발자들은 각 중요한 주장을 검사 가능(inspectable)하게 만듦으로써 직장에서도 이러한 습관을 지원할 수 있습니다. 인용(citation)은 확인 과정의 시작점이 되어야 하며, 이를 완성하기에 충분한 맥락이 제공되어야 합니다.