원문은 AI Tech Connect에 게시되었습니다.

당신이 알아야 할 점: 대화형 AI를 위한 대부분의 평가 스위트(evaluation suites)는 잘못된 것을 테스트합니다. 이들은 하나의 프롬프트(prompt)를 보내고, 하나의 답변을 읽고, 점수를 매긴 뒤 다음으로 넘어갑니다. 그러다 제품이 출시되면 실제 사용자가 후속 질문(follow-up)을 던지는 순간 무너지고 맙니다. 이는 대화형 에이전트(conversational agent)의 흥미로운 특성 중 거의 대부분이 단일 턴(single turn)에서는 발생하지 않기 때문입니다. 흥미로운 동작은 턴 사이(between the turns)에 발생합니다. 즉, 어시스턴트(assistant)가 추측하는 대신 명확한 질문을 던지는지, 네 개의 메시지 전에 준 제약 사항을 기억하는지, 설정한 작업(task)을 유지하는지 아니면 조용히 다른 작업으로 이탈하는지, 그리고 실수를 했을 때 우아하게 복구할 수 있는지 등이 그것입니다. 단일 요청-응답(request-and-response) 테스트는 이 중 그 어떤 것도 포착할 수 없습니다. 왜냐하면 첫 번째 턴에서는 그 무엇도 존재하지 않기 때문입니다. 벤치마크(benchmarks)는...

AI Tech Connect에서 전체 기사 읽기 →