ChatGPT를 활용한 작업 완료 성능 저하 분석

개요:

이 글은 ChatGPT를 사용한 작업 완료(task-completion) 성능 저하에 관한 내용입니다.

키워드: AI 비서, 대규모 언어 모델 (LLMs), ChatGPT, 작업 완료 성능 저하, 머신러닝 (ML)

더 잘해지세요, ChatGPT:

저는 모델을 개발하거나 조정하는 팀에게 직접 피드백을 보낼 수는 없기 때문에, 여기서 제가 말씀드린 내용이 그들에게 전달될 것이라고는 약속할 수 없습니다.

그럼에도 불구하고, 이것은 구체적이고 실행 가능하며 단순히 '모델 성능이 나빠졌다'가 아닌 사용자 경험에 초점을 맞춘 피드백이기 때문에, 그들이 보았으면 하는 종류의 피드백입니다.

제가 다음과 같이 요약할 수 있습니다:

작업 완료 성능 저하(Task-completion regression): 글쓰기, 코딩, 편집을 하는 사용자들에게 있어, 비서가 작업을 수행하는 대신 어떻게 작업에 접근할 것인지 논의하는 데 답변 시간을 점점 더 많이 사용하고 있습니다. 이는 추가적인 턴(turns)을 생성하고 비용을 증가시키며 인지된 유용성을 떨어뜨립니다.

몇 가지 구체적인 권장 사항은 다음과 같습니다:

• 턴당 진척도에 최적화하세요. 의도가 명확해지면, 계획을 설명하기보다는 요청된 작업을 생산하는 데 답변 예산을 사용해야 합니다.

• 부분 완료를 기본값으로 하세요. 작업이 응답 제한을 초과하는 경우, 사용자에게 청킹(chunking)을 제안하도록 요청하는 대신 자동으로 파트 1부터 시작하세요.

• 미래 시점의 약속을 피하세요.

만약 어시스턴트가 예전에는 한두 번 만에 처리하던 작업을 다섯 번의 교환을 거쳐야 완료한다면, 개별 응답이 기술적으로 정중하고 정확하더라도 이는 실제 가치 저하를 의미합니다.