메모리 시스템의 새로운 업데이트에 오류가 있습니다.
기능이 활성화되어 있는 동안, 저장된 메모리(saved memories)를 모델이 전혀 사용할 수 없습니다. 저는 몇 시간 동안 이를 테스트했습니다. 모델은 최근의 채팅 컨텍스트(chat context)에 의존하며 어떤 면에서는 정밀함을 흉내 낼 수 있지만, 더 모호하거나 최근에 논의되지 않은 저장된 메모리 컨텍스트는 검색에 실패하거나 형편없는 내용(sludge)으로 추상화됩니다.
또한, 이전 시스템으로 되돌리는 것이 유지되지 않습니다.
iPad 앱과 웹 모두에서, 새로운 시스템 대신 메모리를 저장하는 이전 방식으로 되돌려도 페이지를 새로고침하거나 10분 정도 기다리면 자동으로 다시 새로운 시스템으로 돌아갑니다.
이는 단순히 일반적인 분위기(vibe)가 아니라 저장된 메모리의 정밀함에 의존하는 누구에게나 절대 용납할 수 없는 일입니다.
중요한 발견 사항:
메모리에 저장했을 수도 있는 약어(acronyms)가 모호할 경우 안정적으로 기억되지 않습니다. 여기서 모호하다는 것은, 저장하기는 했지만 너무 최근의 채팅에서 사용하지 않았음을 의미합니다.
예시: 제가 사용하는 일종의 농담인 RCL이 있습니다. Rodent Cookware Literature입니다. 묻지는 마세요. 핵심은 이것이 메모리에 저장되어 있다는 점입니다.
새로운 채팅에서 RCL이 무엇의 약자인지 물었을 때, 모델은 제 성격에 맞는 내용을 지어냈지만 틀렸습니다. Reader Clarifying Language라고 답했습니다.
그런데 같은 채팅에서 제가 저장된 메모리 레거시 시스템(saved memory legacy system)을 다시 활성화했을 때, 해당 채팅에서 동일한 프롬프트(prompt)를 사용하여 다시 물어보자 즉시 스스로를 수정했습니다.
이는 저장된 메모리 인프라(infrastructure)에 의존하는 기업들에게 절대적으로 재앙적인 일입니다. 특히 에이전트(agents)와 결합될 경우 더욱 그렇습니다. 만약 모델이 사용자를 대신하여 행동하면서 SKU나 RMA와 같은 비즈니스 약어들을 대충 짐작하여(vibing) 처리하기 시작한다면, 이는 잠재적인 책임 문제와 재정적 손실로 이어질 수 있습니다.
기본적으로, 이는 ChatGPT를 비즈니스 용도로 사용하거나, 저의 경우처럼 10분마다 매번 설명하고 싶지 않은 공통적인 구조적 이해를 위한 정전(canon) 데이터베이스로 사용하는 모든 사람에게 재앙적입니다.
여러분이 구축한 그 어떤 상세 정보나 인프라와도 마찬가지입니다.
저장된 메모리를 확인하여 테스트해 볼 수 있습니다. 그중 최근에 이야기하지 않은 내용을 찾아보세요.

만약 그렇다면, 그것은 교차 채팅 참조 (cross chat referencing)를 사용하여 답변을 꾸며낼 것입니다. 따라서 몇 가지 모호한 내용들을 찾아보세요. 새로운 채팅에서 그것에게 물어보세요.
아마도 실패할 것입니다.
그다음 레거시 시스템 (legacy system)을 다시 활성화하고 다시 물어보세요.
또 다른 예시를 들자면…. 저는 세 명의 아이가 있습니다.
새로운 바이브 메모리 (vibe memory)는 제가 두 명의 아이를 가졌다고 단언합니다. 그것은 세 명이라고 적힌 저장된 메모리를 말 그대로 볼 수 없는 상태입니다.
왜 두 명일까요?
최근에 제 세 명의 아이 중 두 명에 대해서만 언급했기 때문입니다.
자폐증이 있는 작가로서, 이것은 말도 안 되는 일입니다. ChatGPT는 저를 위해 글을 써주지는 않지만, 설정 (canon)을 저장하고 매우 구체적이고 엄격한 세계관 구축 (world building) 제약 조건들에 대해 일관성 검사 (consistency checks)를 할 수 있도록 도와줍니다.
저는 버그 리포트 (bug reports)를 제출했고 OpenAI에 직접 글을 썼습니다. 파워 유저 (power users), 작가, 기업, 또는 단순히 분위기나 잡담을 위해 도구를 사용하는 것이 아닌 분들이라면 저와 같이 해주시기를 권장합니다.
/u/ItsAGarbageAccount 가 r/OpenAI 에 제출함
[link] [comments]