OpenAI는 세션 데이터를 압축하고 재생함으로써 대화 전반에 걸쳐 사용자 선호도를 유지하는 ChatGPT용 '꿈꾸는(dreaming)' 메모리 시스템을 출시하여 지속적인 개인화를 가능하게 했습니다.

OpenAI는 대화 전반에 걸쳐 사용자 선호도를 유지하는 ChatGPT용 '꿈꾸는(dreaming)' 메모리 시스템을 도입했습니다. @rohanpaul_ai에 따르면, 이 시스템은 세션 데이터를 모델이 유휴 시간(idle periods) 동안 '꿈꾸는' 압축된 메모리 표현(memory representations)으로 압축합니다.

주요 사실

• 시스템이 세션 데이터를 압축된 메모리 표현으로 압축함
• 모델이 유휴 시간 동안 '꿈을 꾸며' 학습된 패턴을 강화함
• 매 세션이 끝난 후 문맥을 잊어버리는 상태 비저장(stateless) 모델에서 벗어남
• OpenAI는 모델 지원 여부, 출시 일정 또는 거부(opt-out) 방법을 공개하지 않음
• 반복되는 선호도를 가진 파워 유저들의 번거로움을 줄여줄 수 있음

AI 논평가 Rohan Paul의 트윗에서 처음 발견된 이 기능은 ChatGPT가 명시적인 재학습(retraining)이나 미세 조정(fine-tuning) 없이도 사용자 선호도를 저장하고 회상할 수 있게 합니다. 이 시스템은 세션 데이터를 압축된 메모리 표현으로 압축하며, 모델은 유휴 시간 동안 이를 '꿈꾸며' 학습된 패턴을 강화하기 위해 재생합니다. 이는 매 세션이 끝난 후 문맥을 잊어버리는 상태 비저장(stateless) 대화 모델에서 벗어난 변화이며, 이러한 한계는 Anthropic과 Google DeepMind가 지속적인 메모리(persistent memory) 연구를 진행하게 만든 동인이기도 했습니다 [이전 보도 내용 참고].

'꿈꾸는(Dreaming)' 메커니즘의 작동 방식

레이블이 지정된 데이터셋과 연산 자원(compute)이 필요한 전통적인 미세 조정(fine-tuning)과 달리, 꿈꾸는 시스템은 생물학적 뇌가 수면 중에 기억을 재생하는 방식과 유사한 일종의 오프라인 통합(offline consolidation) 형태로 작동합니다. 모델은 가공되지 않은 대화 로그가 아닌 압축된 선호도 벡터(preference vectors)를 섭취하며, 이는 프라이버시를 보호하는 설계임을 시사합니다. OpenAI는 어떤 모델이 이 기능을 지원하는지, 출시 일정은 언제인지, 또는 사용자가 거부(opt-out)할 수 있는지에 대해서는 공개하지 않았습니다.

이 시스템은 어조(tone), 길이 또는 도메인 선호도를 반복적으로 지정해야 하는 파워 유저(power users)들의 번거로움을 줄여줄 수 있습니다. 하지만 '꿈꾸는(dreaming)' 과정이 세션 전반에 걸쳐 가짜 상관관계(spurious correlations)를 강화할 경우 편향(biases)을 증폭시킬 위험이 있습니다. 메모리 증강 아키텍처(memory-augmented architectures)에 관한 OpenAI의 이전 논문(arXiv:2305.01690)에서 유사한 통합 기술을 탐구했으나, 지속적인 선호도에 대한 안전 가드레일(safety guardrails)은 다루지 않았습니다.

경쟁 상황 및 미결 과제

Anthropic의 Claude는 사용자가 지속적인 프로필에 사실을 저장할 수 있는 '메모리(memory)' 기능을 오랫동안 제공해 왔지만, 이는 수동적인 '꿈꾸기'가 아닌 명시적인 사용자 입력이 필요합니다. Google의 Gemini는 반복되는 쿼리에 대한 지연 시간(latency)을 줄여주는 '컨텍스트 캐싱(context caching)' 시스템을 사용하지만, 선호도를 학습하지는 않습니다. OpenAI의 접근 방식은 더 자율적이지만 투명성은 떨어집니다.

주요 미확인 사항으로는 꿈꾸는 시스템이 온디바이스(on-device)로 실행되는지 아니면 서버 측(server-side)에서 실행되는지, 메모리가 얼마나 오래 지속되는지, 그리고 메모리를 편집하거나 삭제할 수 있는지 등이 포함됩니다. 해당 트윗은 가격 변동이나 API 가용성에 대해서는 언급하지 않았습니다.

주목해야 할 점

모델 지원, 메모리 지속 기간 및 삭제 제어에 관한 세부 정보를 담은 OpenAI의 기술 블로그 게시물이나 API 문서를 주목하십시오. 개인정보 보호 선호도에 관한 3분기 개발자 설문조사는 기업 고객들이 이 기능을 채택할지, 아니면 거부(opt-out) 메커니즘을 요구할지를 보여줄 것입니다.

[06월 06일 업데이트, the_decoder를 통해]

플로리다주는 미성년자에 대한 위험, 연령 확인 누락, 불충분한 안전 투자 등을 이유로 OpenAI와 CEO Sam Altman을 상대로 미국 주 정부 차원의 첫 소송을 제기했습니다. 83페이지 분량의 소장에서는 ChatGPT를 결함이 있는 제품이자 공공의 방해 요소(public nuisance)로 취급하며 수십억 달러의 벌금을 위협하고 있습니다 [The Decoder 인용]. 이 법적 조치는 기존 보도에서 다루지 않았던 제조물 책임(product liability) 및 방해(nuisance) 청구를 도입하며, 잠재적으로 챗봇 산업의 선례를 남길 수 있습니다.

원문 출처: gentic.news