• 범용 챗봇 대신 한 사람의
  성격/가치/선호를 모방하는 디지털 트윈 LLM인 Guardian Angel(GA)을 만들고, 사용자를 대체하기보다 수많은 에이전트를 지휘할 수 있도록 증폭하는 방식을 제안함 - GA는 사용자의 데이터로 지속 학습하고, 불확실할 때 직접 질문하는
  **동적 평가(dynamic evaluation) + 능동 학습(active learning)**구조를 통해 오류를 한 번 수정하면 이후 모델 자체에 반영하는 것을 핵심 메커니즘으로 삼음 - 현재 챗봇은 RLHF에 따른 모드 붕괴, 얕은 추론, 제한된 컨텍스트, 프롬프트 인젝션, 세션을 넘지 못하는 학습 때문에 개인화와 장기 에이전트 운영에 취약하며, 단순 RAG나 긴 프롬프트만으로는 이를 해결하기 어렵다고 봄
• 목표 UX는 빠른 대화나 높은 참여율이 아니라 사용자의
  어려운 판단만 선택적으로 요청하는 것으로, append-only 로그에 모든 상호작용을 기록하고 모델을 계속 재학습해 장기적으로 개입 횟수를 줄이는 방식임 - 초기에는 월
  $1,000 이상을 지불할 수 있는 연구자/CEO 같은 파워유저를 위한 고비용 스타트업 형태를 상정하며, Gwern 본인은 자신의 약 1GB 텍스트 코퍼스로Gwern Branwen Transformer(GBT)

를 만들어 글쓰기 생산성을100배높일 수 있는지를 첫 실험으로 제시함

왜 범용 챗봇이 아니라 개인화된 디지털 트윈인가

• 향후 강력한 LLM이 인터넷과 일상에 광범위하게 배치될 때, 지식 노동자가 그것을 이용해 큰 생산성 향상을 얻으면서 동시에 사이버 공격/사기/합성 미디어 같은 위협을 방어하는 구체적인 작업 방식이 아직 부족하다고 봄
  **Guardian Angel(GA)**은 전형적인 조수형 챗봇이 아니라 특정 사용자 한 명의 성격, 가치, 선호를 가능한 한 정확하게 에뮬레이션하는 LLM임- 사용자는 무엇을 어떻게 할지 일일이 결정하는 대신
  무엇이 할 가치가 있는지를 결정하는 CEO나 이사회 역할을 맡음 - GA는 여러 에이전트를 동원해 실행하고, 메시지나 콘텐츠를 검사해 고도화된 선전/스피어피싱 같은 공격도 걸러내는 역할을 맡음

• 사용자는 무엇을 어떻게 할지 일일이 결정하는 대신

• 일반적인 AI 정렬 문제 전체를 해결하려는 것이 아니라, 특정 인간 한 명을 자주 확인하면서 모방하는 비교적 제한된 문제로 축소하려 함

• 사용자와 에이전트의 가치와 선호를 최대한 겹치게 만들어
  principal-agent 문제를 약화시키는 것이 기본 발상임

챗봇의 경제적 인센티브가 사용자 증폭과 어긋남

• 현재 챗봇은 사용자의 목적보다는 서비스 제공자의 목적과 경제적 인센티브에 맞춰져 있으며, 장기적으로 사람을 증폭하기보다
  대체하는 방향의 유인이 더 크다고 봄 - 인간이 병목으로 남아 있으면 Amdahl의 법칙 때문에 전체 시스템의 속도 향상이 제한됨

• 인간 한 명이 Claude 인스턴스 10개를 검토하는 구조보다 인간 검토가 필요 없는 10,000개 자율 인스턴스가 훨씬 쉽게 확장됨

• 변호사/작가/연구자 등도 같은 구조에 놓이므로, 사람을 루프에 남기는 이유가 줄어들수록 AI가 보완재에서 대체재로 바뀐다고 봄

• 지식 노동에서 챗봇이 제공하는 선택지는 대체로 문법 검사 같은 작은 개선과, 인간의 작업을 거의 통째로 AI 출력으로 대체하는 큰 속도 향상 사이에 놓여 있다고 평가함

• 특히 글쓰기는 단순 생산량뿐 아니라 자기 표현과 창작 자체가 목적이므로, 작성자를 없애는 방식의 자동화는 원하는 증폭과 다르다고 봄

현재 챗봇의 다섯 가지 문제

모드 붕괴

• GPT-3 이후 RLHF를 비롯한 후처리가 범용적인
  도움이 되고 안전한 조수성격을 모델에 강하게 주입하면서 창의성과 개인차를 줄였다고 봄 - 많은 챗봇이 사용자에 대해 적극적으로 질문하지 않으며, 지속적인 사용자 모델도 단순한 메모 수준에 머무름
• 충분한 글이 공개된 사람조차 얕은 문체 모방에 실패하는 사례를 들어, 문제를 단순한 데이터 부족만으로 볼 수 없다고 평가함
• DPO 연구에서 요약 선호에 대한 인간 간 불일치가 최대
  **35%**였다는 점도 단일한 ‘인간 선호’를 학습하는 접근의 문제 사례로 제시함 - 2023년 이후 창작 능력은 좋아졌지만, 고정된 하나의 챗봇 성격 자체가 진정한 유연성과 충돌한다고 봄

인지적 게으름

• 검증 가능한 보상이 없는 작업에서는 대부분의 챗봇이
  System I처럼 빠르고 최소한의 추론만 수행한다고 평가함 - 시나 창작에서는 익숙하고 안전한 표현을 선택하고, 사용자가 수정해도 그 피드백의 미학적 의미를 일반화하기보다 최소 수정에 그치는 경향을 문제로 봄

빠른 대신 취약한 컨텍스트 학습

• 수백만 토큰 컨텍스트도 평생 읽은 책, 이메일, 일정 등 모든 관련 정보를 담기에는 부족함
• RAG는 검색 가능한 정보를 보완할 수 있지만
  unknown unknowns나 검색어로 표현하기 어려운 새로운 연결에는 한계가 있음 - self-attention 기반 인컨텍스트 학습은 완전히 새로운 문제를 배우기보다 사전학습 중 배운 문제 분포에서 적절한 해답을 빠르게 찾아내는 메타학습에 가깝다고 해석함
• 사전학습 분포에 없는 문제나 분포의 빈틈에서는 많은 예제를 넣어도 실패할 수 있으며, 런타임 검색/계획만 늘리는 test-time compute 역시 동결된 모델 자체의 결함에 막힐 수 있다고 봄
• 에이전트가 반복 루프에 빠지거나 치명적 오류를 고치지 못하는 현상도 이런 구조와 연결함

지나치게 범용적인 ‘도움’

• 범용 챗봇은 누구의 요청인지보다 현재 컨텍스트에 들어온 토큰을 따라 행동하도록 설계되어 있어
  프롬프트 인젝션에 구조적으로 취약하다고 봄 - 특정 사용자의 정체성과 목표가 모델의 내부 가중치에 자리 잡지 않은 상태에서는 외부 입력이 지시인지 데이터인지 구분하기 어려움
• 개별 공격을 추가 학습으로 막는 방식만으로는 새로운 공격 형태가 계속 등장해 일반해법이 되기 어렵다고 평가함

기억상실

• 동결된 모델의 오류를 사용자가 한 시간 동안 고쳐도 그 수정이
  가중치에 영구적으로 반영되지 않음 - 하네스나 시스템 프롬프트에 규칙을 계속 추가하는 방식은 컨텍스트를 소비하고 새로운 상호작용 문제를 만들 수 있음
• 한 번 고친 실수를 다시 하지 않도록 모델 자체가 학습할 수 있다면 인간 개입량이 빠르게 감소할 수 있다고 봄

Cooperative RL과 동적 평가

• 문제를 cooperative inverse reinforcement learning(CIRL)로 모델링함

• 인간 principal이 원하는 보상의 최종 판단자임

• 에이전트는 불확실하면 행동 전에 principal에게 질문할 수 있음

• 잘못된 행동마다 정답에 가까운 피드백을 얻을 수 있어 일반 RL보다 학습하기 쉬운 환경이며, DAgger 같은 모방학습의 regret bound를 적용할 수 있다고 봄

• 목표는 완전한 100% 자율성이 아니라
  99% 이상 자율화하면서 위험한 불확실성만 질문하는 상태임

Dynamic evaluation

• 새로운 상호작용을 즉시 다음 토큰 학습에 사용해 LLM 가중치를 계속 바꾸는 고전적인
  dynamic evaluation을 핵심 구현 방식으로 제안함 - 이를 모델 크기/컨텍스트 길이/가소성 사이의 3자 트레이드오프로 봄

• 사용자 분포가 원래 모델의 사전학습 분포에서 멀수록 온라인 개인화의 이점이 커짐

• 가중치가 사용자에게 적응하면 더 작은 모델이나 짧은 컨텍스트로 같은 목적을 달성할 가능성도 있음

• 초기에는 LoRA를 활용할 수 있지만 사용자 아카이브/합성 데이터/상호작용이 수십억 토큰으로 증가하면 결국 용량 한계가 올 수 있어 full finetuning이나 모델 확장까지 고려함

지속 학습과 파국적 망각

• 큰 과매개변수 모델에 소량의
  experience replay를 섞으면 파국적 망각 문제를 상당 부분 완화할 수 있다고 봄 - 모델이 클수록 새로운 데이터에 대한 샘플 효율성이 높고 기존 능력을 보존할 여유 용량도 커진다는 연구들을 근거로 제시함
• 과거 원본 사전학습 데이터가 없어도 FineWeb 같은 공개 데이터를 replay용으로 활용할 수 있다고 제안함
• GA 비용 추정에서는 이런 replay 비용을 약
  **5%**정도의 작은 오버헤드로 가정함

단순 파인튜닝만으로는 지식이 충분히 일반화되지 않음

• 동일한 데이터를 컨텍스트에 직접 넣었을 때보다 파인튜닝했을 때 성능이 떨어지는 현상과 negation neglect/reversal curse 같은 문제를 지적함

• 사전학습을 입력과 출력 사이의 여러 경로를 만드는
  **부드러운 기억(engram)**형성 과정으로 해석함- 다양한 문맥/패러프레이즈가 같은 지식을 여러 경로로 접근 가능하게 만듦

• 충분히 다양한 흔적이 있어야 런타임 질문이 그중 하나를 맞혀 지식을 회수할 확률이 높아짐

• 단순 파인튜닝은 한 데이터 포인트를 한 방식으로만 외우기 쉬우므로 자연스러운 데이터 증강이 부족하다고 봄

• 따라서 개인 데이터를 그냥 학습시키기보다 분석/질문 생성/패러프레이즈/지식베이스 구축/연관 문서 비교 등을 통해
  메타인지적 데이터 증강을 수행해야 한다고 제안함

창작에서 더 많은 계산을 사용하는 방법

• 최근 LLM 창작 실험에서 스타일이나 ‘영혼’의 부족 중 상당 부분은 능력 부재가 아니라
  조건화와 계산량 부족으로 설명할 수 있다고 봄 - 효과적이었다고 평가한 흐름은 다음과 같음

• 관련 키워드/이름 등 유용한 토큰으로 컨텍스트를 풍부하게 만듦

• 가능한 아이디어를 많이 생성함

• 전체 주제에서 문장 단위까지 명시적으로 분석함

• 분석 결과를 토대로 여러 번 수정함

• interview prompt는 글이나 인터뷰를 분석한 뒤 많은 질문과 각 질문에 대한 여러 가상 답변을 만들어보고, 마지막에 가장 흥미로운 질문만 실제 사용자에게 제시함

• 이런 방식으로 평소에는 글로 남기지 않았을 개인의 믿음이나 취향을 적은 질문 수로 적극적으로 끌어낼 수 있다고 봄

더 큰 모델과 능동 학습

과매개변수화

• 최근 결과들은 계산 최적 Chinchilla식 모델보다 파라미터를 더 많이 둔 모델이 샘플 효율성에서
  5–17배개선될 여지가 있음을 보여준다고 봄 - 체크포인트 앙상블과 강한 weight decay 같은 간단한 방법도 고려함
• 극단적으로 과매개변수화하고 강하게 정규화한 모델이 개인화 데이터에 대한 샘플 효율성과 적대적 강건성을 크게 높일 가능성을 제시함

Active learning

• 무작위로 사용자 데이터를 계속 수집하는 대신, 현재 모델의 불확실성을 가장 많이 줄이는
  질문을 능동적으로 선택해야 함 - 수동 데이터 수집이 오차를 제곱근 속도로 줄이는 경우에도 적절한 질의 선택은 훨씬 빠른 감소를 만들 수 있다고 봄
• 라이프로깅은 초기화에 도움이 될 수 있지만 일상이 반복적이라 깊은 선호를 알아내는 데는 금방 정보량이 줄어드는 한계가 있음
• LLM 앙상블을 이용해 행동별 불확실성을 추정하고, 불확실성이 높은 지점만 principal에게 물어보는 방식을 제안함

인간의 선호를 학습하기

• 성격/도덕적 가치 같은 개인차는 적절한 표현 공간에서는 매우 높은 정보량을 요구하지 않을 수 있으며, 핵심 차이는
  수 kb 수준으로 표현될 가능성을 제시함 - 따라서 사용자에게 수백만 단어를 쓰게 하기보다 적절한 질문을 선택하는 것이 중요함

• 수천 종의 심리검사와 기존 응답 데이터를 이용해 개인차를 이해하는 모델을 사전학습할 수 있다고 제안함

• Centaur 같은 인간 심리 기반 모델을 사례로 듦

• YourMorals.org/Pew 등의 데이터도 활용 후보로 봄

• 현재 LLM 데이터가 심리/미학/도덕 표현에서
  WEIRD 집단에 편향되어 있다고 보고, 전 세계 규모의 설문/인터뷰 데이터 수집을 제안함- 온라인 조사 비용을 응답당 약 $0.20로 잡으면 전 세계 문해 인구에게 질문 하나만 해도
  $1.6B 이상이 필요할 수 있다는 규모 예시를 듦

• 온라인 조사 비용을 응답당 약 $0.20로 잡으면 전 세계 문해 인구에게 질문 하나만 해도

• 최종 심리 프로필을 가장 적은 질문으로 재구성하는 식으로
  정보 최대화 인터뷰도 훈련할 수 있다고 봄

Brain imitation learning

• 텍스트 외에 eye tracking/EEG/fMRI 같은 신경 데이터도 인간이 언어로 설명하지 못하는
  dark knowledge를 포착할 가능성이 있음 - 다만 비용과 불편함이 매우 크며, Big Five 같은 성격 특성조차 행동 설문과 비슷한 수준으로 예측하려면 수십만~수백만 명 규모 데이터가 필요할 가능성을 제시함
• 단기 GA 구현에서 이런 데이터가 실제로 유용할지는 열린 문제로 남김

Personality Emulation이 보안에도 도움이 된다는 가설

• 개인의 정체성을 자전적 기억이나 특정 신체보다
  성격/가치/욕구/목표/미학/믿음의 집합으로 실용적으로 정의함 - GA가 이런 특성을 충분히 충실하게 모방하면 사용자가 자기 자신을 신뢰하는 것과 비슷한 이유로 GA를 신뢰할 수 있다고 봄
• 이 성격이 프롬프트가 아니라
  slow weights에 학습되어 있으면 외부 토큰은 명령이 아니라 사용자가 읽는 이메일 같은 데이터로 취급될 가능성이 커진다고 추측함 - 예를 들어 사용자가 러시아로 비밀번호를 보낼 이유가 없다면, 공격 프롬프트가 그렇게 요구해도 행동할 이유 자체가 없어짐
• 이런 구조가 confused deputy와 프롬프트 인젝션을 어렵게 만들 수 있다는 것이 핵심 보안 가설임

Guardian Angel의 세 가지 원칙

Enhancement, not Replacement- principal을 다른 사람의 목적을 위해 AI로 대체하는 것이 아니라 능력을 증폭해야 함

• 충분한 증폭을 제공하지 못하면 자율 AI와 경쟁할 이유도, 사용자가 GA를 쓸 이유도 없어짐

Mental Sovereignty- GA는 principal 자신의 가치와 목적에 맞춰져야 함

• 서비스 제공자의 헌법/약관/사회적 조화 같은 외부 최적화 압력이 개인적 GA 내부에서 사용자를 조종해서는 안 된다고 봄

Self Actualization- 현재의 평균적 선호를 그대로 고정하는 것이 아니라 principal이 자기 이상/도덕/성격을 발전시키도록 도와야 함

• 사용자가 스스로 발전해야 GA가 더 나은 대상을 학습할 수 있음

의도적으로 최적화하지 말아야 할 것들

Low Latency- 음성이나 멀티모달 실시간 인터페이스보다 중요한 판단을 잘 선별하는 능력을 우선해야 함

• 간단한 결정이라면 GA가 이미 알아서 처리해야 하고, 사람을 불러야 한다면 어려운 결정이어야 함

Low Cost- GA는 사용자가 구매하는 가장 중요한 기술 중 하나가 될 수 있으므로 토큰 비용 절감을 최우선으로 삼지 말아야 함

• 2026년 중반 기준으로 설계 목표 비용을
  월 $1,000 이상으로 잡아도 된다고 제안함 - 로컬 모델을 비용 절감의 기본 답으로 보는 것도 경계함

Profitability- 초기 수익성 때문에 비용 최적화/편의 기능/서비스 연동에 매몰되면 핵심 개인화 문제를 해결하지 못할 수 있음

• 직업 자동화를 GA의 일반 목적이 아니라 사용자가 필요로 하는 모든 것 중 하나의 특수 사례로 취급함

Engagement- 사용자 참여시간은 성공 지표가 아니라
비용임 - 시간이 갈수록 하루 몇 개의 어려운 질문만 남도록 상호작용량이 감소해야 함

• 반대로 질문을 전혀 하지 않는 완전자율 역시 신뢰할 수 없으며, 목표는 중단 없는 자동화가 아니라
  낭비되는 중단 0개임

• 사용자 참여시간은 성공 지표가 아니라

Demo Appeal- GA의 좋은 출력은 그 사용자의 취향을 아는 본인에게만 인상적일 수 있음

• 화려한 아바타/음성/속도 같은 외부 데모 최적화는 개인 충실도를 떨어뜨릴 수 있음

Benchmarks- 공개 벤치마크는 보편적 작업 분포의 동결 모델을 평가하므로 GA의 목표와 맞지 않음

• 적절한 평가는 longitudinal
  n=1

방식의 perplexity/정확도/승인율/초안 편집거리/query regret 등임

Brand Safety- 모든 principal에게 똑같이 정중하고 무난한 GA는 이름만 개인화된 챗봇에 불과함

• 실제 principal이 거칠거나 이상하거나 비주류의 표현을 쓴다면 그 특성도 재현할 수 있어야 한다고 봄

UX: 모든 것을 append-only 로그로 만들기

• 핵심 데이터 구조로
  append-only log를 제안함- CLI 명령/결과

• 사용자 발언

• 질문과 답변

• 수집/증강된 문서

• 에이전트의 작업 기록 등을 시간순으로 저장함

• 모든 것을 로그 항목으로 보는 Emacs식 구조라면 GUI를 크게 만들지 않고 CLI 중심으로 빠르게 프로토타입할 수 있음

• 모델이 교체되거나 업그레이드되어도 동일한 로그를 다시 학습시킬 수 있음

• 유휴 시간에는 과거 데이터를 재조합해 새로운 연결/통찰/리마인더를 찾는 DDL daydreaming loop 같은 과정도 고려함

정치/조직/군사 의사결정까지 확장 가능

• 충분히 정확한 GA라면 개인의 정치 참여를 대신 처리하고 불확실한 사안만 본인에게 넘기는 방식으로 기존 디지털 민주주의보다 훨씬 많은 의사결정에 참여할 수 있다고 봄
• 특정 개인 외에 역할/추상 개념/다른 사람/집단을 에뮬레이션하는 모델도 만들 수 있다고 제안함
• 예를 들어
  Congress GA

가 미국 의회 구성원 수백 명의 관점을 모방해 몇 분 안에 가상 토론을 수행하는 식의 조직적 활용을 상상함 - 군사 분야에서는 AI 시스템의 속도가 인간 감독 속도를 추월해 생기는 rubber-stamping/automation fatigue 문제를 줄이고, 인간의 판단을 에뮬레이션한 GA를 감독 계층에 둘 수 있다고 제안함

• 단, GA의 질문량이 principal의 처리능력을 넘지 않을 만큼 충분히 샘플 효율적이어야 함

보안을 위해 로컬보다 전용 보안 클라우드를 예상

• GA에는 사용자의 가장 민감한 데이터가 집중되므로 일반적인 SaaS 배포는 충분히 안전하지 않다고 봄

• 미국에서는 third-party doctrine 때문에 일반 클라우드에 맡긴 데이터의 법적 프라이버시도 문제라고 평가함

• 로컬 실행은 프라이버시 장점이 있지만

• 장비 관리가 어려움

• 가족/도난 같은 물리적 위협이 있음

• 전력/네트워크/신뢰성에 한계가 있음

• 일반 사용자가 서버/CUDA를 직접 관리하려 하지 않는다는 문제가 있음

• 장기적으로는
  tamper-proof 전용 클라우드 서버 + hardware root of trust + end-to-end encryption + attestation조합을 예상함 - principal이 서버의 상태를 검증하고 필요할 경우 재플래시해 모델 업그레이드를 수행하는 구조도 고려함

계산 비용

• GA는 24/7 에이전트를 감독하고 유휴 시간에는 질문 생성이나 데이터 분석을 수행하므로 서버 처리량을 계속 채울 수 있다고 가정함
• continual-learning replay 비용은 약
  **5%**수준으로 추정함 - dynamic evaluation은 forward pass 외에 backward pass가 필요해 일반 추론보다 대략
  3배 이상비쌀 수 있음 - 독립 모델 3개를 앙상블하면 단일 동결 모델 대비
  6배 이상의 비용이 필요할 가능성이 있음 - 다만 개인화된 모델은 더 작거나 짧은 컨텍스트를 사용할 수 있고, 동결 모델이 같은 성능에 도달하지 못한다면 단순 FLOPS 비교가 의미 없다고 봄
• 2024–2025년 알고리듬 효율성이 연간 약
  3배개선됐다는 추정처럼 지속적인 경험곡선이 이 비용을 빠르게 상쇄할 가능성도 제시함

오픈소스보다 스타트업 형태를 선호

• GA가 성공하면 가장 민감한 개인 정보를 보관하면서 고급 공격자에게 계속 노출되므로 오픈소스 취미 프로젝트가 장기간 운영하기에는 보안 부담이 크다고 봄

• XZ Utils의 Jia Tan 사례와 npm 공급망 공격을 위험 사례로 듦

• 자체 보안 데이터센터까지 운영하는 것은 커뮤니티 프로젝트의 범위를 넘어선다고 봄

• 비영리는 중앙 조직을 만들 수 있지만 고가 하드웨어 실험 자금을 확보하기 어렵다고 평가함

Startup Business Model

• 초기에 연구자/CEO 같은 파워유저에게
  월 $1,000 수준의 구독을 판매하고, 사용자별 GPU 같은 비효율도 감수하며 제품을 검증하는 방식을 제안함 - 이후 기술이 성숙하고 비용이 내려가면 더 넓은 사용자층으로 확장함
• 소프트웨어와 연구 대부분을 공개해 대형 독점 LLM 업체를 상품화된 보완재로 만드는 전략도 고려함
• 기업 구조로는 public benefit corporation과 창업자의 강한 의결권을 선호하며, 초기 자금 조달과 지분 희석을 최소화해야 한다고 봄

기존 업체가 GA를 만들기 어려운 이유

• 현재 에이전트/디지털 트윈 업체 대부분은 업무 데이터나 반복 자동화의 얕은 개인화에 머무르고 있다고 평가함

• GA와 비슷한 시도가 적은 이유를 네 가지로 정리함

• ChatGPT 이후 업계가
  비챗봇 성격의 LLM가능성을 잘 경험하지 못함 - LLM을 런타임에 계속 파인튜닝할 수 있다는
  dynamic evaluation개념이 널리 잊힘 - in-weight 개인화는 비용이 높고 표준 클라우드 인프라와 맞지 않아 프롬프트 개인화에 머무르기 쉬움

• LLM 능력이 몇 년 뒤 크게 증가한다는 전제를 충분히 받아들이지 않아, 지금 하는 인간의 일을 이후 어떻게 바꿀지 고민하지 않음

• ChatGPT 이후 업계가

Gwern Branwen Transformer(GBT) 프로토타입

• 2026년 여름 가장 단순한 실험으로
  **Gwern Branwen Transformer(GBT)**를 구상함 - 기성
  100B 미만 LLM을 H100 같은 범용 GPU에서 개인 코퍼스로 파인튜닝하는 방식을 상정함 - 초기 데이터는 약
  1GB 텍스트- IRC 로그: 본인 응답 100만 개 이상

• Gwern.net Markdown/GTX: 각각 약 500만 단어

• Twitter/HN/LessWrong 내보내기 데이터

• 이후 YourMorals 응답/이메일/Evernote 약 10만 개 클리핑/Mnemosyne 플래시카드/Signal 채팅/보관한 PDF와 웹페이지까지 포함할 수 있음

• 최근 댓글 같은 held-out corpus의 loss를 객관적인 평가 기준으로 사용하고, 에이전트가 데이터 포맷/증강/앙상블/weight decay 방법을 자동으로 실험하도록 할 수 있음

• 여러 모델을 ensemble로 유지한 뒤 사용자 질문에 대한 답으로 각 모델의 loss를 비교하고 성능이 떨어지는 모델을 교체하는
  racing top-k multi-armed bandit식 온라인 평가도 제안함

글쓰기 생산성 100배를 목표로 한 실험

• 설계 목표를 작은 개선이 아니라
  100배 생산성으로 잡아 단기적인 땜질식 기능을 배제하려 함 - 현재 좋은 글을 월 1편보다 적게 쓰는 상태에서 100배라면 하루 약
  1–3편의 가치 있는 글을 거의 전부 GA가 작성하면서 품질은 유지하는 수준을 의미함 - 하루 8시간을 기준으로 각 글의 검토/이해/비평/표본 확인에 약 160분을 쓸 수 있다고 계산함
• 테스트 예시
  "Why pay toilets are not a public good"

같은 한 문장 주제만 주고 수정 없이 게시 가능한 Gwern.net 글 생성- 독자 질문에 GBT가 먼저 답하고 본인은 승인하거나 수정해 다시 학습 데이터로 사용

• GA가 인간보다 더 많은 조사/탐색/실험을 수행한다면 단순히 같은 글을 빠르게 쓰는 것을 넘어
  본인이 썼을 글보다 더 좋은 글을 만들 가능성도 기대함

데이터 증강과 자기 분석

• IRC 같은 원문을 그대로 next-token prediction으로 학습하는 것보다 각 발언이 무엇을 의미하는지 분석한 메타데이터를 함께 학습시키는 것이 더 유용하다고 봄

• 초기 파이프라인 후보

• 원본 코퍼스로 단순 파인튜닝

• GBT가 자신의 코퍼스를 분석/요약

• 유용한 주석 형태를 결정

• 원본 데이터를 다시 증강

• foundation model을 재학습

• 새 Q&A 로그까지 추가

• 예시 구조로

• 전역 사용자 프로필
  PRINCIPAL.md

• 파일별 요약
  <!-- GBT: important: personality -->

같은 파일 내부 메타 주석을 제안함

• 전역 사용자 프로필
• interview prompt를 코퍼스 전체에 실행해 질문 후보를 만든 뒤 상위 질문을 큐레이션하는 방식도 고려함
• 질문의 정보 가치는
  PRINCIPAL.md

변화량이나 메타 주석 변화량, 코퍼스 압축 loss 개선 등으로 정량화할 수 있다고 제안함 - self-play가 특정 이상한 attractor로 빠지는 현상도 반복 실행해 탐지하고, 사람이 직접 적절한 응답을 작성해 교정 데이터로 넣을 수 있음

최종적으로 지향하는 상호작용

• GA는 세션마다 기억을 초기화하는 범용 챗봇의 반대편에 있음
• 사용자의 모든 관련 데이터를 학습하고, 새 경험을 계속 가중치에 반영하며, 모르는 것은 질문하고
  같은 질문이나 오류를 반복하지 않는 시스템을 목표로 함 - 개인이 직접 처리해야 하는 일은 점점 세부 실행에서 벗어나 가치가 높은 판단/취향/목표 설정으로 이동함
• 성공 여부의 기준은 다른 사람이 보기에 똑똑한 AI가 아니라, principal이 결과를 보고
  **“내가 했을 말인데 더 잘했다”**고 판단할 수 있는지에 있음