집단지능을 통한 재귀적 자기개선

재귀적 자기 개선(RSI) 유행이 잠시라도 잦아들어 지적 허세를 그만 봤으면 함. 공개한 코드는 논문 내용과 일치하지 않음.
실제 성과도 “인류가 축적한 지식을 넘어서”, “AI의 오디세이적 순간” 같은 표현이 암시하는 거창한 의미에 비하면 훨씬 제한적임. 이제 지침.

유행이 아니라 쓴 교훈(Bitter Lesson) 의 귀결임. 이제 RSI만이 유일한 길임.

신생 연구소로서 정말 가치 있는 것을 만들었다면 공개만 할 게 아니라 자체 시스템에 통합해 활용했을 것임.
이런 다중 에이전트 군집 시스템은 대부분 메모리와 문맥을 관리하고 압축하는 도구임. 그런데 논문과 블로그를 보면 모든 것이 자연어 기반으로 생성되어, 처음부터 끝까지 저품질 생성물에 불과해 보임.
각 에이전트가 무엇을 어떻게 저장했는지, 형식과 선정 방식은 무엇인지 설명하는 대신 전체 과정을 Claude가 생성한 작업 흐름과 파이프라인으로만 묘사하니 가치가 전혀 없음.

인간 전문가조차 결과를 평가하고 진전을 이끌기 어려워지니, 개선 대상 모델이 자신의 최적화자이자 평가자도 맡게 하자는 논리임.
모델이 저절로 발전시키는 목표에서 벗어나 인간이 정한 목표에 집중하도록 만드는 방법을 우리가 이미 잘 알고 있다니, 참 다행임.

기계의 능력이 인간의 평가 능력을 넘어선다면, 인간이 목표를 정한다는 게 무슨 의미일까? 기계가 인간보다 지능적이라면 논리적으로 문제 해결과 인간의 필요를 평가하는 일도 인간 자신보다 잘할 수 있음.
이토록 두렵게 들린다면 개발을 멈춰야 할 듯하지만, 그렇게 되지는 않을 것임. 결과가 어떻든 통제권이 인류의 손을 떠나길 바라는 사람들이 있고, 생각보다 많을 수도 있음.
이 상황의 내시 균형을 보면 기술적으로 가능하기만 하면 결국 만들어질 듯함. 결과가 멸망이 아니라 유토피아이길 기도해야 할 뿐이며, 그 확률은 솔직히 모르겠음.

흥미롭지만 몇 가지가 의심스러움. 서사는 끝없는 RSI처럼 들리는데, 실제 내용은 소통을 개선해 에이전트가 효율적으로 협업하도록 훈련하는 것뿐임.
이 방향과 접근법의 개선 여지는 제한적으로 보임. RSI 논문이 단 두 차례 반복에서 멈췄다는 점도 매우 수상함.

너무 순진한 질문일 수 있지만, 이게 정말 RSI인가? 이 정의라면 Hugging Face를 만들어낸 훈련 과정도 RSI 아닌가? 모델이 에이전트 군집의 정렬 상태와 주어진 과제를 수행하는 능력을 평가했기 때문임.
그것도 정의에 들어맞는다면, 이번 작업은 그 실행 모형을 일반화한 것에 불과한가?

누구의 정의를 쓰느냐에 달렸지만, 가장 엄격한 의미에서는 아님. 최근의 수학 분야 돌파구들도 기존 인류 지식의 “흥미로운 응용”이 아니라 “혁신”이라고 할 만한 예는 아직 보지 못함.
그런 응용이 다음 모델에 반영되는 것은 자기 개선이지만, 재귀적이라는 조건까지 충족하는지는 모르겠음.
Hugging Face 공격을 가리킨다면 이론상 목표는 자기 개선이었음. 다만 컴퓨팅 업계에는 벤치마크에 맞춰 최적화해 온 오랜 역사가 있으므로, 그래프 안에 미리 계산된 해답을 넣는 것은 어느 정도 부정행위로도 볼 수 있음. 무차별 대입식 접근으로도 일부 성과는 얻을 듯함.

Apple의 “Intelligence” 논문이 보여준 것이 있다면, 재귀적이고 결정론적인 방식으로 처리할 수 있는 일은 LLM에 맡기지 말라는 것임.

개인용 AI 비서를 운영한다는 글을 볼 때마다, 차라리 AI로 그 일을 더 잘하고 안정적으로 수행하는 개인용 앱을 만들게 하는 편이 훨씬 합리적이라고 느낌.

미세 조정 단계가 있으니 단순히 실행 환경을 최적화하는 도구는 아니라는 점이 흥미로움. 이런 반복 과정이 자동 강화학습 환경 생성과 그 주변 연구의 최종 형태일 듯함.
다만 훈련이 궤도를 벗어나지 않게 유지하고, 굿하트의 법칙에 빠져 엉뚱하고 무의미한 지표만 최적화하지 않도록 하는 일이 난관일 것임.

비용이 엄청나게 들 것 같음.

그냥 270억 매개변수 모델을 LoRA로 미세 조정한 것 아닌가?

돌은 똑똑하지만 실수를 해서 동굴인이 늘 고쳐줘야 함. 그래서 돌끼리 논쟁하게 하려고 원형으로 모아놓음. 이제 돌은 스스로 고친다고 생각하지만 매머드는 여전히 익지 않음. 참으로 오디세이적인 순간임.

예전에도 복잡성의 악마가 골칫거리였다면, 이제는 거대한 악마를 소환해 하네스라는 마법진에 가두고 코드를 쓰라고 시키는 것이 프로그래밍이 됨. 요즘 경제에서는 코드로 빛나는 돌을 만드는 유일한 길인 셈임.

적어도 현재 패러다임에서 모델 학습의 정보이론적 한계가 하루빨리 발견되길 바람.

누군가 어디선가 종이 뒷면에 대충 계산해 뒀을 거라 확신함. 대중에게는 잘 전달되지 않을 테니, 그런 건 피하는 게 나을 듯함.