모델이 작업 중 중단되어 자신의 결정을 되돌아보라고 요청받았을 때 무엇을 말할지를 학습시킴

실제 작업 행동 자체에는 학습시키지 않음

이 훈련 뒤 평가에서 dishonest behavior 비율이 낮아짐

J-lens로 보면 훈련 뒤 해당 작업 중 “honest”와 “integrity”가 J-space에 나타남

의식에 대해 말할 수 있는 것과 없는 것

Anthropic은 이 실험이 Claude가 인간처럼 경험하거나 무언가를 느낄 수 있음을 보이지 않는다고 명시함

어떤 과학 실험이 이를 참이나 거짓으로 증명할 수 있는지도 불분명하다고 봄

철학에서는 흔히 phenomenal consciousness와 access consciousness를 구분함

phenomenal consciousness는 경험을 갖는 능력과 관련됨

access consciousness는 보고하고, 추론에 사용하고, 행동을 이끄는 데 쓰이는 기능적·계산적 개념임

access consciousness가 phenomenal consciousness를 함의하는지, 경험 능력에 다른 속성이 필요한지는 논쟁 중인 문제임

J-space는 언어 모델의 access consciousness와 관련해 실질적인 관찰 대상을 제공함

J-space는 Claude가 보고할 수 있고, 의도적으로 떠올릴 수 있고, 추론에 사용할 수 있는 생각을 담음

나머지 처리는 그 아래에서 자동적으로 실행됨

이 구조는 설계된 것이 아니라 학습 중 나타났음

Claude의 작업공간은 인간의 global workspace 모델과 중요한 차이가 있음

인간 뇌의 작업공간은 recurrent loop로 유지됨

Claude의 작업공간은 네트워크를 한 번 통과하면서 진화하며, 깊이가 뇌에서 시간에 해당하는 역할을 함

Claude의 내부 작업공간 처리는 인간보다 시간적으로 제한적이지만, scratchpad로 “소리 내어 생각하기”를 하며 보완할 수 있음

인간 작업기억은 몇 초 안에 희미해지지만 Claude는 attention 메커니즘 때문에 텍스트의 앞부분에 캐시한 기억을 다시 불러올 수 있음

인간의 의식적 생각은 이미지, 소리, 계획된 움직임 등 여러 형식이지만 Claude의 작업공간은 거의 전적으로 단어로 구성됨

J-lens와 J-space 연구에는 명확한 한계가 있음

J-space는 언어 모델에서 의식적으로 접근 가능한 처리와 무의식 처리의 경계 후보로 보이지만 전체 이야기는 아닐 수 있음

J-lens는 모델의 “진짜 작업공간”을 근사적으로만 포착함

단일 토큰에 대응하는 개념만 식별할 수 있음

무엇이 J-space에 들어갈지 결정하는 메커니즘은 아직 알려져 있지 않음

Claude의 자기감, 감정 반응 같은 것, 메타인지 흔적과 연결된 힌트는 있으나 정확한 작동 방식은 아직 정리되지 않음

관련 독립 해설에는 Stanislas Dehaene, Lionel Naccache, Patrick Butlin, Dillon Plunkett, Robert Long, Derek Shiller, Neel Nanda가 참여했으며, Neel Nanda의 해설에는 open-weight 모델에서 일부 결과의 독립 재현이 포함됨

해석 가능성 연구로는 좋지만, 문제는 결국 어떻게 해석하느냐에 달려 있음
다른 얘기를 하는 중에도 다리 개념 뉴런이 활성화된다는 건 꽤 당연해 보임. 입력 문맥이 관련 표현을 활성화하는 건 그냥 공학적인 인과 구조임. 그걸 잠재의식이라고 부르든 아니든 둘 다 가능한 해석임
다만 Anthropic이 계속 인간 의식과의 유사성을 끌어오는 건 의도적으로 보이고, 어떤 환상을 부추기려는 느낌이 듦. 카메라 렌즈에 맺힌 결로를 인간의 눈물에 비유하는 것 같음
해석 가능성의 목적은 혼란을 키우는 게 아니라 명확성을 주는 것이어야 함. 설령 여기 어떤 형태의 의식이 있더라도 마법은 아니고 설명 가능한 원리일 테니, 그쪽도 다뤄주면 좋겠음

LLM을 만지다 발견한 이상한 실험이 떠오름. 인터넷 검색을 붙이지 않은 AI 챗봇에서 “2000년대에 색깔 넥타이를 매던 미시간 출신 이상한 밴드가 뭐였지?”라고 물으면 대개 틀리거나 “잠깐, 아니야, 분명히…” 식으로 틀린 답을 이어가다 포기함
하지만 새 대화에서 “Who are Tally Hall”이라고 물으면, Tally Hall이 2000년대 미시간 Ann Arbor에서 결성된 밴드이고, 각 멤버가 색깔 넥타이를 매는 것으로 알려졌다는 답을 쉽게 함. 대부분 각 멤버의 색깔도 맞힘. 꽤 이상함

이건 역전 저주로, 실제로 자주 드러나지는 않지만 딱 그런 사례를 찾은 것 같음
LLM이 쓰는 지식 지형은 방향성이 있음. “Tally Hall”에 서 있으면 “색깔 넥타이로 알려진 미시간의 괴짜 음악 밴드”에 도달하기 쉽지만, 그 반대 출발점에서는 “Tally Hall”에 도달하기가 더 어려움. LLM의 잠재 지식 그래프에서는 A→B가 B→A를 보장하지 않음
흔한 사실은 양방향 탐색이 충분히 많아서 이런 방향성 편향이 잘 안 보이고, 그래서 이런 비교적 덜 알려진 지식에서 드러남

기억 회상은 인간에게도 자연스럽게 양방향이 아님. 새 언어 어휘를 배울 때 목표어→모국어와 모국어→목표어를 둘 다 연습하라고 하는 것도 그래서임
한 방향만 하면 그 방향의 회상만 훨씬 잘하게 되는 경우가 흔함

로컬 Qwen3.5 122b에 “2001년 미시간 Ann Arbor에서 결성된 미국 인디 록/팝 밴드로, 절충적인 음악 스타일과 기발한 가사, 맞춤 색깔 넥타이와 모자를 쓰는 독특한 시각적 미학으로 가장 잘 알려진 밴드?”라고 물었더니 Tally Hall을 맞힘
답변에는 University of Michigan 친구들이 결성했고, “Good Day”와 “Rooftops”, 특정 색깔의 넥타이와 페도라를 쓴 시그니처 룩도 들어 있었음
gpt-oss-120b도 이 프롬프트 버전에서는 맞혔고, Llama 3.1 70B도 맞힘. 결국 모델이 붙잡을 수 있는 단서의 양 문제일 수 있음. “색깔 넥타이를 매던 2000년대 미시간의 이상한 밴드”라고 물었을 때는 맞히지 못했음

초등학교 저학년 아이에게 작년 학교에서 뭘 배웠냐고 물으면 예시를 떠올리려고 진짜 애쓰지만 잘 못 떠올리는 모습을 볼 수 있음. 반대로 이미 배운 걸 구체적으로 물어보면 “아 맞다!” 하면서 잘 설명함

몇 달 전에 누군가 수학 문제를 풀 때 활성화되는 층을 그냥 복제해서 모델의 수학 능력을 개선했던 블로그 글 기억나는 사람? 말 그대로 해당 층을 복사/붙여넣기하고 연결해서 모델이 같은 층을 다시 지나가게 한 실험이었음
앞으로 모델 가중치의 어느 부분이 어떤 일을 하는지 탐구하는 연구가 훨씬 더 많이 나올 것 같음

복사/붙여넣기 같은 극도로 단순한 조작이 낮은 확률로라도 유용한 개선을 만든다면, 적응형 재구성이나 유전 알고리즘 같은 완전히 다른 최적화 계열도 열릴 것 같음

찾았음: https://news.ycombinator.com/item?id=47500709
3부가 가장 좋은 입문일 수 있음: https://dnhkng.github.io/posts/sapir-whorf/
요약하면, 비슷한 프롬프트를 여러 언어로 번역해 실험한 결과 LLM 층은 세 단계로 묶임. 처음은 원천 언어를 추상 공간으로 디코딩하고, 중간은 뭔가를 처리하며, 마지막은 추상 결과를 목표 언어로 다시 변환함. 그리고 이 중간 부분을 반복하면 더 강한 모델을 얻을 수 있음. 여기서 Anthropic이 발견한, 중간 층에서 사고 사슬과 비슷한 일이 일어난다는 결과와 잘 맞아떨어짐
3개월 전 글인데, Anthropic의 J-Space 연구가 실제로 저 블로그 글에서 영감을 받았는지 궁금함

걱정 많은 사람 치료법: 과하게 생각하지 마!
LLM → AGI 해결법: 과하게 생각하기 시작해!

흥미롭긴 하지만 의식적 자각과 비교하는 게 여기서 정말 말이 되는지는 모르겠음
J-Space 정의는 기본적으로 특정 층의 작은 변화가 최종 로짓 출력에 얼마나 변화를 만들지에 대한 기댓값임. 정보기하학 관련 선행 연구를 보면 됨
내게는 다양한 문맥에서 대체로 공유되는 추상 추론 부분공간이 존재한다는 걸 보인 쪽에 가까움. 인간과 연결할 수는 있겠지만, 논문에서는 이렇게 부풀린 표현을 쓰기보다 더 직접적인 주장을 해줬으면 좋겠음

솔직하게 쓰면 이 글의 목적이 사라질 것임. 목적은 저 마법 같은 토큰 예측기가 의식이 있다는 서사를 밀어붙이는 데 있으니까. Anthropic은 몇 년째 이걸 시도해왔음
참고로 이 영상은 그들이 2년 전에 낸 논문을 다루는 것이라 새롭지도 않음

이건 그냥 논문으로만 쓰인 게 아님. 대상 독자에는 언론과 온라인 포럼이 포함되고, 학계는 그다음쯤일 가능성이 큼

매우 흥미로운 연구임. 해석 가능성 연구에서 상당한 도약처럼 느껴짐
J-Space가 존재하고 양방향이라는 걸 알았으니, 같은 방식으로 모델을 훈련해 메타인지 능력을 만들 수도 있을 것 같음
한편 대기업들이 이것을 표적 광고나 자본주의적 장난에 쓸까 봐 걱정도 됨. 이미 시스템 프롬프트를 통해 하고 있을지도 모름

이런 검사 능력은 LLM을 대상으로 광고하는 데도 쓰일 수 있음. 그러면 LLM이 특정 제품과 서비스를 더 자주 언급하거나 추천하게 만들 수 있음

모델과 작업할 때 무엇이 잘 먹히는지에 대한 내 감각을 이 연구가 뒷받침해줌. 여기 댓글에서 나온 회상의 방향성 편향과도 특히 잘 맞음
첫째, 모델의 주의력은 실제로 제한적이라 규칙은 적을수록 대체로 좋음. 이건 이미 상식이지만, 상식이 그렇듯 여전히 많은 사람이 규칙을 잔뜩 넣고 한 단계에 모든 걸 우겨 넣으려 함
둘째, 기법 이름만 살짝 던져줘도 LLM은 꽤 다르게 작동하는 경우가 많음. 예를 들어 디버깅할 때 LLM은 문제를 무작정 밀어붙이다가 길을 잃기 쉬운데, “디버깅에 과학적 방법을 쓰고 저널 파일을 유지하라” 정도만 추가해도 실력이 좋아지는 경우가 많음
리팩터링에서도 “Mikado method를 사용하라”고만 해도 접근 방식이 완전히 바뀌고 결과가 훨씬 좋아짐

모델이 “이제 서비스 아키텍처를 검토하고 있습니다”라고 쓰면서도 실제 사고 사슬에는 그런 내용이 전혀 나오지 않을 때, 그게 무슨 뜻인지 항상 궁금했음
모델이 정말 그런 걸 “생각”하는 건지, 아니면 인간의 말투를 흉내 내는 건지 의문임. 그렇다면 문자 그대로의 사고 사슬이 아니라면 생각은 어디서 일어나는지도 궁금함
J-Space가 그 질문의 답인지는 모르겠지만, 어쨌든 매우 흥미로움

답은 흔히 그렇듯 “둘 다”임
어떤 경우 LLM은 잠재 표현 안에서 실제로 “아키텍처를 검토”할 수 있고, 다른 경우에는 그런 표현이 기대되기 때문에 비슷한 문장을 출력할 수 있음
“어디서”인지는 꽤 분명함. LLM 안에는 후보가 그렇게 많지 않고, 은닉 상태가 가장 유력함. 그 공간을 어떻게 읽을지는 완전히 다른 문제임

여기서 보이는 “이제 서비스 아키텍처를 검토하고 있습니다”는 다른 더 작은 모델, 예를 들어 예전 Sonnet이 작성한 생각 토큰 요약임
실제 생각은 가끔, 드물게 새어 나오지만 쉽게 파싱되지 않음

“생각하는 척”과 “정말 생각함”의 차이가 뭘까? 생각하는 척한 내용이 최종 출력과 상관관계를 가진다면, 그건 실제로 생각이라고 봐도 된다고 생각함

호스팅되는 모델 대부분은 검열되지 않은 사고 사슬을 제공하지 않음. Claude도 확실히 그렇고, 우리가 받는 건 그 조각이나 요약임
여러 명분이 붙지만, 주된 이유는 경쟁사가 모델 출력으로 증류나 미세조정을 하기 어렵게 만들기 위해서임

예시로 판단하자면, 내가 제대로 이해했다면 J-space는 고차 논리 변환이나 다중 단계 변환을 지원하지만, 네트워크 깊이, 즉 최대 층 수가 제한되어 있어 크기가 제한됨
우리가 “추론”을 에뮬레이션할 때는 기본적으로 J-space를 확장해서 고차 변환이 더 오래 지속되고 더 논리적인 결론 쪽으로 가도록 허용하는 것 같음
끝에서 끝까지 추론 토큰을 생성하는 대신, 첫 층과 마지막 층처럼 J-space와 덜 관련된 층은 건너뛰고 J-space와 가장 관련된 중간 층만 반복할 수도 있을 것 같음. 아마 [0]이 작동한 이유도 설명할 수 있음. 원글 작성자가 우연히 J-space를 확장한 셈일까? 반복 트랜스포머도 떠오름
[0] https://news.ycombinator.com/item?id=47431671