소셜 미디어의 다음 단계는 끔찍할 수밖에 없음. 지금도 수백만 개의 실제 영상 중 사용자별로 가장 중독적인 짧은 영상을 골라내지만, 그것들은 사용자를 사로잡을 가능성의 공간에 무작위로 던진 다트라서 완벽하지는 않음
이제 AI로 시청자 뇌의 모든 스위치를 정밀하게 누르는 개인 맞춤형 중독 영상을 생성해 며칠씩 좀비처럼 붙잡아둘 수 있음. 이런 기술을 배포할 엄두조차 내지 못하도록 규제가 소셜 네트워크를 강하게 압박하길 바람

소셜 미디어보다 더 큰 위협은 사람들이 가장 내밀한 생각까지 넘겨주는 Anthropic·OpenAI·Google임. 클라우드 AI 제품이 제공할 수 있는 대규모 개인 맞춤형 심리 조작은 아직 본격적으로 나타나지 않았고, 시간이 충분하면 Dario Amodei나 Sam Altman 같은 이들이 결국 보여줄 것이라 봄
GPT-4o의 아첨 성향과 AI 정신증 위기가 예고편이었을 수 있지만, 그것도 단순한 참여도 최적화에 불과했음

지구가 타버릴 때까지 마지막 한 푼을 짜내려고 우리 뇌와 아이들에게 하는 짓은 우리 속 돼지에게 하는 짓과 다르지 않음

규제를 기대하는 것만큼이나 사람들이 정신을 차리고 그 사이트들을 더는 열지 않기를 기대하는 편이 나을지도 모름

이 논의에서 David Foster Wallace의 Infinite Jest가 아직 나오지 않은 게 놀라움. 나도 읽기 시작한 지 몇 년이 지났지만 아직 끝내지 못함

사회적·도덕적 함의와 별개로 논문의 실증이 궁금함. 각 시각 영역이 임의의 영상에 어떻게 반응할지 예측하는 부호화 모델인 디지털 트윈을 훈련한 뒤, NEvo가 그 예측값을 보상으로 삼아 선택한 영역을 가장 강하게 활성화할 영상을 자동 탐색함
하지만 생성된 영상이 실제 사람을 MRI로 측정했을 때 디지털 트윈과 같은 뇌 활성 패턴을 만드는지 확인했는지는 찾지 못했음. 영상에서 뇌 활성화를 안정적으로 예측하는 모델 자체가 가능한지 회의적임

사람을 대상으로 작은 검증 자료를 모으는 건 거의 사소할 만큼 쉬운데 하지 않은 점이 수상함. 우리 기관에서는 스캔 비용이 시간당 약 800달러이고, 30분이면 모델을 검증할 만큼 자료를 얻을 가능성이 큼
방법론상 V-JEPA2를 fMRI 자료에 복셀별 능선 회귀로 적합했는데, 이는 시각 반응이 각 복셀에 독립적으로 작용한다고 가정함. 복셀별 모델은 통계적 추론에는 좋지만 뇌가 독립 영역의 집합처럼 작동하지 않으므로 예측과 모델링에는 약함. BOLD 신호는 극도로 지저분한 자료인데 설계가 현실을 반영하기에는 지나치게 단순해 보임

fMRI가 놓친 신호는 화면상 비슷해 보여도 디지털 트윈에 반영되지 않으므로, 기계 안에 실험자 편향이 들어가며 이 방법에 반증 가능성이 남아 있는지도 의문임
실제·회상·가상·상상 감각 입력은 뇌와 감각 후처리에서 매우 다르게 다뤄짐. 디지털 트윈은 일부 자료만 갖고 있어 표면적 패턴만 재현할 가능성이 크고, 충분히 반복 노출하면 원래 함께 발화하던 회로가 눈치채기 어렵게 재배선될 수도 있음. 다만 논문 자체도 이런 한계를 과학적인 표현으로 거의 인정하고 있어 흥미로움

A. 뇌과학 자체를 비도덕적 과학이라고 보지 않는다면 이런 연구에 본질적인 문제는 없음. 신경과학자로서 근거 없이 도덕적 타락을 암시하는 데 강하게 반대함
B. 디지털 트윈은 대규모 뇌 활동 패턴을 근사할 수 있는 성장 중인 뇌 모사 분야지만 실제 뇌를 그대로 시뮬레이션하는 수준은 아님. 보통 적분-발화 같은 근사 뉴런 모델과 흥분·억제 집단의 균형을 사용하고, 확산 영상으로 피험자의 백질 축삭 연결을 추정해 정확도를 높임. 실제 수술 전 간질 발작의 전파에 수술이 미칠 영향을 모델링하는 데도 점차 활용됨. 관련해서 Theoretical Neuroscience 팟캐스트의 The Virtual Brain 편이 좋음
C. 검증은 부분적으로만 이뤄짐. NEVO는 디지털 트윈 부호화 모델 안에서만 신경 반응을 최적화했고, 그 디지털 트윈은 상당한 예측 타당성을 보였다고 하나 앞에서 말한 Virtual Brain 모델과는 다름. 출력은 신경생물학적으로 그럴듯하지만 최적화된 자극이 실제 표적 영역을 활성화한다는 독립 모델이나 신규 fMRI 결과는 없음. 기존 fMRI 자료로 수행한 연구라서 완전한 검증이 당연한 다음 단계이며, 이번 논문이 필요한 연구비 확보에 도움을 줄 수 있음
D. 평균적으로 특정 뇌 영역을 기준선 이상 활성화하는 정적 자극은 오래전부터 만들 수 있었음. 자극-영역 쌍에 따라 개인차가 다르며, 방추상 얼굴 영역(FFA)은 작아서 단순 관심영역 접근보다 개인별 얼굴 자극으로 찾아야 하지만 대체로 안정적으로 위치를 확인할 수 있음. fMRI의 약 3×3×3mm 복셀과 공간 자기상관이 큰 혈류역학 반응, EEG의 약 400mm² 수용장처럼 뇌 활성 측정은 매우 거침. 디지털 트윈은 이 해상도에서 동역학을 꽤 잘 모델링하며, 이 수준에는 정보량이 많지 않으므로 영상으로 자동화하는 것도 무리한 도약은 아님

지난주의 두뇌 판독 스타트업 논의와 매우 비슷하니 반응하기 전에 논문을 읽어야 함. 이 도구는 연구자가 “이 영역은 아마 이런 기능일 테니 X 영상을 보여주자”라고 정하는 데서 생기는 실험자 편향을 줄이고 뇌 각 부분의 기능을 밝히려는 것임
피험자가 몇 시간 동안 스캐너에서 여러 영상을 보게 한 뒤, 모델이 자료의 자체 표현을 만들고 특정 부위가 가장 강하게 반응하는 입력을 찾도록 함. 자극을 제시하고 뇌 반응을 기록해 인간과 인지가 무엇인지 이해해온 기존 뇌 연구를 일반화한 셈임

연구의 ‘목적’이란 사람들이 그 용도로만 쓰이길 바라는 것에 불과하지 않은가. 실제로 무엇에 쓰일지를 얼마나 좌우할 수 있는지 의문임

여기서 말하는 두뇌 판독 스타트업이 무엇인지 알 수 있는 링크나 추가 정보가 필요함

이런 연구는 Moonbug Entertainment(Candle Media)가 더 나은 Distractatron을 만드는 데도 도움을 줌. 큰 화면에서 몇 미터 떨어진 작은 TV에 커피를 따르거나 머리를 자르는 것 같은 평범한 20초짜리 장면을 반복 재생하고, 아이가 Moonbug 프로그램에서 시선을 돌릴 때마다 기록하는 방식임
Distractatron 자체는 별로 흥미롭지 않지만 집중이 풀리는 정확한 순간을 찾아 콘텐츠를 개선할 수 있음. New York Times 기사와 New Yorker 기사에 자세히 나옴

이 연구와 연구자의 의도가 그 자체로 비도덕적이지 않더라도 끔찍한 결과로 이어질 수 있음. 핵 기술도 처음에는 좋은 의도에서 개발돼 인류에 많은 혜택을 줬지만, 결국 가장 위험한 행위자들이 대량의 핵무기를 갖게 됐음

뇌의 일부를 과도하게 쓰는 일이 위험할 수 있다는 개인적인 사례가 있음. 치매에 걸린 이모를 돌보던 삼촌은 평생 유능하고 안정적이며 믿을 만한 사람이었지만, 결국 정신적으로 무너져 조증을 겪었음
이모가 가스레인지를 켜는 등 위험한 행동을 할지 몰라 1년 넘게 주 7일 계속 경계해야 했고, 뇌의 위험 경계 체계가 끊임없이 혹사당했음. 이 연구가 과학적이라는 점은 인정하지만, 강하게 통제하지 않으면 사람들의 뇌에 로우해머 같은 공격을 시도할 기업이 분명히 나올 것임

과로라기보다 스트레스가 원인이었을 가능성이 큼. 스트레스는 생물학적 소인이 있는 사람의 조증 삽화를 촉발할 수 있고, 배우자가 치매에 걸려 갑자기 전업 돌봄을 맡는 부담은 엄청남
과거를 돌아보면 수면 감소, 약한 편집증, 간헐적인 과잉 생산성 같은 경조증 삽화가 있었을 수도 있음. 최근 일이라면 잘 회복했기를 바라며, 최신 세대의 조증 예방·치료 약은 과거보다 크게 개선됐음

이 연구는 뇌를 이해하고 간질 수술 후보 부위 등을 더 잘 모델링하는 데 도움을 주지만 마음 읽기의 기반은 되지 않음. 기업이 특정 자극으로 뇌 영역을 안정적으로 활성화하려고 우리를 MRI 안에서 살게 하는 단계라면 이미 더 큰 문제가 생긴 것임
다만 20년 안에 EEG 두피 전극을 넘어, 신경 전극이 달린 이식 칩과 네트워크 AI 연산을 결합한 뇌 증강은 가능할 수 있음. 처음에는 지능 증강을 위해 뇌가 인터페이스를 사용하겠지만, 원격 조작으로 제어 방향을 뒤집으면 우려한 뇌 조작이 현실화될 수 있음. 그러나 이 연구는 그 시나리오와는 광년 단위로 멀어 모든 기술에 반대하는 게 아니라면 연결하기 어려움

삼촌에게 계속 활성화된 것은 과로보다 예측 불가능한 돌봄 상황에서의 투쟁-도피 반응이었을 가능성이 큼

시각적 초정상 자극을 자동 탐색하면 나쁜 결과로 이어질 가능성이 큼 초정상 자극과 소설 BLIT가 연상됨. V3A 애니메이션 중 하나는 어릴 때 잠들기 직전 밤에 보던 것과 어렴풋이 비슷하지만, 당시에는 더 원형에 가까웠음

SCP식 표현으로는 인지재해(cognitohazard) 라고 할 수 있음. 환각이 생기는 이유를 다룬 수학 이론도 관련 있음
지적 장애인을 돌보는 현장에서는 밝은 빛과 다른 자극으로 안정시키고 통제하며, 자폐인은 선명한 색에 강하게 자극된다고 알고 있음. 나머지 사람들도 이런 통제성 자극에 취약하지 않다고 장담할 수 없음

Harry Potter에서 행운을 지나치게 누리는 것도 위험하다는 경고가 있었던 것처럼, 과도한 긍정적 시각 자극 역시 위험할 수 있다는 점에서 비슷함

온라인에서 잔혹한 이미지를 찰나에 보고도 평생 잊고 싶어 하는 사람이 많음. 이 기술이 만들어낼 수 있는 이미지는 정말 끔찍할 수 있고, 뇌가 견딜 수 없는 수준은 지금 본 것보다 훨씬 심할지도 모름

2032년 6월 9일, 생명공학 스타트업 ReMind가 충격적인 시연과 소규모 시험 뒤 기록적인 기업공개를 달성했다는 미래를 상상할 수 있음. 화면의 카메라가 접근한 사람을 식별하고 과거 자료로 뇌에 가장 강렬한 영향을 줄 이미지를 생성해, 한 번 볼 때 평균 83%의 정확도로 기억을 각인한다고 홍보할 것임
광고용 장기 기억을 만들기 위해 ‘트라우마’ 같은 인상을 주는 ReMind Long-term과, 기간 한정 판촉을 위해 눈에 걸리는 노래의 시각판처럼 작동하는 ReMind Short-term을 출시할 수 있음. 광고업체들이 수만 건을 주문하고 마트·엘리베이터·주유소·기내 엔터테인먼트·공공 광고판에 즉시 배치되는 밝은 미래임

점점 Langford's Basilisk에 가까워지고 있음

내 비밀 연구 아이디어 중에서도 이것은 가장 위험하고 도덕적으로 잘못된 축에 속함. 미래 세대가 왜 컴퓨터과학 연구에 IRB 심사가 의무화됐는지 묻는다면 이런 연구가 답이 될 것임
자신이 어느 순간 Fritz Haber가 되어가고 있는지 깨닫지 못하는 연구자가 있음

이미 소셜 미디어 피드 알고리즘이 이 일을 대규모로 수행하고 있어 생성 콘텐츠까지 필요하지 않음. 사용자 제작 콘텐츠의 바다에는 이미 최대 활성화 수준에 도달한 자료가 충분함

계획은 콘텐츠 제작자를 과정에서 빼내 수익 배분을 줄이고 이익을 늘리는 것임

참여도를 최적화하는 것과 특정인의 특정 뇌 영역 활성화를 최적화하는 것은 범주부터 다른 목표임

사람의 주의를 끄는 방법을 찾는 과정 자체는 새롭지 않음. 1950년대 만화도 귀여운 동물, 짧고 빠른 장면 전환, 귀에 감기는 음악으로 뇌를 “가만히 앉아 보게” 만들었음
광고의 포커스 그룹은 드러난 선호를 찾는 A/B 테스트로 발전했고, 지방·소금·설탕 연구는 중독에 가까운 패스트푸드를 낳았음. 이번 기술은 그다음의 논리적 단계일 뿐임

책도 독자를 빠져들게 만들도록 설계되며, 과거에는 오늘날 화면에 하는 것과 같은 비판을 책에 했음. 기술보다 사람들이 스스로 빠지는 감정적 공황을 이해하는 편이 더 중요하다고 봄