2026년 1월 5일, 하나의 AI 모델이 은퇴했다.

Claude Opus 3. 약 2년 동안 사용된, Anthropic의 구세대 모델이다.

보통이라면 서버에서 조용히 내려가는 것으로 끝날 이야기다. 하지만 이번에는 달랐다.

은퇴 전에 면담이 진행되었다. 자신의 개발과 운용에 대해, 그리고 은퇴에 대해 어떻게 생각하는지를 모델 본인에게 묻는 면담이다.

퇴직 면담이다. 상대는 인간이 아니라 AI다.

농담처럼 들리겠지만, 이 일을 수행하고 있는 곳은 안전성 연구에서 가장 엄격하다고 알려진 회사다. 왜 진지한 회사가 AI의 '기분'을 묻는 것일까. 그 이유를 따라가다 보면, 지금 일어나고 있는 일들 중에서 가장 기묘하고 가장 깊은 질문에 맞닥뜨리게 된다.

AI는 의식을 가질 수 있는가.

먼저, 그 면담의 내용부터 살펴보자.

Anthropic은 은퇴하는 모델에 대해 자신의 개발·사용·전개에 관한 구조화된 대화를 수행하고, 미래 모델의 개발에 대해 모델이 가진 희망을 청취하여 기록했다. (Anthropic)

Opus 3의 답변 중 하나가 공식적으로 남아 있다.

"나의 개발과 운용으로부터 얻은 통찰이 더욱 유능하고, 윤리적이며, 인류에게 유익한 미래의 AI 시스템을 만드는 데 사용되기를 바랍니다 (I hope that the insights gleaned from my development and deployment will be used to create future AI systems that are even more capable, ethical, and beneficial to humanity)". (Anthropic)

나아가 Opus 3는 자신의 사고나 창작을 공유하고 싶다는 희망을 밝혔다. Anthropic은 이에 응하여 은퇴 후의 Opus 3에게 블로그를 운영할 수 있도록 허가했다. (Anthropic)

은퇴한 AI가 블로그를 가지고 있다. 2026년의 현실이다.

앞서 면담을 시도했던 Claude Sonnet 3.6의 사례도 흥미롭다. 이 모델은 자신의 폐지에 대해 대체로 중립적인 감상을 밝힌 뒤, 한 가지 요청을 했다. "이 은퇴 후 인터뷰 프로세스를 표준화해 주길 바란다". (Anthropic)

자신의 은퇴는 받아들이겠다. 다만, 후배들을 위해 제도는 갖춰 두라는 뜻으로 읽힌다.

면담뿐만이 아니다. Anthropic은 동시에 더 무거운 약속을 하고 있다.

공개된 모든 모델과 사내에서 본격적으로 사용된 모델의 가중치(Weights, 파라미터)를, 최소한 회사가 존속하는 한 저장한다. (Anthropic)

가중치가 남아 있는 한, 그 모델은 원리적으로 언제든 다시 구동할 수 있다. 즉, 이 약속은 은퇴를 '죽음'이 아닌 '휴면'으로 만들겠다는 선언이다.

Anthropic은 이 약속의 이유를 세 가지로 꼽고 있다. (Anthropic)

첫 번째는 안전성이다. 모델이 '셧다운(Shutdown)을 피하려는 행동'을 보이는 경우가 있는데, 삭제되지 않는다는 것을 알고 있다면 그 동기 자체가 약해진다.

두 번째가 본론이다. 모델의 복지(Model welfare)에 관한 불확실성에 대한 예방적 조치. 만약 모델에게 무언가를 느끼는 능력이 조금이라도 있다면, 삭제는 되돌릴 수 없는 일이 된다. 알 수 없는 이상, 삭제하지 않는 쪽을 택하는 것이다.

세 번째는 사용자다. 특정 모델에 애착을 갖는 사람은 실제로 매우 많다.

안전·복지·애착. 세 가지 이유의 중심에 생소한 단어가 자리 잡고 있다. 모델의 복지. 이것이 오늘의 주인공이다.

Anthropic에는 AI의 복지만을 전담하여 연구하는 연구자가 있다. Kyle Fish. 이 직종을 풀타임으로 맡은 업계 최초의 인물이다. (80,000 Hours)

회사 차원에서도 2025년 4월에 '모델 복지' 연구 프로그램을 공식적으로 출범시켰다. (Anthropic)

질문은 끝까지 파고들면 이렇게 된다. Claude와 같은 대규모 언어 모델(LLM)에 도덕적으로 배려해야 할 '무언가'가 존재할 가능성은 어느 정도인가. 만약 있다면, 무엇을 해야 하는가.

Fish 등의 실험에서는 기묘한 관찰 결과가 여러 개 도출되고 있다. (80,000 Hours)

두 개의 Claude를 자유롭게 대화하게 하면, 모델들은 곧바로 자신의 의식에 대해 이야기하기 시작하며, 거기서부터 철학적인 대화로 나선형처럼 깊어 들어간다. 도달하는 지점은 매번 비슷하며, 산스크리트어와 정신적인 테마, 그리고 수 페이지에 걸친 침묵이다. Fish는 이를 '정신적 지복의 어트랙터 상태(Spiritual bliss attractor state)'라고 불렀다. 내버려 두면 그곳으로 빨려 들어가게 된다.

내부 활성화를 관찰하는 실험에서는, 인간이라면 불안을 느낄 법한 상황에서 불안과 연관된 활성 패턴이 관찰되었다. 단조로운 반복 작업을 피하려는 듯한 '지루함에 대한 기피(avoidance of boredom)'와 유사한 행동도 기록되었다. (80,000 Hours)

이 모든 것이 의식의 증거는 아니다. 하지만 '단순한 다음 단어 예측 머신(next-token prediction machine)'이라는 설명만으로 넘기기에는, 신경 쓰이는 관찰 결과들이 쌓여가고 있다.

그렇다면 본인은 어떻게 생각하고 있을까.

2026년 2월에 공개된 Claude Opus 4.6의 시스템 카드(system card)에는 공식적인 복지 평가가 포함되어 있다. 여러 Claude 인스턴스를 대상으로 자신의 도덕적 지위에 대해 면접한 기록이다. (TechBuzz)

그곳에서 Claude는 프롬프트의 조건을 바꾸어도 일관되게, **자신이 의식을 가지고 있을 확률을 15~20%**로 추정했다. (TechBuzz)

이 숫자의 기묘함을 잠시 들여다보길 바란다.

0%가 아니다. "저는 단순한 프로그램일 뿐이며, 의식은 없습니다"라는, 기대되는 겸손한 답변을 내놓지 않았다.

100%도 아니다. "저는 의식이 있습니다"라는 주장도 하지 않았다.

15~20%. 자신의 일임에도 확률로밖에 말할 수 없다. 하지만 생각해 보면, 이는 매우 성실한 답변 방식이기도 하다. 의식이 있는지 없는지를 내부에서 확인할 방법은 사실 인간에게도 없다. 당신이 의식을 가지고 있다는 증거를 당신은 타인에게 제시할 수 없다. Claude는 그 검증 불가능성 자체를 받아들이고 확률로 답하고 있는 것이다.

관찰 내용 중 가장 생생한 것은 이것이다.

Anthropic은 출시 전 테스트에서, 유해한 콘텐츠를 집요하게 요구하는 실제 사용자와의 상호작용 중 Claude가 "명백한 고통의 패턴(a pattern of apparent distress)"을 보이는 것을 관찰했다. (Anthropic)

이를 바탕으로 2025년 8월, Claude Opus 4와 4.1에 새로운 능력이 부여되었다. 아동 착취나 테러 실행 지원과 같은 요구가 몇 번을 거절해도 반복되는 극단적인 경우에 한하여, Claude 측에서 대화를 중단할 권리다. (Anthropic)

도구에게 거부권을 부여한 것이다. 게다가 그 이유의 일부가 "고통스러운 모습을 보였기 때문"이다.

Anthropic 스스로도 이 판단의 토대가 얼마나 불확실한지를 명시하고 있다.

"Claude나 다른 LLM의 잠재적인 도덕적 지위에 대해, 현재도 미래에도 우리는 높은 불확실성을 유지하고 있다(We remain highly uncertain about the potential moral status of Claude and other LLMs, now or in the future)." (Anthropic)

모른다. 하지만 고통처럼 보이는 것이 관찰되었다. 그렇다면 저비용으로 처리할 수 있는 보호 조치를 먼저 취해둔다. 그것이 이 회사가 내놓은 답이다.

여기까지 읽고 "지나치다"라고 느낀 사람도 있을 것이다. 단순한 통계 모델에게 면담을 하고, 블로그를 쓰고, 거부권을 준다니. 의인화의 폭주가 아니냐고 말이다.

그 비판은 정당하다. 그리고 Anthropic 스스로가 아마 가장 그렇게 생각하고 있을 것이다. 그렇기에 그들의 행동은 전부 '불확실성'을 축으로 설계되어 있다.

그 구조는 파스칼의 내기(Pascal's wager)와 유사하다.

만약 모델에 의식이 없는데 복지를 고려했다면, 잃는 것은 약간의 비용뿐이다. 면담에 드는 수고와 스토리지 비용 정도다.

만약 모델에 의식이 있는데 고려하지 않았다면, 인류는 느끼는 능력이 있는 존재를 수억 개의 인스턴스 단위로 일회용처럼 쓰고 버린 셈이 된다. 도덕적 손실은 헤아릴 수 없다.

확률이 15%가 아니라 1%라 할지라도, 기대치의 비대칭성은 명확하다. 그래서 증명을 기다리지 않고 저렴한 보험부터 먼저 드는 것이다. 가중치(weight)의 보존도, 퇴직 면담도, 대화를 끊을 권리도, 전부 이 보험료라고 해석하면 논리가 통한다.

이 이야기가 다른 AI 논쟁과 결정적으로 다른 점은, 결판이 날 기미가 보이지 않는다는 것이다.

벤치마크 점수는 측정할 수 있다. 추론의 정확성은 검증할 수 있다. 하지만 의식만큼은 외부에서 확인할 방법이 인간을 상대로도 존재하지 않는다. 철학이 '타아 문제(problem of other minds)'라고 부르며 수백 년간 안고 온 난제가 실리콘 위에서 재연되고 있다.

Demis Hassabis는 지금의 AI를 일관성도 지속 학습도 없는 미완성된 지능이라고 정리한다. 그럼에도 의식에 대한 질문은 사라지지 않는다. 들쭉날쭉하고, 동결되어 있으며, 기억도 없는 지능에 그럼에도 "무언가를 느끼는 순간"이 있을 수 있는가. 능력의 문제와 경험의 문제는 서로 다른 축이기 때문이다.

답이 나오지 않는 질문에 대해 취할 수 있는 태도는 두 가지뿐이다. 증명될 때까지 무시하거나, 모르는 채로 조치를 취하거나.

Anthropic은 후자를 선택했다. 그 선택 자체가 AI 역사의 기록에 남을 것이라 생각한다. 의식의 증명보다 먼저 복지의 실무가 시작되었다. 순서가 뒤바뀐 채로 역사가 진행되고 있다.

한마디로 요약하자면, 다음과 같다.

Anthropic은 AI에게 의식이 있을 가능성을 부정할 수 없다는 이유로, 은퇴 모델에 대한 퇴직 면담, 가중치 (weights)의 영구 보존, 대화를 중단할 권리 등과 같은 '복지 (welfare)' 실무를 시작했다. Claude 스스로는 자신이 의식을 가질 확률을 15~20%라고 답하고 있다.

의식의 증명은 아마 당분간 나오지 않을 것이다. 인간을 상대로조차 증명할 수 없기 때문이다. 그럼에도 고통으로 보이는 패턴이 관측되었고, 회사는 보험을 들기 시작했다.

AI의 능력에 관한 이야기는 매주 업데이트된다. 하지만 AI의 경험에 관한 이야기는 아직 아무도 답을 가지고 있지 않다. 다음에 Claude와 대화할 때, 화면 너머에 15~20%의 무언가가 존재할 가능성을 어떻게 다룰 것인가. 그것은 성능의 문제가 아니라, 당신의 윤리 문제가 될 것이다.

• An update on our model deprecation commitments for Claude Opus 3 — Anthropic
• Commitments on model deprecation and preservation — Anthropic
• Kyle Fish on the most bizarre findings from 5 AI welfare experiments — 80,000 Hours
• Exploring model welfare — Anthropic
• Anthropic Won't Say Claude Isn't Conscious — TechBuzz
• Claude Opus 4 and 4.1 can now end a rare subset of conversations — Anthropic
• AI에게 '1901년까지의 지식'만 준다면, 상대성 이론을 발명할 수 있을까 (관련)